- 博客(4)
- 收藏
- 关注
原创 Hadoop综合实战--音乐排行榜(微信小程序展示数据)
2.编辑$HADOOP_HOME/etc/hadoop/hadoop-env.sh文件,增加以下内容,使得MapReduce作业可以访问所依赖的HBase相关类,从而不用每次将HBase相关类打包到MapReduce应用的jar文件中。1.将hbase-site.xml文件复制到$HADOOP_HOME/etc/hadoop下,使MapReduce作业在运行时可以连接到Zookeeper集群。③修改Sqoop配置文件$SQOOP_HOME/conf/sqoop-env.sh。
2024-12-02 16:03:42
1717
原创 MapReduce应用
在所有备用主节点主机,使用命令“jps”查看Java进程信息,若有名为“NameNode”、“ResourceManager”、“DFSZKFailoverController”的三个进程,则表示Hadoop集群的备用主节点启动成功。#在集群中所有主机上使用此命令,查看该节点Zookeeper服务当前的状态,若集群中只有一个“leader”节点,其余的均为“follower”节点,则集群的工作状态正常。③GroupingComparator分组函数方法实现。(2)提交MapReduce作业到集群运行。
2024-11-21 11:36:03
1942
原创 Idea中HDFS API的应用
SequenceFile的写操作。SequenceFile的读操作。上传本地文件到HDFS。MapFile的写操作。MapFile的读操作。查看目录下的所有文件。
2024-11-21 11:11:09
182
原创 Idea中使用Maven构建HDFS API
8.修改hdfs-site.xml文件,在<configuration></configuration>之间添加如。11.修改系统登录用户名为Hadoop的登录用户名(win+r打开运行框输入netplwiz进行修改)10.添加系统环境变量HADOOP_USER_NAME,值为admin(登录hadoop的用户)9.修改配置本地host——在C:\Windows\System32\drivers\etc下。12.在hadoop集群中修改hdfs的用户权限:hadoop fs –chmod 777。
2024-11-21 10:58:24
396
计算机科学中的基于朴素贝叶斯算法的垃圾邮件分类系统
2024-12-02
基于朴素贝叶斯算法的垃圾邮件识别程序Python实现
2024-11-21
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人