哔哔大数据

搭建版本ContOS:7.0hadoop:2.9.2jdk:1.8.0_2210x00配置jdk的环境变量配置jdk(点击查看)0x01配置hadoop的环境变量创建hadoop文件,解压hadoop的tar包创建文件夹mkdir/usr/local/src/hadoop/解压hadooptar-zxvfhadoop-2.9.2配置hadoop环境变量vi/etc/profile#hadoopexportHADOOP_HOME=/usr/local/src/hadoop/hadoop-2.9.2exportPATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin修改完成后记得source/etc/profile0x02修改Hadoop相关文件修改hadoop-env.sh路径hadoop-2.9.2/etc/hadoop/hadoop-env.sh第一处修改加入JAVA_HOME的路径第二处修改加入HADOOP_HOME路径exportHADOOP_HOME=/usr/local/src/hadoop/hadoop-2.9.2exportHADOOP_CONF_DIR=${HADOOP_HOME}/etc/hadoop第三处修改exportHADOOP_OPTS="-Djava.library.path=${HADOOP_HOME}/lib/native"记得sourcehadoop-env.sh2修改core-site.xml路径hadoop-2.9.2/etc/hadoop/core-site.xml创建临时目录mkdir-p/usr/local/src/hadoop/tmp/name/<configuration><!--指定hdfs的老大,namenode的地址--><property><name>fs.defaultFS</name><value>hdfs://本机ip地址:9000</value></property><!--指定hadoop运行时产生的文件存放的地址--><property><name>hadoop.tmp.dir</name><value>/usr/local/src/hadoop/tmp</value></property></configuration>3修改hdfs-site.xml路径hadoop-2.9.2/etc/hadoop/hdfs-site.xml<configuration><!--指定hdfs保存数据副本数量,默认值是3--><!--如果是伪分布式,此值是1--><property><name>dfs.replication</name><value>1</value></property><!--设置hdfs的操作权限,false表示任何用户都可以在hdfs上操作文件--><property><name>dfs.permissions</name><value>false</value></property></configuration>0x03配置免密登录关闭防火墙systemctlstopfirewalld.service配置免密登录ssh-keygen一直敲回车(生成节点公钥和私钥,生成的文件会自动放在/root/.ssh目录下面)复制秘钥ssh‐copy‐idroot@<复制到机器的ip>测试免密登录sshroot@<有秘钥机器的ip>0x04启动hadoop格式化节点hdfsnamenode‐format启动hadoopstart-dfs.sh出现下图则伪分布式安装成功0x05查看Hadoop的网页端打开浏览器输入IP:50070即可推荐阅读:伪分布式相关问题及解决方法

2019-9-16 944 0
2019-9-13 395 0
2019-9-12 478 0
2019-9-10 428 0