Hadoop伪分布式搭建

搭建版本

ContOS ：7.0

hadoop ：2.9.2

jdk ： 1.8.0_221

0x00 配置 jdk 的环境变量

1. 配置jdk(点击查看)

0x01 配置 hadoop 的环境变量

1. 创建 hadoop 文件，解压 hadoop 的tar包

   创建文件夹 mkdir /usr/local/src/hadoop/
   解压 hadoop tar -zxvf hadoop-2.9.2
   

   

2. 配置hadoop环境变量 vi /etc/profile

# hadoop

export HADOOP_HOME=/usr/local/src/hadoop/hadoop-2.9.2
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

修改完成后记得 source /etc/profile

0x02 修改 Hadoop 相关文件

1. 修改 hadoop-env.sh

• 路径 hadoop-2.9.2/etc/hadoop/hadoop-env.sh

  • 第一处修改 加入 JAVA_HOME 的路径
    

  • 第二处修改

  • 加入 HADOOP_HOME 路径

    export HADOOP_HOME=/usr/local/src/hadoop/hadoop-2.9.2
    export HADOOP_CONF_DIR=${HADOOP_HOME}/etc/hadoop
    

    

  • 第三处修改

    export HADOOP_OPTS="-Djava.library.path=${HADOOP_HOME}/lib/native"
    

    

• 记得 source hadoop-env.sh

1. 2 修改 core-site.xml

   • 路径 hadoop-2.9.2/etc/hadoop/core-site.xml

   • 创建临时目录mkdir -p /usr/local/src/hadoop/tmp/name/

<configuration>
        <!--指定hdfs的老大，namenode的地址-->
        <property>
                <name>fs.defaultFS</name>
                <value>hdfs://本机ip地址:9000</value>
        </property>
        <!--指定hadoop运行时产生的文件存放的地址-->
        <property>
                <name>hadoop.tmp.dir</name>
                <value>/usr/local/src/hadoop/tmp</value>
        </property>

</configuration>

1. 3 修改 hdfs-site.xml

   • 路径 hadoop-2.9.2/etc/hadoop/hdfs-site.xml

<configuration>
        <!--指定hdfs保存数据副本数量，默认值是3-->
        <!--如果是伪分布式，此值是 1 -->
        <property>
                <name>dfs.replication</name>
                <value>1</value>
        </property>
        <!--设置hdfs的操作权限，false 表示任何用户都可以在 hdfs 上操作文件-->
        <property>
                <name>dfs.permissions</name>
                <value>false</value>
        </property>
</configuration>

0x03 配置免密登录

1. 关闭防火墙 systemctl stop firewalld.service

2. 配置免密登录 ssh-keygen 一直敲回车(生成节点公钥和私钥，生成的文件会自动放在/root/.ssh
   目录下面)
   

3. 复制秘钥 ssh‐copy‐id root@<复制到机器的ip>
   

4. 测试免密登录 ssh root@<有秘钥机器的ip>
   

0x04 启动 hadoop

1. 格式化节点 hdfs namenode ‐format
2. 启动 hadoop start-dfs.sh

• 出现下图则伪分布式安装成功
  

0x05 查看Hadoop的网页端

• 打开浏览器输入 IP:50070 即可
  

推荐阅读：伪分布式相关问题及解决方法