hadoop 资源管理器(yarn)配置

相关配置

hadoop-2.9.2 伪分布式搭建

0x00 说明

1. 首先需要配置 hadoop 的伪分布式

0x01 修改 mapred-site.xml

1. 修改MapReduce配置文件mapred-site.xml

   • 路径 hadoop-2.9.2/etc/hadoop/mapred-site.xml
   • 将模板文件mapred-site.xml.template拷贝一份，并重命名为
     mapred-site.xml,命令cp mapred-site.xml.template mapred-site.xml

<configuration>

        <!--指定 MapReduce 运行在 yarn-->
        <property>
                <name>mapreduce.framework.name</name>
                <value>yarn</value>
        </property>

</configuration>

0x02 修改 yarn-site.xml

1. 配置资源协调工具yarn的修改

   • 路径 hadoop-2.9.2/etc/hadoop/yarn-site.xml

<configuration>

        <!-- Site specific YARN configuration properties -->
        <!--指定yarn的老大resoucemanager的地址-->
        <property>
                <name>yarn.resourcemanager.hostname</name>
                <name>hadoop</name>
        </property>

        <!--NodeManager获取数据的方式-->
        <property>
                <name>yarn.nodemanager.aux-services</name>
                <value>mapreduce_shuffle</value>
        </property>

</configuration>

0x03 启动资源管理器

1. 启动命令 start-yarn.sh
   

0x04 验证启动结果

1. 出现以下节点代表，启动成功
   

2. 网页端查看 IP:8088/