相关配置版本组件版本提取码Hadoop2.9.2qtf9jdk1.8.0_221yjwtcentOS7.0bodr环境准备1.修改机器名称机器名称映射master:192.168.5.139slave1:192.168.5.143slave2:192.168.5.145修改机器名文件：vi/etc/hostname执行：hostname机器名检查：hostname2.修改master的hostname与ip的映射修改的文件：vi/etc/hosts192.168.5.139master192.168.5.143slave1192.168.5.145slave2master修改完成，把hosts发送到slave1、slave1节点foriin{1..2};doscp/etc/hostsroot@slave${i}:/etc;done角色分配机器名称节点节点masterDataNode/NameNodeNodeManager/ResourceManagerslave1DataNodeNodeManagerslave2DataNodeNodeManager前置配置1.ssh免密码登录每台机器执行：ssh-keygen-trsa把master节点上的authorized_keys钥发送到其他节点master执行命令,生成authorized_keys文件：ssh-copy-id-i/root/.ssh/id_rsa.pubmaster把authorized_keys发送到slave1slave2节点上scp/root/.ssh/authorized_keysroot@slave1:/root/.ssh/scp/root/.ssh/authorized_keysroot@slave2:/root/.ssh/在master节点测试免密码登录slave1、slave2命令：ssh机器名2.配置master的jdk，后面与hadoop一起发送到其他节点在master上解压jdk，并配置环境变量Hadoop集群的搭建解压Hadoop安装包，配置环境变量解压hadoop安装包到/usr/local/src/hadoop目录下，并配置HADOOP_HOME到环境变量修改配置文件进入hadoop的hadoop-2.9.2/etc/hadoop目录下1.修改hadoop-env.sh文件第一处#Thejavaimplementationtouse.#exportJAVA_HOME=${JAVA_HOME}（注释掉）exportJAVA_HOME=/usr/local/src/jdk1.8.0_221（添加上）第二处#exportHADOOP_CONF_DIR=${HADOOP_CONF_DIR:-"/etc/hadoop"}（注释）exportHADOOP_CONF_DIR=/usr/local/src/hadoop-2.9.2/etc/hadoop（添加上)修改完记得sourcehadoop-env.sh2.修改core-site.xml文件<configuration><property><name>fs.defaultFS</name><value>hdfs://master:9000</value></property><!--临时目录--><property><name>hadoop.tmp.dir</name><value>/usr/local/src/hadoop-2.9.2/tmp</value></property></configuration>3.修改hdfs-site.xml文件添加到hdfs-site.xml文件<configuration><!--block块的复制数量--><property><name>dfs.replication</name><value>3</value></property><!--namenode的http协议地址和端口--><property><name>dfs.namenode.secondary.http-address</name><value>master:50090</value></property><!--namenode的https协议地址和端口--><property><name>dfs.namenode.secondary.https-address</name><value>master:50091</value></property></configuration>4.修改yarn-site.xml文件<configuration><!--用于存储本地化文件的目录列表--><!--创建目录mkdir-p/usr/local/src/nm/localdir--><property><name>yarn.nodemanager.local-dirs</name><value>/usr/local/src/nm/localdir</value></property><!--reducer获取数据的方式--><property><name>yarn.nodemanager.aux-services</name><value>mapreduce_shuffle</value></property><!--指定yarn的resourcemanager的地址--><property><name>yarn.resourcemanager.hostname</name><value>node1</value></property><!--忽略虚拟内存的检查虚拟机上设置有很大用处--><property><name>yarn.nodemanager.vmem-check-enabled</name><value>false</value><description>Whethervirtualmemorylimitswillbeenforcedforcontainers</description></property><!--yarn分配的内存大小--><property><name>yarn.nodemanager.resource.memory-mb</name><value>3276</value></property><!--每台机器最大分配内存，超过报异常--><property><name>yarn.scheduler.maximum-allocation-mb</name><value>3276</value></property><!--yarn分配的CPU个数--><property><name>yarn.nodemanager.resource.cpu-vcores</name><value>4</value></property><!--每台机器最大分配CPU个数，超过报异常--><property><name>yarn.scheduler.maximum-allocation-vcores</name><value>4</value></property></configuration>5.修改mapred-site.xml文件首先拷贝一份：cpmapred-site.xml.templatemapred-site.xml<configuration><!--mapreduce运行时的框架，可以是local,classicoryarn--><property><name>mapreduce.framework.name</name><value>yarn</value></property><!--mapreduce历史任务的地址端口--><property><name>mapreduce.jobhistory.address</name><value>master:10020</value></property><!--MapReduceJobHistory服务器WebUI主机:端口--><property><name>mapreduce.jobhistory.webapp.address</name><value>master:19888</value></property></configuration>6.修改slaves文件这个文件就是规定从节点运行的机器删除原本的localhost添加上masterslave1slave2分发配置文件到slave1，slave2把hadoop、java分发到slave1、slave2scp-r/usr/local/src/root@slave1:/usr/local/scp-r/usr/local/src/root@slave2:/usr/local/把环境变量文件分发到slave1、slave2scp/etc/profileroot@slave1:/etc/scp/etc/profileroot@slave2:/etc/分发完记得去slave1、slave2source/etc/profile启动Hadoop集群1.格式化namenode节点只需要在master机器上执行就好hdfsnamenode-format2.启动集群：在master上执行start-all.sh验证jps验证masterslave1slave2JpsJpsJpsNodeManagerNodeManagerNodeManagerDataNodeDataNodeDataNodeNameNodeSecondaryNameNodeResourceManager网页端验证关闭防火墙systemctlstopfirewalld.servicemaster机器IP:50070master机器IP:8088
相关版本ContOS：7.4原来Python版本2.7.5升级Python版本3.7.30x00查看Python相关安装路径查看命令whereispython0x01下载解压python-3.7.3进入cd/usr/local/src/下载命令wgethttps://www.python.org/ftp/python/3.7.3/Python-3.7.3.tgz解压Python-3.6.3tar-zxvfPython3.7.3.tgz0x02编译安装进入Python3.7.3目录cdPython-3.7.3执行编译安装命令./configure完成后执行make完成后执行makeinstall0x03验证安装版本python-Vpython3-V0x04设置3.7.3为默认版本查看python相关软连接ls-al/usr/bin|greppython备份之前的python，执行命令mv/usr/bin/python/usr/bin/python.bak修改软连接命令ln-s/usr/local/bin/python3/usr/bin/python查看python版本python-V0x05修改yum文件因为升级了版本以后，yum运行会报错执行sudovim/usr/bin/yum在第一行的后面跟上旧的版本号然后在安装软件的时候又会,报错解决办法：执行命令：sudovim/usr/libexec/urlgrabber-ext-down在文件的第一行，也改为python2.7
搭建版本ContOS：7.0hadoop：2.9.2jdk：1.8.0_2210x00配置jdk的环境变量配置jdk(点击查看)0x01配置hadoop的环境变量创建hadoop文件，解压hadoop的tar包创建文件夹mkdir/usr/local/src/hadoop/解压hadooptar-zxvfhadoop-2.9.2配置hadoop环境变量vi/etc/profile#hadoopexportHADOOP_HOME=/usr/local/src/hadoop/hadoop-2.9.2exportPATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin修改完成后记得source/etc/profile0x02修改Hadoop相关文件修改hadoop-env.sh路径hadoop-2.9.2/etc/hadoop/hadoop-env.sh第一处修改加入JAVA_HOME的路径第二处修改加入HADOOP_HOME路径exportHADOOP_HOME=/usr/local/src/hadoop/hadoop-2.9.2exportHADOOP_CONF_DIR=${HADOOP_HOME}/etc/hadoop第三处修改exportHADOOP_OPTS="-Djava.library.path=${HADOOP_HOME}/lib/native"记得sourcehadoop-env.sh2修改core-site.xml路径hadoop-2.9.2/etc/hadoop/core-site.xml创建临时目录mkdir-p/usr/local/src/hadoop/tmp/name/<configuration><!--指定hdfs的老大，namenode的地址--><property><name>fs.defaultFS</name><value>hdfs://本机ip地址:9000</value></property><!--指定hadoop运行时产生的文件存放的地址--><property><name>hadoop.tmp.dir</name><value>/usr/local/src/hadoop/tmp</value></property></configuration>3修改hdfs-site.xml路径hadoop-2.9.2/etc/hadoop/hdfs-site.xml<configuration><!--指定hdfs保存数据副本数量，默认值是3--><!--如果是伪分布式，此值是1--><property><name>dfs.replication</name><value>1</value></property><!--设置hdfs的操作权限，false表示任何用户都可以在hdfs上操作文件--><property><name>dfs.permissions</name><value>false</value></property></configuration>0x03配置免密登录关闭防火墙systemctlstopfirewalld.service配置免密登录ssh-keygen一直敲回车(生成节点公钥和私钥，生成的文件会自动放在/root/.ssh目录下面)复制秘钥ssh‐copy‐idroot@<复制到机器的ip>测试免密登录sshroot@<有秘钥机器的ip>0x04启动hadoop格式化节点hdfsnamenode‐format启动hadoopstart-dfs.sh出现下图则伪分布式安装成功0x05查看Hadoop的网页端打开浏览器输入IP:50070即可推荐阅读：伪分布式相关问题及解决方法
0x00关机halt即刻关机poweroff即刻关机shutdown-hnow立刻关机(root用户使用)shutdown-h1010分钟后自动关机0x01重启reboot普通重启shutdown-rnow立刻重启（root用户使用）shutdown-r1010分钟后重启shutdwn-r20:35在20:35的时候重启0x02停止防火墙与开机启动firewall-cmd--state查看防火墙状态systemctlstopfirewalld.service关闭防火墙systemctlstartfirewalld.service重新启动防火墙systemctldisablefirewalld.service禁止firewall开机启动systemctlenablefirewalld.service设置firewall开机启动0x03防火墙端口操作firewall-cmd--zone=public--add-port=3306/tcp--permanent开启3306端口firewall-cmd--zone=public--remove-port=3306/tcp--permanent关闭3306端口firewall-cmd--reload使配置生效firewall-cmd--zone=public--list-ports查看防火墙开放的端口netstat-lnpt查看监听的端口netstat-lnpt|grep22查看22端口被哪些进程占用PS：CentOS_7默认没有netstat命令，需要安装net-tools工具，yuminstall-ynet-toolsps6843查看6843进程的详细信息
cd进入目录cd路径进入目录参数解释cd~进入用户主目录（同上）cd/进入根目录cd..进入上一级目录mkdir创建目录mkdirjava创建一个java的目录mkdir-pBBB/Test创建多级目录需要-pmv(move)移动文件修改文件名mv旧文件名新文件名可用于文件改名mv文件名目录名把文件移动到新的地址mv/usr/student/*.将/usr/student下的所有文件和目录移到当前目录下rm（remove）删除rm-rf文件或者路径强制删除`cp（copy）复制文件cp文件新地址cp–rtest/newtes把test/下的所有文件移动到newtest下tar包解压tar-zxvftest.tar.gz解压.tar.gz包tar-zxvftest.tar.gz-C路径解压.tar.gz包到其他目录tar-xvffile.tar解压.tar包rpm的使用0x00rpm安装rpm-ivh文件名.rpm会显示安装详情及进度0x01rpm的卸载rpm-e需要卸载的软件名cat的使用cattest.txt查看test.txt的内容scp的使用scptest.txtroot@IP:/data把test.txt文件复制到IP机器的/data目录下scp文件名用户名@IP:路径scp-r文件名用户名@IP:路径该目录下的所有文件设置环境变量对当前用户有效在当前用户的根目录的.bash_profile文件里添加环境变量
使用版本CentOS：7.0JDK：1.8.0_221安装步骤0x00解压tar包tar-zxvf包名0x01设置环境变量vi/etc/profile#javaexportJAVA_HOME=/usr/local/src/java/jdk1.8.0_221(自己安装的路径)exportJRE_HOME=/usr/local/src/java/jdk1.8.0_221/jre(自己安装的路径)exportCLASS_PATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar:$JRE_HOME/libexportPATH=$PATH:$JAVA_HOME/bin:$JRE_HOME/bin0x02更新设置source/etc/profile0x03安装测试java-version
1、创建mysql文件夹：mkdir/home/mysql用于存放MySQL安装包2、打开创建的mysql文件：cd/home/mysql/3、解压tar文件：tar-xvfmysql-5.7.27-1.el7.x86_64.rpm-bundle.tar4、卸载冲突的RPM组件在我们安装mysql相关组件的时候，如果不将此冲突的组件删除掉，我们是安装不成功的。rpm-qa|greppostfixrpm-qa|grepmariadb5、安装相应的依赖：yum-yinstalllibaioyum-yinstallnet-toolsyum-yinstallperl6、安装mysql组件经过上面的解压操作，我们得到了很多rpm文件。但是我们不需要这么多，我们只需要安装以下四个组件就可以了：因为具有依赖关系，所以我们需要按顺序执行。rpm-ivhmysql-community-common-5.7.27-1.el7.x86_64.rpmrpm-ivhmysql-community-libs-5.7.27-1.el7.x86_64.rpmrpm-ivhmysql-community-client-5.7.27-1.el7.x86_64.rpmrpm-ivhmysql-community-server-5.7.27-1.el7.x86_64.rpm7、修改MySQL密码mysql安装完成之后我们是没有设置密码的，但是mysql为我们设置了一个临时的密码，我们可以查看mysql的日志知道这个临时密码，查看临时密码前确保数据库启动。查看mysql是否启动：servicemysqldstatus启动mysql：servicemysqldstart停止mysql：servicemysqldstop重启mysql：servicemysqldrestart（2）查看临时密码：greppassword/var/log/mysqld.log登录mysql（命令：mysql-p），输入临时密码退出当前登录：quit;修改密码：ALTERUSER'root'@'localhost'IDENTIFIEDBY'新密码';新密码有要求：Thiswillrequirethatpasswordscontainatleastoneuppercaseletter,onelowercaseletter,onedigit,andonespecialcharacter,andthatthetotalpasswordlengthisatleast8characters.这将要求密码包含至少一个大写字母、一个小写字母、一个数字和一个特殊字符，并且总密码长度至少为8个字符。太复杂了我们修改两个全局参数：首先，修改validate_password_policy参数的值mysql>setglobalvalidate_password_policy=0;再修改密码的长度mysql>setglobalvalidate_password_length=1;