问题描述当你修改环境变量之后,source一下,发现使用各种命令都找不到了[root@master]#hive-bash:hive:未找到命令[root@master]#vi~/.bash_profile-bash:vi:未找到命令[root@master]#vim~/.bash_profile-bash:vim:未找到命令解决办法:在命令行中输入:exportPATH=/usr/bin:/usr/sbin:/bin:/sbin:/usr/X11R6/bin这样可以保证命令行命令暂时可以使用。命令执行完之后不要关闭终端,继续下一步;在命令行中输入vi~/.bash_profile进入到环境变量中;仔细检查自己配置的PATH属性是否有错误,(可能是字母错误或者标点符号错误),改正后:wq保存退出或者shift+zz保存退出。执行source~/.bash_profile使配置生效即可。
相关配置版本组件版本提取码Hadoop2.9.2qtf9jdk1.8.0_221yjwtcentOS7.0bodr环境准备1.修改机器名称机器名称映射master:192.168.5.139slave1:192.168.5.143slave2:192.168.5.145修改机器名文件:vi/etc/hostname执行:hostname机器名检查:hostname2.修改master的hostname与ip的映射修改的文件:vi/etc/hosts192.168.5.139master192.168.5.143slave1192.168.5.145slave2master修改完成,把hosts发送到slave1、slave1节点foriin{1..2};doscp/etc/hostsroot@slave${i}:/etc;done角色分配机器名称节点节点masterDataNode/NameNodeNodeManager/ResourceManagerslave1DataNodeNodeManagerslave2DataNodeNodeManager前置配置1.ssh免密码登录每台机器执行:ssh-keygen-trsa把master节点上的authorized_keys钥发送到其他节点master执行命令,生成authorized_keys文件:ssh-copy-id-i/root/.ssh/id_rsa.pubmaster把authorized_keys发送到slave1slave2节点上scp/root/.ssh/authorized_keysroot@slave1:/root/.ssh/scp/root/.ssh/authorized_keysroot@slave2:/root/.ssh/在master节点测试免密码登录slave1、slave2命令:ssh机器名2.配置master的jdk,后面与hadoop一起发送到其他节点在master上解压jdk,并配置环境变量Hadoop集群的搭建解压Hadoop安装包,配置环境变量解压hadoop安装包到/usr/local/src/hadoop目录下,并配置HADOOP_HOME到环境变量修改配置文件进入hadoop的hadoop-2.9.2/etc/hadoop目录下1.修改hadoop-env.sh文件第一处#Thejavaimplementationtouse.#exportJAVA_HOME=${JAVA_HOME}(注释掉)exportJAVA_HOME=/usr/local/src/jdk1.8.0_221(添加上)第二处#exportHADOOP_CONF_DIR=${HADOOP_CONF_DIR:-"/etc/hadoop"}(注释)exportHADOOP_CONF_DIR=/usr/local/src/hadoop-2.9.2/etc/hadoop(添加上)修改完记得sourcehadoop-env.sh2.修改core-site.xml文件<configuration><property><name>fs.defaultFS</name><value>hdfs://master:9000</value></property><!--临时目录--><property><name>hadoop.tmp.dir</name><value>/usr/local/src/hadoop-2.9.2/tmp</value></property></configuration>3.修改hdfs-site.xml文件添加到hdfs-site.xml文件<configuration><!--block块的复制数量--><property><name>dfs.replication</name><value>3</value></property><!--namenode的http协议地址和端口--><property><name>dfs.namenode.secondary.http-address</name><value>master:50090</value></property><!--namenode的https协议地址和端口--><property><name>dfs.namenode.secondary.https-address</name><value>master:50091</value></property></configuration>4.修改yarn-site.xml文件<configuration><!--用于存储本地化文件的目录列表--><!--创建目录mkdir-p/usr/local/src/nm/localdir--><property><name>yarn.nodemanager.local-dirs</name><value>/usr/local/src/nm/localdir</value></property><!--reducer获取数据的方式--><property><name>yarn.nodemanager.aux-services</name><value>mapreduce_shuffle</value></property><!--指定yarn的resourcemanager的地址--><property><name>yarn.resourcemanager.hostname</name><value>node1</value></property><!--忽略虚拟内存的检查虚拟机上设置有很大用处--><property><name>yarn.nodemanager.vmem-check-enabled</name><value>false</value><description>Whethervirtualmemorylimitswillbeenforcedforcontainers</description></property><!--yarn分配的内存大小--><property><name>yarn.nodemanager.resource.memory-mb</name><value>3276</value></property><!--每台机器最大分配内存,超过报异常--><property><name>yarn.scheduler.maximum-allocation-mb</name><value>3276</value></property><!--yarn分配的CPU个数--><property><name>yarn.nodemanager.resource.cpu-vcores</name><value>4</value></property><!--每台机器最大分配CPU个数,超过报异常--><property><name>yarn.scheduler.maximum-allocation-vcores</name><value>4</value></property></configuration>5.修改mapred-site.xml文件首先拷贝一份:cpmapred-site.xml.templatemapred-site.xml<configuration><!--mapreduce运行时的框架,可以是local,classicoryarn--><property><name>mapreduce.framework.name</name><value>yarn</value></property><!--mapreduce历史任务的地址端口--><property><name>mapreduce.jobhistory.address</name><value>master:10020</value></property><!--MapReduceJobHistory服务器WebUI主机:端口--><property><name>mapreduce.jobhistory.webapp.address</name><value>master:19888</value></property></configuration>6.修改slaves文件这个文件就是规定从节点运行的机器删除原本的localhost添加上masterslave1slave2分发配置文件到slave1,slave2把hadoop、java分发到slave1、slave2scp-r/usr/local/src/root@slave1:/usr/local/scp-r/usr/local/src/root@slave2:/usr/local/把环境变量文件分发到slave1、slave2scp/etc/profileroot@slave1:/etc/scp/etc/profileroot@slave2:/etc/分发完记得去slave1、slave2source/etc/profile启动Hadoop集群1.格式化namenode节点只需要在master机器上执行就好hdfsnamenode-format2.启动集群:在master上执行start-all.sh验证jps验证masterslave1slave2JpsJpsJpsNodeManagerNodeManagerNodeManagerDataNodeDataNodeDataNodeNameNodeSecondaryNameNodeResourceManager网页端验证关闭防火墙systemctlstopfirewalld.servicemaster机器IP:50070master机器IP:8088
搭建版本ContOS:7.0hadoop:2.9.2jdk:1.8.0_2210x00配置jdk的环境变量配置jdk(点击查看)0x01配置hadoop的环境变量创建hadoop文件,解压hadoop的tar包创建文件夹mkdir/usr/local/src/hadoop/解压hadooptar-zxvfhadoop-2.9.2配置hadoop环境变量vi/etc/profile#hadoopexportHADOOP_HOME=/usr/local/src/hadoop/hadoop-2.9.2exportPATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin修改完成后记得source/etc/profile0x02修改Hadoop相关文件修改hadoop-env.sh路径hadoop-2.9.2/etc/hadoop/hadoop-env.sh第一处修改加入JAVA_HOME的路径第二处修改加入HADOOP_HOME路径exportHADOOP_HOME=/usr/local/src/hadoop/hadoop-2.9.2exportHADOOP_CONF_DIR=${HADOOP_HOME}/etc/hadoop第三处修改exportHADOOP_OPTS="-Djava.library.path=${HADOOP_HOME}/lib/native"记得sourcehadoop-env.sh2修改core-site.xml路径hadoop-2.9.2/etc/hadoop/core-site.xml创建临时目录mkdir-p/usr/local/src/hadoop/tmp/name/<configuration><!--指定hdfs的老大,namenode的地址--><property><name>fs.defaultFS</name><value>hdfs://本机ip地址:9000</value></property><!--指定hadoop运行时产生的文件存放的地址--><property><name>hadoop.tmp.dir</name><value>/usr/local/src/hadoop/tmp</value></property></configuration>3修改hdfs-site.xml路径hadoop-2.9.2/etc/hadoop/hdfs-site.xml<configuration><!--指定hdfs保存数据副本数量,默认值是3--><!--如果是伪分布式,此值是1--><property><name>dfs.replication</name><value>1</value></property><!--设置hdfs的操作权限,false表示任何用户都可以在hdfs上操作文件--><property><name>dfs.permissions</name><value>false</value></property></configuration>0x03配置免密登录关闭防火墙systemctlstopfirewalld.service配置免密登录ssh-keygen一直敲回车(生成节点公钥和私钥,生成的文件会自动放在/root/.ssh目录下面)复制秘钥ssh‐copy‐idroot@<复制到机器的ip>测试免密登录sshroot@<有秘钥机器的ip>0x04启动hadoop格式化节点hdfsnamenode‐format启动hadoopstart-dfs.sh出现下图则伪分布式安装成功0x05查看Hadoop的网页端打开浏览器输入IP:50070即可推荐阅读:伪分布式相关问题及解决方法
cd进入目录cd路径进入目录参数解释cd~进入用户主目录(同上)cd/进入根目录cd..进入上一级目录mkdir创建目录mkdirjava创建一个java的目录mkdir-pBBB/Test创建多级目录需要-pmv(move)移动文件修改文件名mv旧文件名新文件名可用于文件改名mv文件名目录名把文件移动到新的地址mv/usr/student/*.将/usr/student下的所有文件和目录移到当前目录下rm(remove)删除rm-rf文件或者路径强制删除`cp(copy)复制文件cp文件新地址cp–rtest/newtes把test/下的所有文件移动到newtest下tar包解压tar-zxvftest.tar.gz解压.tar.gz包tar-zxvftest.tar.gz-C路径解压.tar.gz包到其他目录tar-xvffile.tar解压.tar包rpm的使用0x00rpm安装rpm-ivh文件名.rpm会显示安装详情及进度0x01rpm的卸载rpm-e需要卸载的软件名cat的使用cattest.txt查看test.txt的内容scp的使用scptest.txtroot@IP:/data把test.txt文件复制到IP机器的/data目录下scp文件名用户名@IP:路径scp-r文件名用户名@IP:路径该目录下的所有文件设置环境变量对当前用户有效在当前用户的根目录的.bash_profile文件里添加环境变量
使用版本CentOS:7.0JDK:1.8.0_221安装步骤0x00解压tar包tar-zxvf包名0x01设置环境变量vi/etc/profile#javaexportJAVA_HOME=/usr/local/src/java/jdk1.8.0_221(自己安装的路径)exportJRE_HOME=/usr/local/src/java/jdk1.8.0_221/jre(自己安装的路径)exportCLASS_PATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar:$JRE_HOME/libexportPATH=$PATH:$JAVA_HOME/bin:$JRE_HOME/bin0x02更新设置source/etc/profile0x03安装测试java-version