哔哔大数据

搭建版本ContOS:7.0hadoop:2.9.2jdk:1.8.0_2210x00配置jdk的环境变量配置jdk(点击查看)0x01配置hadoop的环境变量创建hadoop文件,解压hadoop的tar包创建文件夹mkdir/usr/local/src/hadoop/解压hadooptar-zxvfhadoop-2.9.2配置hadoop环境变量vi/etc/profile#hadoopexportHADOOP_HOME=/usr/local/src/hadoop/hadoop-2.9.2exportPATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin修改完成后记得source/etc/profile0x02修改Hadoop相关文件修改hadoop-env.sh路径hadoop-2.9.2/etc/hadoop/hadoop-env.sh第一处修改加入JAVA_HOME的路径第二处修改加入HADOOP_HOME路径exportHADOOP_HOME=/usr/local/src/hadoop/hadoop-2.9.2exportHADOOP_CONF_DIR=${HADOOP_HOME}/etc/hadoop第三处修改exportHADOOP_OPTS="-Djava.library.path=${HADOOP_HOME}/lib/native"记得sourcehadoop-env.sh2修改core-site.xml路径hadoop-2.9.2/etc/hadoop/core-site.xml创建临时目录mkdir-p/usr/local/src/hadoop/tmp/name/<configuration><!--指定hdfs的老大,namenode的地址--><property><name>fs.defaultFS</name><value>hdfs://本机ip地址:9000</value></property><!--指定hadoop运行时产生的文件存放的地址--><property><name>hadoop.tmp.dir</name><value>/usr/local/src/hadoop/tmp</value></property></configuration>3修改hdfs-site.xml路径hadoop-2.9.2/etc/hadoop/hdfs-site.xml<configuration><!--指定hdfs保存数据副本数量,默认值是3--><!--如果是伪分布式,此值是1--><property><name>dfs.replication</name><value>1</value></property><!--设置hdfs的操作权限,false表示任何用户都可以在hdfs上操作文件--><property><name>dfs.permissions</name><value>false</value></property></configuration>0x03配置免密登录关闭防火墙systemctldisablefirewalld配置免密登录ssh-keygen一直敲回车(生成节点公钥和私钥,生成的文件会自动放在/root/.ssh目录下面)复制秘钥ssh‐copy‐idroot@<复制到机器的ip>测试免密登录sshroot@<有秘钥机器的ip>0x04启动hadoop格式化节点hdfsnamenode‐format启动hadoopstart-dfs.sh出现下图则伪分布式安装成功0x05查看Hadoop的网页端打开浏览器输入IP:50070即可推荐阅读:伪分布式相关问题及解决方法

2019-9-16 448 0
2019-9-13 132 0
2019-9-12 155 0
2019-9-10 107 0
哔哔大数据

1、创建mysql文件夹:mkdir/home/mysql用于存放MySQL安装包2、打开创建的mysql文件:cd/home/mysql/3、解压tar文件:tar-xvfmysql-5.7.27-1.el7.x86_64.rpm-bundle.tar4、卸载冲突的RPM组件在我们安装mysql相关组件的时候,如果不将此冲突的组件删除掉,我们是安装不成功的。rpm-qa|greppostfixrpm-qa|grepmariadb5、安装相应的依赖:yum-yinstalllibaioyum-yinstallnet-toolsyum-yinstallperl6、安装mysql组件经过上面的解压操作,我们得到了很多rpm文件。但是我们不需要这么多,我们只需要安装以下四个组件就可以了:因为具有依赖关系,所以我们需要按顺序执行。rpm-ivhmysql-community-common-5.7.27-1.el7.x86_64.rpmrpm-ivhmysql-community-libs-5.7.27-1.el7.x86_64.rpmrpm-ivhmysql-community-client-5.7.27-1.el7.x86_64.rpmrpm-ivhmysql-community-server-5.7.27-1.el7.x86_64.rpm7、修改MySQL密码mysql安装完成之后我们是没有设置密码的,但是mysql为我们设置了一个临时的密码,我们可以查看mysql的日志知道这个临时密码,查看临时密码前确保数据库启动。查看mysql是否启动:servicemysqldstatus启动mysql:servicemysqldstart停止mysql:servicemysqldstop重启mysql:servicemysqldrestart(2)查看临时密码:greppassword/var/log/mysqld.log登录mysql(命令:mysql-p),输入临时密码退出当前登录:quit;修改密码:ALTERUSER'root'@'localhost'IDENTIFIEDBY'新密码';新密码有要求:Thiswillrequirethatpasswordscontainatleastoneuppercaseletter,onelowercaseletter,onedigit,andonespecialcharacter,andthatthetotalpasswordlengthisatleast8characters.这将要求密码包含至少一个大写字母、一个小写字母、一个数字和一个特殊字符,并且总密码长度至少为8个字符。太复杂了我们修改两个全局参数:首先,修改validate_password_policy参数的值mysql>setglobalvalidate_password_policy=0;再修改密码的长度mysql>setglobalvalidate_password_length=1;

2019-9-5 124 1