相关配置版本组件版本Hadoop2.9.2Jdk1.8.0_221CentOS7.0Sqoop1.4.7环境准备一下只是用于测试，所以环境就简单一点Hadoop伪分布式（可在本站搜索Hadoop）安装Sqoop解压&重命名tar-zxvfsqoop-1.4.7.bin__hadoop-2.6.0.tar.gzmvsqoop-1.4.7.bin__hadoop-2.6.0sqoop-1.4.7修改配置文件进入sqoop-1.4.7/conf目录下复制模板文件[root@nodeconf]cpsqoop-env-template.shsqoop-env.sh修改文件sqoop-env.sh取消注释，加上Hadoop的路径&设置MR的路径#Setpathtowherebin/hadoopisavailableexportHADOOP_COMMON_HOME=/usr/local/src/hadoop-2.9.2#Setpathtowherehadoop-*-core.jarisavailableexportHADOOP_MAPRED_HOME=/usr/local/src/hadoop-2.9.2#保存退出，记得sourcesqoop-env.sh添加环境变量#sqoopexportSQOOP_HOME=/usr/local/src/sqoop-1.4.7exportPATH=$PATH:$SQOOP_HOME/bin:#保存退出，记得source/etc/profile安装完成查看版本会报出没有配置HBASE_HOME,HIVE_HOME等警告，如果不用这些，就无需配置。[root@nodeconf]sqoop-version20/06/0720:41:36INFOsqoop.Sqoop:RunningSqoopversion:1.4.7Sqoop1.4.7gitcommitid2328971411f57f0cb683dfb79d19d4d19d185dd8CompiledbymauglionThuDec2115:59:58STD2017
解压Hive的tar包进入/opt/software/目录cd/opt/software/解压tar包到/opt/module/目录tar-zxvfhive-0.13.1-cdh5.3.6.tar.gz-C/opt/module/配置环境变量vi/etc/profile加入环境变量#HiveexportHIVE_HOME=/opt/module/hive-0.13.1-cdh5.3.6exportPATH=$HIVE_HOME/bin:$PATH:更新环境变量source/etc/profile尝试进入Hive，再退出在进入之前需要删除一个文件删除$HADOOP_HOME/share/hadoop/yarn/lib/jline-0.9.94.jar文件删除后尝试进入hive，进去后退出exit；没有mysql密码的情况找到mysqld配置文件：my.cnf路径：/etc/my.cnf在[mysql]模块里面添加：skip-grant-tables保存退出；2.使配置生效重启mysql服务：servicemysqlrestart3.修改密码mysql-uroot-p//提示输入密码直接敲回车//进入mysql后//选择数据库usemysql;//修改密码updateusersetPassword=password('你需要设置的密码')whereUser='root';//退出4.去除免密登陆删除步骤一里面添加的语句：skip-grant-tables重启服务servicemysqlrestart现在登陆就用我们自己刚刚设置的密码来进行登陆了。以上四个步骤是不知道mysql密码的情况，如果知道就进行下面的操作。MySQL配置1、开启MySQL远程连接mysql>GRANTALLPRIVILEGESON*.*TO'root'@'%'IDENTIFIEDBY'密码';mysql>flushprivileges;2、创建一个数据库mysql>createdatabasehive;QueryOK,1rowaffected(0.00sec)配置Hive数据库为MySQL需要在$HIVE_HOME的conf目录下创建hive-site.xml文件注意使用标签把配置包裹起来。<?xmlversion="1.0"encoding="UTF-8"standalone="no"?><?xml-stylesheettype="text/xsl"href="configuration.xsl"?><configuration><property><name>javax.jdo.option.ConnectionURL</name><value>jdbc:mysql://localhost:3306/hive</value></property><property><name>javax.jdo.option.ConnectionDriverName</name><value>com.mysql.jdbc.Driver</value></property><property><name>javax.jdo.option.ConnectionUserName</name><value>root</value></property><property><name>javax.jdo.option.ConnectionPassword</name><value>自己的mysql密码</value></property><property><name>hive.metastore.schema.verification</name><value>false</value></property></configuration>初始化Hive数据库首先需要把MySQL驱动放入Hive的lib目录下scp/opt/software/mysql-connector-java-5.1.47.jarroot@master:/opt/module/hive-0.13.1-cdh5.3.6/lib/[root@masterconf]#schematool-dbTypemysql-initSchemaMetastoreconnectionURL:jdbc:mysql://192.168.176.65:3306/hiveMetastoreConnectionDriver:com.mysql.jdbc.DriverMetastoreconnectionUser:rootStartingmetastoreschemainitializationto1.2.0Initializationscripthive-schema-1.2.0.mysql.sqlInitializationscriptcompletedschemaToolcompleted（初始化完成）[root@masterconf]#启动Hive[root@masterhive]#hiveLogginginitializedusingconfigurationinjar:file:/usr/local/src/hive/apache-hive-1.2.2-bin/lib/hive-common-1.2.2.jar!/hive-log4j.propertieshive>
0x00学习通，智慧树刷课，完成任务点自动跳转，自动作答视频中弹出的问题。小节测试题，章节测试题，期末考试题自动作答。正确率高达98%。0x01下载用户脚本管理器下载Firefox浏览器Firefox浏览器打开https://greasyfork.org/zh-CN0x02下载脚本下载安装需要的脚本，不一定要把这三个都安装。所需要的脚本下载完成后，打开脚本管理器，建议同时只打开需要的脚本0x03检查安装工作做到这里我们的安装工作就已经完成，现在我们来进行检查脚本是否可用。脚本正常进行了对答案的搜索，所以我们安装成功了。0x04特别声明自动化学习网课有一定风险，请谨慎使用，此方法不得进行商业使用，一切责任由使用者自行承担，与本文作者及网站无关。
1、创建mysql文件夹：mkdir/home/mysql用于存放MySQL安装包2、打开创建的mysql文件：cd/home/mysql/3、解压tar文件：tar-xvfmysql-5.7.27-1.el7.x86_64.rpm-bundle.tar4、卸载冲突的RPM组件在我们安装mysql相关组件的时候，如果不将此冲突的组件删除掉，我们是安装不成功的。rpm-qa|greppostfixrpm-qa|grepmariadb5、安装相应的依赖：yum-yinstalllibaioyum-yinstallnet-toolsyum-yinstallperl6、安装mysql组件经过上面的解压操作，我们得到了很多rpm文件。但是我们不需要这么多，我们只需要安装以下四个组件就可以了：因为具有依赖关系，所以我们需要按顺序执行。rpm-ivhmysql-community-common-5.7.27-1.el7.x86_64.rpmrpm-ivhmysql-community-libs-5.7.27-1.el7.x86_64.rpmrpm-ivhmysql-community-client-5.7.27-1.el7.x86_64.rpmrpm-ivhmysql-community-server-5.7.27-1.el7.x86_64.rpm7、修改MySQL密码mysql安装完成之后我们是没有设置密码的，但是mysql为我们设置了一个临时的密码，我们可以查看mysql的日志知道这个临时密码，查看临时密码前确保数据库启动。查看mysql是否启动：servicemysqldstatus启动mysql：servicemysqldstart停止mysql：servicemysqldstop重启mysql：servicemysqldrestart（2）查看临时密码：greppassword/var/log/mysqld.log登录mysql（命令：mysql-p），输入临时密码退出当前登录：quit;修改密码：ALTERUSER'root'@'localhost'IDENTIFIEDBY'新密码';新密码有要求：Thiswillrequirethatpasswordscontainatleastoneuppercaseletter,onelowercaseletter,onedigit,andonespecialcharacter,andthatthetotalpasswordlengthisatleast8characters.这将要求密码包含至少一个大写字母、一个小写字母、一个数字和一个特殊字符，并且总密码长度至少为8个字符。太复杂了我们修改两个全局参数：首先，修改validate_password_policy参数的值mysql>setglobalvalidate_password_policy=0;再修改密码的长度mysql>setglobalvalidate_password_length=1;