相关配置版本组件版本提取码Hadoop2.9.2qtf9jdk1.8.0_221yjwtcentOS7.0bodr环境准备1.修改机器名称机器名称映射master:192.168.5.139slave1:192.168.5.143slave2:192.168.5.145修改机器名文件:vi/etc/hostname执行:hostname机器名检查:hostname2.修改master的hostname与ip的映射修改的文件:vi/etc/hosts192.168.5.139master192.168.5.143slave1192.168.5.145slave2master修改完成,把hosts发送到slave1、slave1节点foriin{1..2};doscp/etc/hostsroot@slave${i}:/etc;done角色分配机器名称节点节点masterDataNode/NameNodeNodeManager/ResourceManagerslave1DataNodeNodeManagerslave2DataNodeNodeManager前置配置1.ssh免密码登录每台机器执行:ssh-keygen-trsa把master节点上的authorized_keys钥发送到其他节点master执行命令,生成authorized_keys文件:ssh-copy-id-i/root/.ssh/id_rsa.pubmaster把authorized_keys发送到slave1slave2节点上scp/root/.ssh/authorized_keysroot@slave1:/root/.ssh/scp/root/.ssh/authorized_keysroot@slave2:/root/.ssh/在master节点测试免密码登录slave1、slave2命令:ssh机器名2.配置master的jdk,后面与hadoop一起发送到其他节点在master上解压jdk,并配置环境变量Hadoop集群的搭建解压Hadoop安装包,配置环境变量解压hadoop安装包到/usr/local/src/hadoop目录下,并配置HADOOP_HOME到环境变量修改配置文件进入hadoop的hadoop-2.9.2/etc/hadoop目录下1.修改hadoop-env.sh文件第一处#Thejavaimplementationtouse.#exportJAVA_HOME=${JAVA_HOME}(注释掉)exportJAVA_HOME=/usr/local/src/jdk1.8.0_221(添加上)第二处#exportHADOOP_CONF_DIR=${HADOOP_CONF_DIR:-"/etc/hadoop"}(注释)exportHADOOP_CONF_DIR=/usr/local/src/hadoop-2.9.2/etc/hadoop(添加上)修改完记得sourcehadoop-env.sh2.修改core-site.xml文件<configuration><property><name>fs.defaultFS</name><value>hdfs://master:9000</value></property><!--临时目录--><property><name>hadoop.tmp.dir</name><value>/usr/local/src/hadoop-2.9.2/tmp</value></property></configuration>3.修改hdfs-site.xml文件添加到hdfs-site.xml文件<configuration><!--block块的复制数量--><property><name>dfs.replication</name><value>3</value></property><!--namenode的http协议地址和端口--><property><name>dfs.namenode.secondary.http-address</name><value>master:50090</value></property><!--namenode的https协议地址和端口--><property><name>dfs.namenode.secondary.https-address</name><value>master:50091</value></property></configuration>4.修改yarn-site.xml文件<configuration><!--用于存储本地化文件的目录列表--><!--创建目录mkdir-p/usr/local/src/nm/localdir--><property><name>yarn.nodemanager.local-dirs</name><value>/usr/local/src/nm/localdir</value></property><!--reducer获取数据的方式--><property><name>yarn.nodemanager.aux-services</name><value>mapreduce_shuffle</value></property><!--指定yarn的resourcemanager的地址--><property><name>yarn.resourcemanager.hostname</name><value>node1</value></property><!--忽略虚拟内存的检查虚拟机上设置有很大用处--><property><name>yarn.nodemanager.vmem-check-enabled</name><value>false</value><description>Whethervirtualmemorylimitswillbeenforcedforcontainers</description></property><!--yarn分配的内存大小--><property><name>yarn.nodemanager.resource.memory-mb</name><value>3276</value></property><!--每台机器最大分配内存,超过报异常--><property><name>yarn.scheduler.maximum-allocation-mb</name><value>3276</value></property><!--yarn分配的CPU个数--><property><name>yarn.nodemanager.resource.cpu-vcores</name><value>4</value></property><!--每台机器最大分配CPU个数,超过报异常--><property><name>yarn.scheduler.maximum-allocation-vcores</name><value>4</value></property></configuration>5.修改mapred-site.xml文件首先拷贝一份:cpmapred-site.xml.templatemapred-site.xml<configuration><!--mapreduce运行时的框架,可以是local,classicoryarn--><property><name>mapreduce.framework.name</name><value>yarn</value></property><!--mapreduce历史任务的地址端口--><property><name>mapreduce.jobhistory.address</name><value>master:10020</value></property><!--MapReduceJobHistory服务器WebUI主机:端口--><property><name>mapreduce.jobhistory.webapp.address</name><value>master:19888</value></property></configuration>6.修改slaves文件这个文件就是规定从节点运行的机器删除原本的localhost添加上masterslave1slave2分发配置文件到slave1,slave2把hadoop、java分发到slave1、slave2scp-r/usr/local/src/root@slave1:/usr/local/scp-r/usr/local/src/root@slave2:/usr/local/把环境变量文件分发到slave1、slave2scp/etc/profileroot@slave1:/etc/scp/etc/profileroot@slave2:/etc/分发完记得去slave1、slave2source/etc/profile启动Hadoop集群1.格式化namenode节点只需要在master机器上执行就好hdfsnamenode-format2.启动集群:在master上执行start-all.sh验证jps验证masterslave1slave2JpsJpsJpsNodeManagerNodeManagerNodeManagerDataNodeDataNodeDataNodeNameNodeSecondaryNameNodeResourceManager网页端验证关闭防火墙systemctlstopfirewalld.servicemaster机器IP:50070master机器IP:8088
0x00学习通,智慧树刷课,完成任务点自动跳转,自动作答视频中弹出的问题。小节测试题,章节测试题,期末考试题自动作答。正确率高达98%。0x01下载用户脚本管理器下载Firefox浏览器Firefox浏览器打开https://greasyfork.org/zh-CN0x02下载脚本下载安装需要的脚本,不一定要把这三个都安装。所需要的脚本下载完成后,打开脚本管理器,建议同时只打开需要的脚本0x03检查安装工作做到这里我们的安装工作就已经完成,现在我们来进行检查脚本是否可用。脚本正常进行了对答案的搜索,所以我们安装成功了。0x04特别声明自动化学习网课有一定风险,请谨慎使用,此方法不得进行商业使用,一切责任由使用者自行承担,与本文作者及网站无关。
0x00相关版本及文件下载IntelliJIDEA2018.3.4提取码:1g47IntelliJIDEA2018.3.5提取码:0m2j补丁及激活码提取码:kybl0x01破解前的准备首先下载IntelliJIDEA(试了一下2018.3.4和2018.3.5都是可以的)正常安装完成,并建立好一个项目(为了进入软件)0x02开始破解打开软件安装de根目录,把补丁放入bin目录下2.在idea.exe.vmoptions、idea64.exe.vmoptions两文件的最后一排加入-javaagent:你的安装路径\JetbrainsIdesCrack-4.2-release-enc.jar打开IntelliJIDEA填入激活代码0x03查看结果启动IntelliJIDEA看到激活年限9999年,够用了吧,哈哈哈哈
相关版本ContOS:7.4原来Python版本2.7.5升级Python版本3.7.30x00查看Python相关安装路径查看命令whereispython0x01下载解压python-3.7.3进入cd/usr/local/src/下载命令wgethttps://www.python.org/ftp/python/3.7.3/Python-3.7.3.tgz解压Python-3.6.3tar-zxvfPython3.7.3.tgz0x02编译安装进入Python3.7.3目录cdPython-3.7.3执行编译安装命令./configure完成后执行make完成后执行makeinstall0x03验证安装版本python-Vpython3-V0x04设置3.7.3为默认版本查看python相关软连接ls-al/usr/bin|greppython备份之前的python,执行命令mv/usr/bin/python/usr/bin/python.bak修改软连接命令ln-s/usr/local/bin/python3/usr/bin/python查看python版本python-V0x05修改yum文件因为升级了版本以后,yum运行会报错执行sudovim/usr/bin/yum在第一行的后面跟上旧的版本号然后在安装软件的时候又会,报错解决办法:执行命令:sudovim/usr/libexec/urlgrabber-ext-down在文件的第一行,也改为python2.7
0x00版本信息版本号:Tomcat8.5.45安装平台:window_10x64下载地址:https://tomcat.apache.org/download-80.cgi0x01安装配置1.下载完成解压安装包2.配置环境变量1新建CATALINA_HOME变量CATALINA_HOME值Tomcat路径2加入path%CATALINA_HOME%/bin0x02本地安装测试启动与停止命令启动服务startup.bat停止服务shutdown.bat远程访问测试创建测试文件apache-tomcat-8.5.45\webapps\ROOT目录下创建测试文件启动服务输入本机ip:8080/测试文件名进行访问
搭建版本ContOS:7.0hadoop:2.9.2jdk:1.8.0_2210x00配置jdk的环境变量配置jdk(点击查看)0x01配置hadoop的环境变量创建hadoop文件,解压hadoop的tar包创建文件夹mkdir/usr/local/src/hadoop/解压hadooptar-zxvfhadoop-2.9.2配置hadoop环境变量vi/etc/profile#hadoopexportHADOOP_HOME=/usr/local/src/hadoop/hadoop-2.9.2exportPATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin修改完成后记得source/etc/profile0x02修改Hadoop相关文件修改hadoop-env.sh路径hadoop-2.9.2/etc/hadoop/hadoop-env.sh第一处修改加入JAVA_HOME的路径第二处修改加入HADOOP_HOME路径exportHADOOP_HOME=/usr/local/src/hadoop/hadoop-2.9.2exportHADOOP_CONF_DIR=${HADOOP_HOME}/etc/hadoop第三处修改exportHADOOP_OPTS="-Djava.library.path=${HADOOP_HOME}/lib/native"记得sourcehadoop-env.sh2修改core-site.xml路径hadoop-2.9.2/etc/hadoop/core-site.xml创建临时目录mkdir-p/usr/local/src/hadoop/tmp/name/<configuration><!--指定hdfs的老大,namenode的地址--><property><name>fs.defaultFS</name><value>hdfs://本机ip地址:9000</value></property><!--指定hadoop运行时产生的文件存放的地址--><property><name>hadoop.tmp.dir</name><value>/usr/local/src/hadoop/tmp</value></property></configuration>3修改hdfs-site.xml路径hadoop-2.9.2/etc/hadoop/hdfs-site.xml<configuration><!--指定hdfs保存数据副本数量,默认值是3--><!--如果是伪分布式,此值是1--><property><name>dfs.replication</name><value>1</value></property><!--设置hdfs的操作权限,false表示任何用户都可以在hdfs上操作文件--><property><name>dfs.permissions</name><value>false</value></property></configuration>0x03配置免密登录关闭防火墙systemctlstopfirewalld.service配置免密登录ssh-keygen一直敲回车(生成节点公钥和私钥,生成的文件会自动放在/root/.ssh目录下面)复制秘钥ssh‐copy‐idroot@<复制到机器的ip>测试免密登录sshroot@<有秘钥机器的ip>0x04启动hadoop格式化节点hdfsnamenode‐format启动hadoopstart-dfs.sh出现下图则伪分布式安装成功0x05查看Hadoop的网页端打开浏览器输入IP:50070即可推荐阅读:伪分布式相关问题及解决方法
0x00关机halt即刻关机poweroff即刻关机shutdown-hnow立刻关机(root用户使用)shutdown-h1010分钟后自动关机0x01重启reboot普通重启shutdown-rnow立刻重启(root用户使用)shutdown-r1010分钟后重启shutdwn-r20:35在20:35的时候重启0x02停止防火墙与开机启动firewall-cmd--state查看防火墙状态systemctlstopfirewalld.service关闭防火墙systemctlstartfirewalld.service重新启动防火墙systemctldisablefirewalld.service禁止firewall开机启动systemctlenablefirewalld.service设置firewall开机启动0x03防火墙端口操作firewall-cmd--zone=public--add-port=3306/tcp--permanent开启3306端口firewall-cmd--zone=public--remove-port=3306/tcp--permanent关闭3306端口firewall-cmd--reload使配置生效firewall-cmd--zone=public--list-ports查看防火墙开放的端口netstat-lnpt查看监听的端口netstat-lnpt|grep22查看22端口被哪些进程占用PS:CentOS_7默认没有netstat命令,需要安装net-tools工具,yuminstall-ynet-toolsps6843查看6843进程的详细信息
Python模块安装源阿里云:http://mirrors.aliyun.com/pypi/simple/豆瓣:http://pypi.douban.com/simple/清华大学:https://pypi.tuna.tsinghua.edu.cn/simple/(推荐)中国科学技术大学:https://pypi.mirrors.ustc.edu.cn/simple/官方默认安装源https://pypi.org/simple(国外)pipenv使用0x00全局Python安装pipenv模块0x01pycharm创建项目设置pipenv管理0x02修改安装模块源为国内的0x03安装模块的方式1、在Pycharm的设置里进行安装2、Pycharm的Terminal下使用pipenvinstall包名安装模块,pipenvuninstall包名卸载模块0x04注意事项及好处不能用pip安装不然Pipfile和Pipfile.lock就不会记录模块的数据了在移交项目时直接把源码、Pipfile和Pipfile.lock移交然后用在与上面文件的同级目录下使用pipenvinstall就可以快速安装所需模块