0x00Python需要导入的模块fromCrypto.CipherimportAESfromCrypto.Util.Paddingimportpadfrombinasciiimportb2a_hex,a2b_hex0x01AES加密代码defAES_encrypt(secret_key,data):""":paramsecret_key[str]:加密秘钥:paramdata[str]:需要加密数据:return[str]:"""BLOCK_SIZE=16#Bytes#数据进行PKCS5Padding的填充raw=pad(str(data),BLOCK_SIZE)#通过key值，使用ECB模式进行加密cipher=AES.new(secret_key.encode(),AES.MODE_ECB)#得到加密后的字节码encrypted_text=cipher.encrypt(bytes(raw,encoding='utf-8'))#字节码转换成十六进制再转成字符串encrypted_text_hex=str(b2a_hex(encrypted_text),encoding='utf-8')returnencrypted_text_hex0x02AES解密代码defAES_decrypt(secret_key,encrypted_text_hex):""":paramsecret_key[str]:加密秘钥:paramencrypted_text_hex[str]:#加密后的data字符串:return[str]:"""#去掉PKCS5Padding的填充unpad=lambdas:s[:-ord(s[len(s)-1:])]#通过key值进行cipher=AES.new(secret_key.encode(),AES.MODE_ECB)data_response=unpad(cipher.decrypt(a2b_hex(encrypted_text_hex))).decode('utf8')returndata_response0x03测试代码secret_key="z1s4d5e4rt5g4h5y"#秘钥（需要16位）dataEncrypt=AES_encrypt(secret_key,"123456789")#加密print(dataEncrypt)#打印加密后的数据data=AES_decrypt(secret_key,dataEncrypt)#解密print(data)#打印解密后的数据0x04测试结果#测试结果8f0eddc4bd5f22006087afcfa6e18e6e123456789
说明如果你想要查询一些权威的资料，上Google搜索有用的内容，超流畅1080p高清观看Youtube，畅游全网，，搭建属于你自己的ss(Shadowrocks)服务器，并且开启BBR加速上网，10分钟几个步骤轻松搞定。安卓连接工具：shadowsocks—universal-4.6.5.apkwindows连接工具：shadowsocksr-backup-release搭建ss运行下面几个命令即可快速搭建安装wgetyuminstallwget接着执行安装shadowsockswget–no-check-certificate-Oshadowsocks.shhttps://raw.githubusercontent.com/teddysun/shadowsocks_install/master/shadowsocks.sh获取shadowsocks.sh读取权限chmod+xshadowsocks.sh设置你的ss密码和端口号输入./shadowsocks.sh2>&1|teeshadowsocks.log后就可以设置密码、端口号、加密方式接着按任意键进行安装安装ss完成等一会之后，就安装完成了，它会给你显示你需要连接vpn的信息：使用BBR加速上网安装BBRwget--no-check-certificatehttps://github.com/teddysun/across/raw/master/bbr.sh获取读写权限chmod+xbbr.sh启动BBR安装./bbr.sh接着按任意键，开始安装，坐等一会。安装完成一会之后它会提示我们是否重新启动vps，我们输入y确定重启服务器。新启动之后，输入lsmod|grepbbr如果看到tcp_bbr就说明BBR已经启动了
相关配置hadoop-2.9.2伪分布式搭建0x00说明首先需要配置hadoop的伪分布式0x01修改mapred-site.xml修改MapReduce配置文件mapred-site.xml路径hadoop-2.9.2/etc/hadoop/mapred-site.xml将模板文件mapred-site.xml.template拷贝一份，并重命名为mapred-site.xml,命令cpmapred-site.xml.templatemapred-site.xml<configuration><!--指定MapReduce运行在yarn--><property><name>mapreduce.framework.name</name><value>yarn</value></property></configuration>0x02修改yarn-site.xml配置资源协调工具yarn的修改路径hadoop-2.9.2/etc/hadoop/yarn-site.xml<configuration><!--SitespecificYARNconfigurationproperties--><!--指定yarn的老大resoucemanager的地址--><property><name>yarn.resourcemanager.hostname</name><name>hadoop</name></property><!--NodeManager获取数据的方式--><property><name>yarn.nodemanager.aux-services</name><value>mapreduce_shuffle</value></property></configuration>0x03启动资源管理器启动命令start-yarn.sh0x04验证启动结果出现以下节点代表，启动成功网页端查看IP:8088/
name文件夹不存在错误描述：Directory/usr/local/src/hadoop/tmp/dfs/nameisinaninconsistentstate:storagedirectorydoesnotexistorisnotaccessible.处理方法：创建name文件重新格式化再次启动namenode无法启动错误描述：当把hadoop停止之后，再次启动没有namenode节点处理方法：清空临时目录tmp里面的data下的东西,再次启动namenode处于安全模式错误描述Namenodeisinsafemode.Namenode处于安全模式处理方式：关闭安全模式hadoopdfsadmin-safemodeleave进入安全模式hadoopdfsadmin-safemodeenterHive无法跑MR任务错误描述Taskwiththemostfailures(4):-----TaskID:task_1594519690907_0001_m_000000URL:http://0.0.0.0:8088/taskdetails.jsp?jobid=job_1594519690907_0001&tipid=task_1594519690907_0001_m_000000-----DiagnosticMessagesforthisTask:Containerlaunchfailedforcontainer_1594519690907_0002_01_000005:org.apache.hadoop.yarn.exceptions.InvalidAuxServiceException:TheauxService:mapreduce_shuffledoesnotexistatsun.reflect.NativeConstructorAccessorImpl.newInstance0(NativeMethod)atsun.reflect.NativeConstructorAccessorImpl.newInstance(NativeConstructorAccessorImpl.java:62)atsun.reflect.DelegatingConstructorAccessorImpl.newInstance(DelegatingConstructorAccessorImpl.java:45)atjava.lang.reflect.Constructor.newInstance(Constructor.java:423)atorg.apache.hadoop.yarn.api.records.impl.pb.SerializedExceptionPBImpl.instantiateExceptionImpl(SerializedExceptionPBImpl.java:171)atorg.apache.hadoop.yarn.api.records.impl.pb.SerializedExceptionPBImpl.instantiateException(SerializedExceptionPBImpl.java:182)atorg.apache.hadoop.yarn.api.records.impl.pb.SerializedExceptionPBImpl.deSerialize(SerializedExceptionPBImpl.java:106)atorg.apache.hadoop.mapreduce.v2.app.launcher.ContainerLauncherImpl$Container.launch(ContainerLauncherImpl.java:162)atorg.apache.hadoop.mapreduce.v2.app.launcher.ContainerLauncherImpl$EventProcessor.run(ContainerLauncherImpl.java:393)atjava.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1149)atjava.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:624)atjava.lang.Thread.run(Thread.java:748)FAILED:ExecutionError,returncode2fromorg.apache.hadoop.hive.ql.exec.mr.MapRedTaskMapReduceJobsLaunched:Stage-Stage-1:Map:1Reduce:1HDFSRead:0HDFSWrite:0FAILTotalMapReduceCPUTimeSpent:0msec处理方式：#确认yarn-site.xml的配置是否正确<!--NodeManager获取数据的方式--><property><name>yarn.nodemanager.aux-services</name><value>mapreduce_shuffle</value></property>#然后重启Hadoop
0x00相关软件及版本maven:3.6.2IDEA:2018.3.5hadoop：2.9.2maven依赖搜索地址windows_10_64位0x01IDEA配置打开设置File-->setting0x02创建Maven项目IDEA新建一个工程配置项目的名称版本把本地安装的maven添加进去(本文版本说明有maven安装步骤)然后直接再下一步，finish完成上面后，右下角弹出下图模样(这样如果需要什么hadoop的依赖包就会下载)0x03添加hadoop的依赖安装下图修改自行修改，等在依赖下载完成<dependency><groupId>org.apache.hadoop</groupId><artifactId>hadoop-client</artifactId><version>2.9.2</version></dependency>修改一下上图的文件配置(方便以后的版本管理)这样就修改完成查看maven安装相关依赖(这也是maven的方便之处，就不需要自己去安装了)0x04总结maven：可以一键下载相关依赖文件，hadoop的依赖文件非常多，自己一个一个去安装根本不现实，所以这是一个非常方便的管理器
相关版本下载IADE：2018.3.5Maven：3.6.2OS:window_1064位0x00解压、配置文件解压apache-maven-3.6.2-bin并创建一个MavenRepository文件夹(本地仓库)配置本地仓库路径修改文件路径：apache-maven-3.6.2-bin\apache-maven-3.6.2\conf\settings.xml在大概下图<settings...后面加入<localRepository>本地仓库路径</localRepository>0x01修改下载源修改文件apache-maven-3.6.2-bin\apache-maven-3.6.2\conf\settings.xml<mirror> <id>alimaven</id> <mirrorOf>central</mirrorOf> <name>aliyunmaven</name> <url>http://maven.aliyun.com/nexus/content/groups/public/</url></mirror>0x02配置环境变量新建系统变量MAVEN_HOME，值maven的路径把bin目录加入path中0x03检查是否安装正确打开CMD输入mvn-version
0x00本地文件上传到HDFS方法一hadoopfs-puttest.txt/把test.txt放在hdsf的根目录方法二hadoopfs-copyFromLocaltest.txt/h.txt把text.txt放在hdfs根目录上并重命名为h.txt0x01文件从HDFS上下载到本地方法一hadoopfs-get/h.txt把h.txt从hdfs上拿到本地来方法二hadoopfs-copyToLocal/test.txth.txt把test.txt从hdfs上拿到本地并重命名为h.txt0x02在HDFS上创建目录创建单层目录hadoopfs-mkdir/dir在hdfs的根目录创建dir目录创建多层目录hadoopfs-mkdir-p/dir/a/b/c在hdfs创建多级目录0x03查看HDFS上的文件及内容hadoopfs-cat/test.txt查看hdfs上test.txt的内容hadoopfs-ls/查看hdsf根目录
相关配置版本组件版本提取码Hadoop2.9.2qtf9jdk1.8.0_221yjwtcentOS7.0bodr环境准备1.修改机器名称机器名称映射master:192.168.5.139slave1:192.168.5.143slave2:192.168.5.145修改机器名文件：vi/etc/hostname执行：hostname机器名检查：hostname2.修改master的hostname与ip的映射修改的文件：vi/etc/hosts192.168.5.139master192.168.5.143slave1192.168.5.145slave2master修改完成，把hosts发送到slave1、slave1节点foriin{1..2};doscp/etc/hostsroot@slave${i}:/etc;done角色分配机器名称节点节点masterDataNode/NameNodeNodeManager/ResourceManagerslave1DataNodeNodeManagerslave2DataNodeNodeManager前置配置1.ssh免密码登录每台机器执行：ssh-keygen-trsa把master节点上的authorized_keys钥发送到其他节点master执行命令,生成authorized_keys文件：ssh-copy-id-i/root/.ssh/id_rsa.pubmaster把authorized_keys发送到slave1slave2节点上scp/root/.ssh/authorized_keysroot@slave1:/root/.ssh/scp/root/.ssh/authorized_keysroot@slave2:/root/.ssh/在master节点测试免密码登录slave1、slave2命令：ssh机器名2.配置master的jdk，后面与hadoop一起发送到其他节点在master上解压jdk，并配置环境变量Hadoop集群的搭建解压Hadoop安装包，配置环境变量解压hadoop安装包到/usr/local/src/hadoop目录下，并配置HADOOP_HOME到环境变量修改配置文件进入hadoop的hadoop-2.9.2/etc/hadoop目录下1.修改hadoop-env.sh文件第一处#Thejavaimplementationtouse.#exportJAVA_HOME=${JAVA_HOME}（注释掉）exportJAVA_HOME=/usr/local/src/jdk1.8.0_221（添加上）第二处#exportHADOOP_CONF_DIR=${HADOOP_CONF_DIR:-"/etc/hadoop"}（注释）exportHADOOP_CONF_DIR=/usr/local/src/hadoop-2.9.2/etc/hadoop（添加上)修改完记得sourcehadoop-env.sh2.修改core-site.xml文件<configuration><property><name>fs.defaultFS</name><value>hdfs://master:9000</value></property><!--临时目录--><property><name>hadoop.tmp.dir</name><value>/usr/local/src/hadoop-2.9.2/tmp</value></property></configuration>3.修改hdfs-site.xml文件添加到hdfs-site.xml文件<configuration><!--block块的复制数量--><property><name>dfs.replication</name><value>3</value></property><!--namenode的http协议地址和端口--><property><name>dfs.namenode.secondary.http-address</name><value>master:50090</value></property><!--namenode的https协议地址和端口--><property><name>dfs.namenode.secondary.https-address</name><value>master:50091</value></property></configuration>4.修改yarn-site.xml文件<configuration><!--用于存储本地化文件的目录列表--><!--创建目录mkdir-p/usr/local/src/nm/localdir--><property><name>yarn.nodemanager.local-dirs</name><value>/usr/local/src/nm/localdir</value></property><!--reducer获取数据的方式--><property><name>yarn.nodemanager.aux-services</name><value>mapreduce_shuffle</value></property><!--指定yarn的resourcemanager的地址--><property><name>yarn.resourcemanager.hostname</name><value>node1</value></property><!--忽略虚拟内存的检查虚拟机上设置有很大用处--><property><name>yarn.nodemanager.vmem-check-enabled</name><value>false</value><description>Whethervirtualmemorylimitswillbeenforcedforcontainers</description></property><!--yarn分配的内存大小--><property><name>yarn.nodemanager.resource.memory-mb</name><value>3276</value></property><!--每台机器最大分配内存，超过报异常--><property><name>yarn.scheduler.maximum-allocation-mb</name><value>3276</value></property><!--yarn分配的CPU个数--><property><name>yarn.nodemanager.resource.cpu-vcores</name><value>4</value></property><!--每台机器最大分配CPU个数，超过报异常--><property><name>yarn.scheduler.maximum-allocation-vcores</name><value>4</value></property></configuration>5.修改mapred-site.xml文件首先拷贝一份：cpmapred-site.xml.templatemapred-site.xml<configuration><!--mapreduce运行时的框架，可以是local,classicoryarn--><property><name>mapreduce.framework.name</name><value>yarn</value></property><!--mapreduce历史任务的地址端口--><property><name>mapreduce.jobhistory.address</name><value>master:10020</value></property><!--MapReduceJobHistory服务器WebUI主机:端口--><property><name>mapreduce.jobhistory.webapp.address</name><value>master:19888</value></property></configuration>6.修改slaves文件这个文件就是规定从节点运行的机器删除原本的localhost添加上masterslave1slave2分发配置文件到slave1，slave2把hadoop、java分发到slave1、slave2scp-r/usr/local/src/root@slave1:/usr/local/scp-r/usr/local/src/root@slave2:/usr/local/把环境变量文件分发到slave1、slave2scp/etc/profileroot@slave1:/etc/scp/etc/profileroot@slave2:/etc/分发完记得去slave1、slave2source/etc/profile启动Hadoop集群1.格式化namenode节点只需要在master机器上执行就好hdfsnamenode-format2.启动集群：在master上执行start-all.sh验证jps验证masterslave1slave2JpsJpsJpsNodeManagerNodeManagerNodeManagerDataNodeDataNodeDataNodeNameNodeSecondaryNameNodeResourceManager网页端验证关闭防火墙systemctlstopfirewalld.servicemaster机器IP:50070master机器IP:8088
0x00相关版本及文件下载IntelliJIDEA2018.3.4提取码：1g47IntelliJIDEA2018.3.5提取码：0m2j补丁及激活码提取码：kybl0x01破解前的准备首先下载IntelliJIDEA（试了一下2018.3.4和2018.3.5都是可以的）正常安装完成，并建立好一个项目（为了进入软件）0x02开始破解打开软件安装de根目录，把补丁放入bin目录下2.在idea.exe.vmoptions、idea64.exe.vmoptions两文件的最后一排加入-javaagent:你的安装路径\JetbrainsIdesCrack-4.2-release-enc.jar打开IntelliJIDEA填入激活代码0x03查看结果启动IntelliJIDEA看到激活年限9999年，够用了吧，哈哈哈哈
相关版本ContOS：7.4原来Python版本2.7.5升级Python版本3.7.30x00查看Python相关安装路径查看命令whereispython0x01下载解压python-3.7.3进入cd/usr/local/src/下载命令wgethttps://www.python.org/ftp/python/3.7.3/Python-3.7.3.tgz解压Python-3.6.3tar-zxvfPython3.7.3.tgz0x02编译安装进入Python3.7.3目录cdPython-3.7.3执行编译安装命令./configure完成后执行make完成后执行makeinstall0x03验证安装版本python-Vpython3-V0x04设置3.7.3为默认版本查看python相关软连接ls-al/usr/bin|greppython备份之前的python，执行命令mv/usr/bin/python/usr/bin/python.bak修改软连接命令ln-s/usr/local/bin/python3/usr/bin/python查看python版本python-V0x05修改yum文件因为升级了版本以后，yum运行会报错执行sudovim/usr/bin/yum在第一行的后面跟上旧的版本号然后在安装软件的时候又会,报错解决办法：执行命令：sudovim/usr/libexec/urlgrabber-ext-down在文件的第一行，也改为python2.7