奇巧淫技

设置鼠标悬浮提示设置效果修改注释颜色设置修改类头的文档注释信息设置模板/**@authorbigdataboy@create${YEAR}-${MONTH}-${DAY}${TIME}*/相关属性变量详情${PACKAGE_NAME}新文件的包的名称${USER}当前用户系统登录名${DATE}当前系统日期${TIME}当前系统时间${YEAR}今年${MONTH}本月${MONTH_NAME_SHORT}当前月份名称的前3个字母。例如:Jan,Feb等。${MONTH_NAME_FULL}当前月份的全名。例如:January,February,等。${DAY}今天${DAY_NAME_SHORT}当前星期的前3个字母。例如:Mon,Tue等${DAY_NAME_FULL}当前星期的全名。例如:Monday,Tuesday等。${HOUR}当前的小时${MINUTE}当前的分钟${PROJECT_NAME}当前项目的名称设置为省电模式IntelliJIDEA有一种叫做省电模式的状态,开启这种模式之后IntelliJIDEA会关掉代码检查和代码提示等功能。代码模板配置一些常用代码字母缩写,在输入简写时可以出现你·预定义的固定模式的代码·,使得开发效率大大提高,同时也可以增加个性化。就是在Java中输入sout会出现System.out.println();官方介绍LiveTemplates:https://www.jetbrains.com/help/idea/using-live-templates.html查看已有模板PostfixCompletion默认如下:LiveTemplates默认如下:二者的区别:LiveTemplates可以自定义,而PostfixCompletion不可以。同时,有些操作二者都提供了模板,PostfixTemplates较LiveTemplates能快0.01秒自定义模板IDEA提供了很多现成的Templates。但你也可以根据自己的需要创建新的Template。先定义一个模板的组:选中自定义的模板组,点击+来定义模板。

2020-2-26 496 0
哔哔大数据

搭建前的准备搭建Scala环境首先需要你的IDEA需要搭建好Scala的环境(可以参考这篇)还需要一个和Hadoop的Windows版二进制文件下载地址:http://public-repo-1.hortonworks.com/hdp-win-alpha/winutils.exe搭建配置winutils创建一个目录E:\winutils\bin把winutils.exe放进去配置环境变量//新建变量变量名:HADOOP_HOME变量值:E:\winutils//把新建变量加入Path%HADOOP%\bin这样就安装好了配置IDEA在IDEA配置好Scala后,就只需要在pom.xml文件里添加Spark依赖就好pom.xml文件<?xmlversion="1.0"encoding="UTF-8"?><projectxmlns="http://maven.apache.org/POM/4.0.0"xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"xsi:schemaLocation="http://maven.apache.org/POM/4.0.0http://maven.apache.org/xsd/maven-4.0.0.xsd"><modelVersion>4.0.0</modelVersion><groupId>cn.bigdataboy</groupId><artifactId>SparkDemo</artifactId><version>1.0</version><dependencies><!--Spark依赖--><!--https://mvnrepository.com/artifact/org.apache.spark/spark-core--><dependency><groupId>org.apache.spark</groupId><artifactId>spark-core_2.11</artifactId><version>2.0.0</version></dependency></dependencies></project>等待依赖下载完成Spark案例第一个Spark案例,单词统计统计数据helloScalahelloJavahelloPython统计代码defmain(args:Array[String]):Unit={//设定Spark运行环境valconf:SparkConf=newSparkConf().setMaster("local[*]").setAppName("wc")//创建Spark上下文连接对象valsc=newSparkContext(conf)//读取文件,一行数据为一个元素vallines:RDD[String]=sc.textFile("./src/main/Scala/data.txt")//空格分隔,使其扁平化valwords:RDD[String]=lines.flatMap(_.split(""))//格式化数据,方便统计valwordToOne:RDD[(String,Int)]=words.map((_,1))//聚合valwordToSum:RDD[(String,Int)]=wordToOne.reduceByKey(_+_)//收集并打印结果println(wordToSum.collect().mkString(","))//保存结果wordToSum.saveAsTextFile("./src/main/Scala/out")}

2019-10-28 606 0