概述导航菜单可应用于头部和侧边，Tab选项卡提供多套风格，支持响应式，支持删除选项卡等功能。面包屑结构简单，支持自定义分隔符，更多使用官网查看。官网：https://www.layui.com/doc/element/tab.html使用基础选项卡模板<fieldsetclass="layui-elem-fieldlayui-field-title"style="margin-top:30px;"><legend>默认风格的Tab</legend></fieldset><divclass="layui-tab"><!--选项卡标题--><ulclass="layui-tab-title"><liclass="layui-this">网站设置</li><li>用户管理</li><li>权限分配</li><li>商品管理</li><li>订单管理</li></ul><!--选项卡内容--><divclass="layui-tab-content"><!--layui-show默认展示的选项卡--><divclass="layui-tab-itemlayui-show">1.高度默认自适应，也可以随意固宽。<br>2.Tab进行了响应式处理，所以无需担心数量多少。</div><divclass="layui-tab-item">大数据男孩2</div><divclass="layui-tab-item">大数据男孩3</div><divclass="layui-tab-item">大数据男孩4</div><divclass="layui-tab-item">大数据男孩5</div></div></div><script>//注意：导航依赖element模块，否则无法进行功能性操作layui.use(['element'],function(){})</script>三种风格默认风格：class="layui-tab"简洁风格：class="layui-tablayui-tab-brief"卡片风格：class="layui-tablayui-tab-card"<fieldsetclass="layui-elem-fieldlayui-field-title"style="margin-top:50px;"><legend>默认风格</legend></fieldset><divclass="layui-tab"lay-filter="test"><ulclass="layui-tab-title"><liclass="layui-this">网站设置</li><li>用户管理</li><li>权限分配</li><li>商品管理</li><li>订单管理</li></ul><divclass="layui-tab-content"><divclass="layui-tab-itemlayui-show">点击该Tab的任一标题，观察地址栏变化，再刷新页面。选项卡将会自动定位到上一次切换的项</div><divclass="layui-tab-item">大数据男孩</div><divclass="layui-tab-item">大数据男孩</div><divclass="layui-tab-item">大数据男孩</div><divclass="layui-tab-item">大数据男孩</div></div></div><fieldsetclass="layui-elem-fieldlayui-field-title"style="margin-top:50px;"><legend>简洁风格</legend></fieldset><divclass="layui-tablayui-tab-brief"lay-filter="docDemoTabBrief"><ulclass="layui-tab-title"><liclass="layui-this">网站设置</li><li>用户管理</li><li>权限分配</li><li>商品管理</li><li>订单管理</li></ul><divclass="layui-tab-content"style="height:100px;"><divclass="layui-tab-itemlayui-show">内容不一样是要有，因为你可以监听tab事件（阅读下文档就是了）</div><divclass="layui-tab-item">大数据男孩</div><divclass="layui-tab-item">大数据男孩</div><divclass="layui-tab-item">大数据男孩</div><divclass="layui-tab-item">大数据男孩</div></div></div><fieldsetclass="layui-elem-fieldlayui-field-title"style="margin-top:50px;"><legend>卡片风格</legend></fieldset><divclass="layui-tablayui-tab-card"><ulclass="layui-tab-title"><liclass="layui-this">网站设置</li><li>用户管理</li><li>权限分配</li><li>商品管理</li><li>订单管理</li></ul><divclass="layui-tab-content"style="height:100px;"><divclass="layui-tab-itemlayui-show">默认宽度是相对于父元素100%适应的，你也可以固定宽度。</div><divclass="layui-tab-item">大数据男孩</div><divclass="layui-tab-item">大数据男孩</div><divclass="layui-tab-item">大数据男孩</div><divclass="layui-tab-item">大数据男孩</div><divclass="layui-tab-item">大数据男孩</div></div></div><script>//注意：导航依赖element模块，否则无法进行功能性操作layui.use(['element'],function(){})</script>选项卡的相关动态操作（删除，添加…）请看官网
概述进度条可应用于许多业务场景，如任务完成进度、loading等等，是一种较为直观的表达元素。官网：https://www.layui.com/doc/element/progress.html使用进度条的实现原理就是大Div包裹小Div主要使用的类：class="layui-progress"大Divclass="layui-progress-bar"小Div默认风格<fieldsetclass="layui-elem-fieldlayui-field-title"style="margin-top:20px;"><legend>默认风格的进度条</legend></fieldset><!--大Div没有定义宽度--><divclass="layui-progress"><divclass="layui-progress-bar"lay-percent="40%"></div></div><!--定义大Div的宽度--><divstyle="margin-top:15px;width:300px"><divclass="layui-progress"><divclass="layui-progress-bar"lay-percent="70%"></div></div></div><script>//注意进度条依赖element模块，否则无法进行正常渲染和功能性操作layui.use(['element'],function(){});</script>不同颜色官方是提供了这几种颜色，可以自己定义颜色是定义在小Div里面<fieldsetclass="layui-elem-fieldlayui-field-title"style="margin-top:50px;"><legend>更多颜色选取</legend></fieldset><divclass="layui-progress"><divclass="layui-progress-barlayui-bg-red"lay-percent="20%"></div></div><br><divclass="layui-progress"><divclass="layui-progress-barlayui-bg-orange"lay-percent="30%"></div></div><br><divclass="layui-progress"><divclass="layui-progress-barlayui-bg-green"lay-percent="40%"></div></div><br><divclass="layui-progress"><divclass="layui-progress-barlayui-bg-blue"lay-percent="50%"></div></div><br><divclass="layui-progress"><divclass="layui-progress-barlayui-bg-cyan"lay-percent="60%"></div></div><script>//注意进度条依赖element模块，否则无法进行正常渲染和功能性操作layui.use(['element'],function(){});</script>大尺寸进度条只用类：class="layui-progresslayui-progress-big"<fieldsetclass="layui-elem-fieldlayui-field-title"style="margin-top:50px;"><legend>大尺寸进度条</legend></fieldset><divclass="layui-progresslayui-progress-big"><divclass="layui-progress-bar"lay-percent="20%"></div></div>显示文本的进度条大Div需要加入值lay-showpercent="true"<fieldsetclass="layui-elem-fieldlayui-field-title"style="margin:50px030px;"><legend>显示进度比文本</legend></fieldset><divclass="layui-progress"lay-showpercent="true"><divclass="layui-progress-bar"lay-percent="20%"></div></div><br><divclass="layui-progress"lay-showpercent="true"><divclass="layui-progress-bar"lay-percent="5/10"></div></div><br><divclass="layui-progresslayui-progress-big"lay-showpercent="true"><divclass="layui-progress-bar"lay-percent="70%"></div></div><br>正如你上述看到的，除了百分数，还支持分数（layui2.1.7新增）<br>大进度条文字显示在进度条内，小进度条在外面<script>//注意进度条依赖element模块，否则无法进行正常渲染和功能性操作layui.use(['element'],function(){});</script>动态进度条请查看官网
概述向任意HTML元素设定class="layui-btn"，建立一个基础按钮。通过追加格式为layui-btn-{type}的class来定义其它按钮风格。内置的按钮class可以进行任意组合，从而形成更多种按钮风格。官网：https://www.layui.com/doc/element/button.html使用<buttontype="button"class="layui-btn">一个标准的按钮</button><ahref="https://bigdataboy.cn"class="layui-btn">一个可跳转的按钮</a>主题不同颜色风格的按钮名称组合默认class=”layui-btn”原始class=”layui-btnlayui-btn-primary”百搭class=”layui-btnlayui-btn-normal”暖色class=”layui-btnlayui-btn-warm”警告class=”layui-btnlayui-btn-danger”禁用class=”layui-btnlayui-btn-disabled”尺寸按钮的大小样式尺寸组合默认class=”layui-btn”大型class=”layui-btnlayui-btn-lg”小型class=”layui-btnlayui-btn-sm”迷你class=”layui-btnlayui-btn-xs”特殊样式按钮的圆角，图标，流体按钮（最大化适应）样式组合默认class=”layui-btn”圆角class=”layui-btnlayui-btn-radius”图标class=”layui-btnlayui-icon”流体按钮class=”layui-btnlayui-btn-fluid”<divclass="layui-row"><buttontype="button"class="layui-btnlayui-btn-warm"><iclass="layui-icon"></i>添加</button><!--暖色图标按钮--><buttontype="button"class="layui-btnlayui-btn-warmlayui-iconlayui-icon-add-1">添加</button></div>按钮组按钮组与按钮容器的差别在于按钮之间的间距<!--按钮组包裹在layui-btn-group类中--><divclass="layui-btn-group"><buttontype="button"class="layui-btn">增加</button><buttontype="button"class="layui-btn">编辑</button><buttontype="button"class="layui-btn">删除</button></div>按钮容器按钮组与按钮容器的差别在于按钮之间的间距<!--按钮容器包裹在layui-btn-container类中--><divclass="layui-btn-container"><buttontype="button"class="layui-btn">按钮一</button><buttontype="button"class="layui-btn">按钮二</button><buttontype="button"class="layui-btn">按钮三</button></div>事件监听使用Jquery来为按钮添加各种事件<buttontype="button"id="btn"class="layui-btnlayui-btn-normal">圆形百搭按钮</button><script>var$=layui.jquery;$('#btn').click(function(){layer.alert("大数据男孩")})</script>
概述layui的所有图标全部采用字体形式，取材于阿里巴巴矢量图标库（iconfont）。因此你可以把一个icon看作是一个普通的文字，这意味着你直接用css控制文字属性，如color、font-size，就可以改变图标的颜色和大小。你可以通过font-class或unicode来定义不同的图标。官网：https://www.layui.com/doc/element/icon.html<!--引入css--><linkrel="stylesheet"href="./layui/css/layui.css">使用注意：在layui2.3.0之前的版本，只能设置unicode来定义图标<iclass="layui-icon"></i><!--如果要单纯的显示--><iclass="layui-icon">&#xe68f;</i>从layui2.3.0开始，支持font-class的形式定义图标：<iclass="layui-iconlayui-icon-heart-fill"></i>
官网介绍由职业前端倾情打造，面向全层次的前后端开发者，低门槛开箱即用的前端UI解决方案下载地址：https://www.layui.com/下载文件介绍文件树├─css//css目录││─modules//模块css目录（一般如果模块相对较大，我们会单独提取，比如下面三个：）││├─laydate││├─layer││└─layim│└─layui.css//核心样式文件├─font//字体图标目录├─images//图片资源目录（目前只有layim和编辑器用到的GIF表情）│─lay//模块核心目录│└─modules//各模块组件│─layui.js//基础核心库└─layui.all.js//包含layui.js和所有模块的合并文件layUI的使用引入layUI的CSS和Js<head><metacharset="UTF-8"><title>Title</title><!--引入css--><linkrel="stylesheet"href="./layui/css/layui.css"><!--映入Js--><scriptsrc="./layui/layui.js"></script></head>两种模块化用法模块化用法（一般用于开发环境）<head><metacharset="UTF-8"><title>Title</title><!--引入css--><linkrel="stylesheet"href="./layui/css/layui.css"><!--模块化的用法导入的Js--><scriptsrc="./layui/layui.js"></script><!--模块化的用法--><script>layui.use(['layer',"form"],function(){//使用哪一个模块的功能就导入哪一个varlayer=layui.layer;layer.alert("大数据男孩")})</script></head>全模块用法（一般用于线上环境）<head><metacharset="UTF-8"><title>Title</title><!--引入css--><linkrel="stylesheet"href="./layui/css/layui.css"><!--全模块化的用法导入的Js--><scriptsrc="./layui/layui.all.js"></script><!--全模块化的用法--><script>//直接使用layer.alert("大数据男孩")</script></head>
布局容器为页面的栅格布局提供一个包裹的容器，有两个容器类。container类会随着屏幕大小改变成相应的宽度，响应式推荐使用响应式布局容器固定宽度大屏（>=1200px）宽度为1170px中屏（>=992px）宽度为970px小屏（>=768px）宽度为750px超小屏（100%）<body><divclass="container"style="background:#2aabd2">大数据男孩</div></body>container-fluid类流式布局容器百分百宽度占据全部视口（viewport）的容器适用于单独的移动端<body><divclass="container-fluid"style="background:#2aabd2">大数据男孩</div></body>栅格系统Boostrap自动把页面划分为最多12格等宽的列，然后通过所占列数进行模块化布局。在不同的屏幕尺寸下小格的宽度是不同的，但一定是等分屏幕宽度。栅格系统选项参数栅格系统用于一系列的行（row）与列（column）的组合来创建页面布局。-超小屏幕（手机）<768px小屏设备（平板）>=768px中等屏幕（桌面显示器）>=992px宽屏设备（大桌面显示器）>=1200pxcontainer最大宽度自动（100%）750px970px1170px类前缀.col-xs.col-sm.col-md.col-lg<!--布局装在容器里--><divclass="container"><!--每一行--><divclass="row"><!--大屏下每一行占12份--><divclass="col-lg-12">大数据男孩</div></div><divclass="row"><!--大屏下每一行占3份--><!--中屏下每一行占6份--><divclass="col-lg-3col-md-6">大数据男孩</div><divclass="col-lg-3col-md-6">大数据男孩</div><divclass="col-lg-3col-md-6">大数据男孩</div><divclass="col-lg-3col-md-6">大数据男孩</div><divclass="col-lg-3col-md-6">大数据男孩</div><divclass="col-lg-3col-md-6">大数据男孩</div></div></div>列嵌套直接嵌套，会有边距<!--布局装在容器里--><divclass="container"><!--每一行--><divclass="row"><divclass="col-md-12"><!--嵌套--><divclass="col-md-6">大数据男孩</div><divclass="col-md-6">大数据男孩</div></div></div></div>套在一个row里<!--布局装在容器里--><divclass="container"><!--每一行--><divclass="row"><divclass="col-md-12"><!--加一个row--><divclass="row"><divclass="col-md-6">大数据男孩</div><divclass="col-md-6">大数据男孩</div></div></div></div></div>列偏移使用col-md-offset-*类可以将列向右偏移，这些类实际是通过使用*选择器为当前元素增加了左侧的边距(margin)。<!--布局装在容器里--><divclass="container"><divclass="row"><!--4+4+4=12格--><divclass="col-md-4">大数据男孩</div><!--中等屏幕向右偏移4格--><divclass="col-md-4col-md-offset-4">大数据男孩</div></div><divclass="row"><!--2+8+2=12格--><divclass="col-md-8col-md-offset-2">大数据男孩</div></div></div>列排序通过使用col-md-push-*和col-md-pull-*类就可以很容易改变column的顺序。col-md-push-*：左-->右col-md-pull-*：右-->左<!--布局装在容器里--><divclass="container"><divclass="row"><!--原本--><divclass="col-md-8">左侧</div><divclass="col-md-4">右侧</div></div><divclass="row"><divclass="col-md-8col-md-push-4">左侧</div><divclass="col-md-4col-md-pull-8">右侧</div></div></div>响应式工具为了方便在不同屏下，实现隐藏和显示元素类名超小屏小屏中屏大屏hidden-xs隐藏可见可见可见hidden-sm可见隐藏可见可见hidden-md可见可见隐藏可见hidden-lg可见可见可见隐藏与之相反的，是visible-xs、visible-sm、visible-md、visible-lg在相应屏下显示。<!--布局装在容器里--><divclass="container"><divclass="row"><divclass="col-md-4hidden-md">中屏隐藏</div><divclass="col-md-4">2</div><divclass="col-md-4">3</div></div></div>
高阶函数使用—-函数式编程Python函数的参数可以是：字符串，整数…普通的变量，但Python函数的参数还能是一个函数，返回值也能是一个函数。函数作为参数函数fun()接受一个函数f作为参数首先定义一个主函数函数的第一个参数需要传入一个函数deffun(f,a:int,b:int):returnf(a)+f(b)定义参数函数，只是简单的返回参数deff(num):returnnum使用主函数print(fun(f,1,2))-------------------3函数作为返回值定义返回值函数f()deff(num):returnnum**num定义主函数fun()，直接返回f()函数deffun():#不能加括号，带括号就是调用returnf使用主函数第一个括号调用fun()函数，第二个括号调用返回的函数foo=fun()print(foo)#一个函数print(foo(2))#合并写法print(fun()(2))---------------<functionfat0x000001FD81A62268>44内置的高阶函数sort()排序普通排序使用list=[1,5,6,8,7,6,5,5,2]list.sort(reverse=True)#降序print(list)---------------------------[8,7,6,6,5,5,5,2,1]高级使用—按照指定规则排序按照十位数的大小排序#作为参数的函数deffun(num):returnstr(num)[0]list=[11,51,61,82,72,64,52,512,21]list.sort(key=fun,reverse=True)print(list)------------------------------------[82,72,61,64,51,52,512,21,11]#使用匿名函数合并list=[11,51,61,82,72,64,52,512,21]list.sort(key=lambdanum:str(num)[0],reverse=True)print(list)------------------------------------[82,72,61,64,51,52,512,21,11]map()&filter()函数编程语言通常都会提供map,filter,reduce三个高阶函数。在Python3中,map和filter仍然是内置函数,但是由于引入了列表推导和生成器表达式,他们变得没有那么重要了。列表推导和生成器表达式具有了map和filter两个函数的功能,而且更易于阅读。map生成新的迭代类型list_m=map(lambdanum:num**2,[1,2,3,4,5,6,7])print(list(list_m))print(type(list_m))-------------------[1,4,9,16,25,36,49]<class'map'>列表推导实现map()list_m=[num**2fornumin[1,2,3,4,5,6,7]]print(list_m)-------------[1,4,9,16,25,36,49]同时迭代多个list，生成新的迭代类型的长度是最短list的长度list1=[10,20,30,40]list2=[1,2]list_m=map(lambdaa,b:a+b,list1,list2)print(list(list_m))-------------------[11,22]注意列表推倒中这里是使用的笛卡尔积list1=[10,20,30,40]list2=[1,2]list_m=[a+bforainlist1forbinlist2]print(list_m)-------------[11,12,21,22,31,32,41,42]filter过滤filter参数函数的返回值需要是布尔值list_m=filter(lambdanum:num%2,[1,2,3,4,5,6,7])print(list(list_m))-------------------[1,3,5,7]列表推导实现filter()list_m=[numfornumin[1,2,3,4,5,6,7]ifnum%2==1]print(list_m)-------------[1,3,5,7]reducePython3中reduce被移动到了functools模块中fromfunctoolsimportreduce用法两两做运算fromfunctoolsimportreducenum=reduce(lambdaa,b:a+b,[1,2,3,4,5,6,7],0)#0为a的初始值print(num)----------28
爬虫目标博主在假期遇到有家长，拿着老师的布置的作业来打印，结果是如下这样的电子书，还不能下载，所以打算编写爬虫进行下载，发现有书籍的链接全都通过Js加密了，这不能忍，这么能阻止小学生做作业呢。网站：https://mp.zhizhuma.com/book/shelf.htm?id=4872所用模块：#-*-coding:utf-8-*-importrequestsimporttimeimportreimportrandomimportbase64importjsonimporthashlibfromCrypto.CipherimportAESfromosimportmakedirs爬虫结构#获取数据每一页的链接的Jsondefget_encryptedData(ebookId):pass#获取真正的连接，有时效defget_auth_key(data,differenceDate):#下载保存连接defdownload_and_save(datadict,differenceDate):if__name__=='__main__':#书籍的分享链接share_url='https://mp.zhizhuma.com/book/sample2.htm?id=52753&shelfId=4872'ebookId=re.search(r'id=(\d+)',share_url).group(1)#获取书籍的URLencryptedData=get_encryptedData(ebookId)#获取时间戳参数differenceDate=encryptedData.get('timestamp')#创建文件夹makedirs(str(differenceDate))fordatainencryptedData.get('data'):#获取加密的连接pageNo_url=get_auth_key(data=data,differenceDate=differenceDate)print(pageNo_url)#下载书籍download_and_save(pageNo_url,differenceDate=differenceDate)get_encryptedData()通过Js分析，发现这段Js的解密，我们使用Python来实现，逻辑并不复杂。defget_encryptedData(ebookId):url='https://biz.zhizhuma.com/ebookpageservices/queryAllPageByEbookId.do'data={"ebookId":ebookId,"_timestamp":"1586101527","_nonce":"24430072-41ad-48cb-9c7f-880f990c0886","_sign":"975F1339ED050BB789CD51D66E40DD6B",}j=requests.post(url=url,data=data).json().get('encryptedData')#AES解密密钥Js寻找cipher=AES.new("Suj4XDDt3jPsH9Jj".encode(),AES.MODE_ECB)raw_data=cipher.decrypt(base64.decodebytes(bytes(j,encoding='utf8'))).rstrip(b'\x0f').decode("utf-8")[:-1]j_data=json.loads(raw_data)returnj_dataget_auth_key()拼接图片链接后的参数，不带这个参数，获取不到图片auth_key参数的生成，也是模仿Js的来写就好。#获取真正的连接，有时效defget_auth_key(data,differenceDate):#页数pageNo=data.get('pageNo')#解密构造参数imgurl=data.get('imgurl').split('https://cdnyuntisyspro.bookln.cn')[1]uid="0"rand=str(random.random())timestamp=str(int(time.time())-int((int(time.time()*1000)-differenceDate)/1000)+15)sstring=imgurl+"-"+timestamp+"-"+rand+"-"+uid+"-69731cbade6a64b58d60"md5=hashlib.md5()md5.update(sstring.encode())md5hash=md5.hexdigest()authKey='auth_key='+timestamp+"-"+rand+"-"+uid+"-"+md5hashurl="https://cdnyuntisyspro.bookln.cn"+imgurl+"?"+authKeyreturn{"pageNo":pageNo,"url":url}download_and_save()#下载保存defdownload_and_save(datadict,differenceDate):c=requests.get(url=datadict.get('url')).contentwithopen(str(differenceDate)+"/"+str(datadict.get('pageNo'))+".png","wb")asfile:file.write(c)运行可以很容易扩展成多线程。大数据男孩原创，仅用于交流学习之用
问题描述修改文件时，显示只读W10:Warning:Changingareadonlyfileroot用户修改文件权限之后还是，只读W10:Warning:Changingareadonlyfile问题产生在之前某次修改文件时，文件奔溃，有可能是使用ctrlz的结果。产生了一个/etc/.hosts.swp文件，使得文件权限改变。解决方法首先需要把产生的.swp删除查看文件权限，发现全部是r，所以是只读修改权限为可读可写sudochmod666/etc/hosts-r--r--r--1rootroot393Mar2811:11hosts-rw-rw-rw-1rootroot393Mar2811:11hosts如果修改权限不成功，就需要修改文件的隐藏属性lsattr/etc/hosts这个i是immutable，在文件上启用这个属性时，我们不能更改、重命名或者删除这个文件。chattr-i/etc/hosts执行该命令，去除i属性----i---------e---/etc/hosts
概述spark-submit可以提交任务到spark集群执行，也可以提交到hadoop的yarn集群执行。最简单提交命令本地模式提交spark-submit\--class类名jar包参数不同搭建的提交方式主要模板spark-submit\--class主类\--master提交地址\--deploy-mode提交方式\其他参数\运行主程序程序参数自生调度器管理俗称的集群模式，一个master，多个worker，这时是Spark自身的资源调度器管理。spark-submit\--class主类\--masterspark://master:6066\--deploy-modecluster\其他参数\运行主程序程序参数提交到Yarn管理spark-submit\--class主类\--masterspark://master:6066\--deploy-modeyarn\其他参数\运行主程序程序参数参数详解--class：执行主类，Python不需要--master:提交的地址：spark://master:6066、yarn、local--deploy-mode：默认cliebt，cluster--name：程序名--driver-memory：driver内存，默认为1G--driver-cores：driverCPU数，默认1核。--executor-memory：每个executor的内存，默认是1G--executor-core：每个executor的核数。在yarn或者standalone下使用--total-executor-cores：所有executor总共的核数。仅仅在mesos或者standalone下使用--num-executors：启动的executor数量。默认为2。在yarn下使用Spark集群例子如果有些内存核心不指定，就不能很好的利用集群的算力spark-submit\--masterspark://node1:6066\--deploy-modecluster\--driver-memory14g\--driver-cores8\--executor-memory14g\--executor-cores4\--total-executor-cores24\--classtwo/root/jar/bigdataboy.jarobs://bigdata/bigdataboyYarn提交例子spark-submit\--masteryarn\--deploy-modecluster\--driver-cores5\--driver-memory10g\--executor-memory25g\--executor-cores4\--class类名Jar包参数全部参数--master提交地址spark://host:port,mesos://host:port,yarn,k8s://https://host:port,默认:local[*]--deploy-mode提交模式默认：client(单机)，cluster(集群)--class程序主类Java&Scala程序--name程序名字application的名字--jarsJARS程序使用的Jar包路径，用逗号分割--packagesmaven的Jar包名称需要与--repositories一起使用--repositories需要与--package一使用（--packagesmysql:mysql-connector-java:5.1.27--repositorieshttp://maven.aliyun.com/nexus/content/groups/public/）--exclude-packages为了避免冲突而指定不包含的package--py-filesPython程序的路径支持者.zip,.egg,or.py压缩文件或者文件--filesFILESComma-separatedlistoffilestobeplacedintheworkingdirectoryofeachexecutor.FilepathsofthesefilesinexecutorscanbeaccessedviaSparkFiles.get(fileName).--confPROP=VALUE额外的配置--properties-fileFILE加载配置路径，默认conf/spark-defaults.conf.--driver-memoryMEMMemoryfordriver(e.g.1000M,2G)(Default:1024M).--driver-java-options传递给driver的额外Java选项。--driver-library-path传递给driver的额外库路径项。--driver-class-pathdriver的类路径，用--jars添加的jar包会自动包含在类路径里--executor-memoryMEMMemoryperexecutor(e.g.1000M,2G)(Default:1G).--help,-h显示此帮助消息并退出。--verbose,-v打印额外的调试输出。--version,打印当前Spark的版本仅支持Cluster部署模式:--driver-coresNUMdriver使用的核心数，仅在集群模式下使用(Default:1).仅支持standalone、Mesos的集群部署模式:--supervise如果给定，则在失败时重新启动驱动程序。--killSUBMISSION_ID如果给定，则杀死指定的驱动程序。--statusSUBMISSION_ID如果给定，请求指定的驱动程序的状态。仅支持standaloneandMesos部署模式:--total-executor-coresNUM所有executors的核心总数。仅支持standaloneandYARN部署模式:--executor-coresNUM每个executors的核心数。(Default:1inYARNmode,或者standalone模式worker的所有核数。)仅支持YARN部署模式:--queueQUEUE_NAMEYarn提交的对列名称(Default:"default").--num-executorsNUMexecutors启动的数量(Default:2).--archivesARCHIVESCommaseparatedlistofarchivestobeextractedintotheworkingdirectoryofeachexecutor.--principalPRINCIPALPrincipaltobeusedtologintoKDC,whilerunningonsecureHDFS.--keytabKEYTABThefullpathtothefilethatcontainsthekeytabfortheprincipalspecifiedabove.ThiskeytabwillbecopiedtothenoderunningtheApplicationMasterviatheSecureDistributedCache,forrenewingtheloginticketsandthedelegationtokensperiodically.
前言直接使用宝塔的Python项目管理器我们可以非常方便的部署Python项目，但在部署之后发现，部署的项目经常莫名其妙的停止。所以就有了这一篇部署使用Flask+Gunicorn+Supervisor+Nginx上传项目就不说了部署Flask项目在宝塔下载好Python项目管理器创建Flask项目创建完成后就会自动启动为了可以外网访问，所以使用Nginx添加反向代理可以直接使用映射添加个域名，就会自动设置反向代理添加守护进程现在这个网站已经可以访问了，但是会莫名其妙的停止，所以我们需要使用Supervisor管理器，添加守护进程直接在宝塔下载就好gunicorn的命令有很多，最简单命令gunicornhellodj:app其中hellodj为项目运行文件夹或文件-c配置Py文件-w进程数创建成功之后就只需要去Python项目管理器，再运行一次项目就好。