Spark Standalone（独立）运行模式

概述

Spark 的三种运行方式

• Local 模式：直接解压,就可以运行
• Yarn 模式：需要配置 Hadoop Yarn
• Standalone 模式：Spark 独立运行

配置

构建一个由 Master + n个 Slave构成的Spark 集群，Spark运行在集群中。

配置 Worker 运行节点

在 Spakr 的 conf/

复制模板

cp slaves.template slaves

slaves 文件是指定 Worker 运行的机器

// 如果只有一台机器，这个文件就不用改

// 如果是配置集群模式，就把原本的 localhost 改成各个机器名
master
slave1
slave2

配置 Master 运行端口

在 Spark 的 conf/ 目录下

复制模板

cp spark-env.sh.template spark-env.sh

修改 Spark-env.sh

// 添加上
SPARK_MASTER_HOST=master
SPARK_MASTER_PORT=7077

// 如果产生了 not set JAVA_HOME 的错误，就加上 JAVA_HOME
export JAVA_HOME=/usr/java/jdk1.8.0_221

// 修改完记得 source

分发

配置的单机器就不用分发

启动

启动命令在 sbin/ 目录下

[root@master sbin]# ./start-all.sh 
starting org.apache.spark.deploy.master.Master, logging to /usr/local/src/spark/spark-2.0.0/logs/spark-root-org.apache.spark.deploy.master.Master-1-master.out
localhost: starting org.apache.spark.deploy.worker.Worker, logging to /usr/local/src/spark/spark-2.0.0/logs/spark-root-org.apache.spark.deploy.worker.Worker-1-master.out
[root@master sbin]# jps
5863 Worker
5927 Jps
5688 Master

运行测试

bin/spark-submit \
--class org.apache.spark.examples.SparkPi \
./examples/jars/spark-examples_2.11-2.0.0.jar \
100