Spark 2.3 安装部署

前言

本文隶属于专栏《大数据安装部署方案汇总》,该专栏为笔者原创,引用请注明来源,不足和错误之处请在评论区帮忙指出,谢谢!

本专栏目录结构和参考文献请见 大数据安装部署方案汇总

正文

1、下载安装包

官方下载地址

CSDN 下载地址

2、规划安装目录

  • /opt/bigdata

3、上传安装包到服务器

4、解压安装包到指定的安装目录

tar -zxvf spark-2.3.3-bin-hadoop2.7.tgz -C /opt/bigdata

5、重命名解压目录

mv spark-2.3.3-bin-hadoop2.7 spark

6、修改配置文件

  • 进入到spark的安装目录下对应的conf文件夹
vim spark-env.sh (mv spark-env.sh.template spark-env.sh)
#配置java的环境变量exportJAVA_HOME=/opt/bigdata/jdk
#配置zk相关信息exportSPARK_DAEMON_JAVA_OPTS="-Dspark.deploy.recoveryMode=ZOOKEEPER -Dspark.deploy.zookeeper.url=node1:2181,node2:2181,node3:2181 -Dspark.deploy.zookeeper.dir=/spark"
vim slaves (mv slaves.template salves)
#指定spark集群的worker节点
node2
node3

7、分发安装目录到其他机器

scp -r spark node2:/opt/bigdata
scp -r spark node3:/opt/bigdata

8、修改spark环境变量

vim /etc/profile
exportSPARK_HOME=/opt/bigdata/spark
exportPATH=$PATH:$SPARK_HOME/bin:$SPARK_HOME/sbin

9、分发spark环境变量到其他机器

scp /etc/profile node2:/etc
scp /etc/profile node3:/etc

10、让所有机器的spark环境变量生效

  • 在所有节点执行
source /etc/profile

补充

Spark 集群的启动和停止

启动

  • 1、先启动 ZK(Master HA)
  • 2、启动 Spark 集群
    • 可以在任意一台服务器来执行(条件:需要任意2台机器之间实现ssh免密登录)
$SPARK_HOME/sbin/start-all.sh
  • 在哪里启动这个脚本,就在当前该机器启动一个Master进程
  • 整个集群的worker进程的启动由slaves文件
  • 后期可以在其他机器单独在启动master
$SPARK_HOME/sbin/start-master.sh

停止

  • 在处于active Master主节点执行
$SPARK_HOME/sbin/stop-all.sh
  • 在处于standBy Master主节点执行
$SPARK_HOME/sbin/stop-master.sh
作者:Shockang原文地址:https://blog.csdn.net/Shockang/article/details/120802318

%s 个评论

要回复文章请先登录注册