个人技术分享

【Linux】-Spark分布式内存计算集群部署[20]

注意：

本节的操作，需要前置准备好Hadoop生态集群，请先部署好Hadoop环境

简介

Spark是一款分布式内存计算引擎，可以支持海量数据的分布式计算。

Spark在大数据体系是明星产品，作为最新一代的综合计算引擎，支持离线计算和实时计算。

在大数据邻域广泛应用，是目前世界上使用最多的大数据分布式计算引擎。

将基于前面构建的Hadoop集群，部署Spark Standalone集群

安装

1、【node1执行】   下载并解压

下载

wget https://archive.apache.org/dist/spark/spark-2.4.5/spark-2.4.5-bin-hadoop2.7.tgz

解压到文件夹/expoet/server中

tar -zxvf spark-2.4.5-bin-hadoop2.7.tgz -C /export/server

构建软链接

ln -s /export/server/spark-2.4.5-bin-hadoop2.7 /export/server/spark

2、【node1执行】  修改配置文件名称

# 改名
cd /export/server/spark/conf
mv spark-env.sh.template spark-env.sh
mv slaves.template slaves

3、【node1执行】修改配置文件，spark-env.sh

## 设置JAVA安装目录
JAVA_HOME=/export/server/jdk

## HADOOP软件配置文件目录，读取HDFS上文件和运行YARN集群
HADOOP_CONF_DIR=/export/server/hadoop/etc/hadoop
YARN_CONF_DIR=/export/server/hadoop/etc/hadoop

## 指定spark老大master的ip和提交任务的通信端口
export SPARK_MASTER_HOST=node1
export SPARK_MASTER_PORT=7077

SPARK_MASTER_WEBUI_PORT=8080
SPARK_WORKER_CORES=1
SPARK_WORKER_MEMORY=1g

4、【node1执行】  修改配置文件，slaver

node1
node2
node3

5、【node1执行】分发到node2、node3

scp -r spark-2.4.5-bin-hadoop2.7 node2:$PWD
scp -r spark-2.4.5-bin-hadoop2.7 node3:$PWD

6、【node2、node3】构建软链接

ln -s /export/server/spark-2.4.5-bin-hadoop2.7 /export/server/spark

7、【node1】  启动spark集群

/export/server/spark/sbin/start-all.sh

如需停止，执行下列代码

/export/server/spark/sbin/stop-all.sh

8、打开spark监控页面，浏览器打开：http://node1:8081

至此、spark集群就部署完毕啦。