Docker-Compose搭建Spark集群的实现方法
目录
- 一、前言
- 二、docker-compose.yml
- 三、启动集群
- 四、结合hdfs使用
一、前言 在前文中,我们使用Docker-Compose完成了hdfs集群的构建。本文将继续使用Docker-Compose,实现Spark集群的搭建。
二、docker-compose.yml 对于Spark集群,我们采用一个mater节点和两个worker节点进行构建。其中,所有的work节点均分配1一个core和 1GB的内存。
Docker镜像选择了bitnami/spark的开源镜像,选择的spark版本为2.4.3,docker-compose配置如下:
master:image: bitnami/spark:2.4.3container_name: masteruser: rootenvironment:- SPARK_MODE=master- SPARK_RPC_AUTHENTICATION_ENABLED=no- SPARK_RPC_ENCRYPTION_ENABLED=no- SPARK_LOCAL_STORAGE_ENCRYPTION_ENABLED=no- SPARK_SSL_ENABLED=noports:- '8080:8080'- '7077:7077'volumes:- ./python:/pythonworker1:image: bitnami/spark:2.4.3container_name: worker1user: rootenvironment:- SPARK_MODE=worker- SPARK_MASTER_URL=spark://master:7077- SPARK_WORKER_MEMORY=1G- SPARK_WORKER_CORES=1- SPARK_RPC_AUTHENTICATION_ENABLED=no- SPARK_RPC_ENCRYPTION_ENABLED=no- SPARK_LOCAL_STORAGE_ENCRYPTION_ENABLED=no- SPARK_SSL_ENABLED=noworker2:image: bitnami/spark:2.4.3container_name: worker2user: rootenvironment:- SPARK_MODE=worker- SPARK_MASTER_URL=spark://master:7077- SPARK_WORKER_MEMORY=1G- SPARK_WORKER_CORES=1- SPARK_RPC_AUTHENTICATION_ENABLED=no- SPARK_RPC_ENCRYPTION_ENABLED=no- SPARK_LOCAL_STORAGE_ENCRYPTION_ENABLED=no- SPARK_SSL_ENABLED=no
在master节点中,也映射了一个/python目录,用于存放pyspark代码,方便运行。
对于master节点,暴露出7077端口和8080端口分别用于连接spark以及浏览器查看spark UI,在spark UI中,集群状态如下图(启动后):
文章图片
如果有需要,可以自行添加worker节点,其中可以修改
SPARK_WORKER_MEMORY
与SPARK_WORKER_CORES
对节点分配的资源进行修改。对于该镜像而言,默认exec进去是无用户的,会导致一些安装命令权限的不足,无法安装。例如需要运行pyspark,可能需要安装numpy、pandas等库,就无法使用pip完成安装。而通过
user: root
就能设置默认用户为root用户,避免上述问题。【Docker-Compose搭建Spark集群的实现方法】
三、启动集群 同上文一样,在docker-compose.yml的目录下执行
docker-compose up -d
命令,就能一键构建集群(但是如果需要用到numpy等库,还是需要自己到各节点内进行安装)。进入master节点执行
spark-shell
,成功进入:文章图片
四、结合hdfs使用 将上文的Hadoop的docker-compose.yml与本次的结合,得到新的docker-compose.yml:
version: "1.0"services:namenode:image: bde2020/hadoop-namenode:2.0.0-hadoop3.2.1-java8container_name: namenodeports:- 9870:9870- 9000:9000volumes:- ./hadoop/dfs/name:/hadoop/dfs/name- ./input:/inputenvironment:- CLUSTER_NAME=testenv_file:- ./hadoop.envdatanode:image: bde2020/hadoop-datanode:2.0.0-hadoop3.2.1-java8container_name: datanodedepends_on:- namenodevolumes:- ./hadoop/dfs/data:/hadoop/dfs/dataenvironment:SERVICE_PRECONDITION: "namenode:9870"env_file:- ./hadoop.envresourcemanager:image: bde2020/hadoop-resourcemanager:2.0.0-hadoop3.2.1-java8container_name: resourcemanagerenvironment:SERVICE_PRECONDITION: "namenode:9000 namenode:9870 datanode:9864"env_file:- ./hadoop.envnodemanager1:image: bde2020/hadoop-nodemanager:2.0.0-hadoop3.2.1-java8container_name: nodemanagerenvironment:SERVICE_PRECONDITION: "namenode:9000 namenode:9870 datanode:9864 resourcemanager:8088"env_file:- ./hadoop.envhistoryserver:image: bde2020/hadoop-historyserver:2.0.0-hadoop3.2.1-java8container_name: historyserverenvironment:SERVICE_PRECONDITION: "namenode:9000 namenode:9870 datanode:9864 resourcemanager:8088"volumes:- ./hadoop/yarn/timeline:/hadoop/yarn/timelineenv_file:- ./hadoop.envmaster:image: bitnami/spark:2.4.3-debian-9-r81container_name: masteruser: rootenvironment:- SPARK_MODE=master- SPARK_RPC_AUTHENTICATION_ENABLED=no- SPARK_RPC_ENCRYPTION_ENABLED=no- SPARK_LOCAL_STORAGE_ENCRYPTION_ENABLED=no- SPARK_SSL_ENABLED=noports:- '8080:8080'- '7077:7077'volumes:- ./python:/pythonworker1:image: bitnami/spark:2.4.3-debian-9-r81container_name: worker1user: rootenvironment:- SPARK_MODE=worker- SPARK_MASTER_URL=spark://master:7077- SPARK_WORKER_MEMORY=1G- SPARK_WORKER_CORES=1- SPARK_RPC_AUTHENTICATION_ENABLED=no- SPARK_RPC_ENCRYPTION_ENABLED=no- SPARK_LOCAL_STORAGE_ENCRYPTION_ENABLED=no- SPARK_SSL_ENABLED=noworker2:image: bitnami/spark:2.4.3-debian-9-r81container_name: worker2user: rootenvironment:- SPARK_MODE=worker- SPARK_MASTER_URL=spark://master:7077- SPARK_WORKER_MEMORY=1G- SPARK_WORKER_CORES=1- SPARK_RPC_AUTHENTICATION_ENABLED=no- SPARK_RPC_ENCRYPTION_ENABLED=no- SPARK_LOCAL_STORAGE_ENCRYPTION_ENABLED=no- SPARK_SSL_ENABLED=no
运行集群(还需要一个hadoop.env文件见上文)长这样:
文章图片
通过Docker容器的映射功能,将本地文件与spark集群的master节点的/python进行了文件映射,编写的pyspark通过映射可与容器中进行同步,并通过docker exec指令,完成代码执行:
文章图片
运行了一个回归程序,集群功能正常:
文章图片
文章图片
到此这篇关于Docker-Compose搭建Spark集群的实现方法的文章就介绍到这了,更多相关Docker-Compose搭建Spark集群内容请搜索脚本之家以前的文章或继续浏览下面的相关文章希望大家以后多多支持脚本之家!
推荐阅读
- Hi3516开发笔记(Hi3516虚拟机基础环境搭建之交叉编译环境境搭建以及开机启动脚本分析)
- docker-compose常用模板
- Spark SQL知识点大全与实战
- 微服务技术栈|Docker-compose容器编排
- 多云搭建 K3S 集群
- Hi3516开发笔记(Hi3516虚拟机基础环境搭建之串口调试网络连接以及sftp文件传输)
- 利用5分钟快速搭建一个springboot项目的全过程
- ELK集群搭建简略记录
- sshd服务搭建与管理-sshd服务防止BAOLIPOJIE
- 上云第1期访问云上的 jupyter 环境(保姆级搭建教程)