学习笔记|mac下搭建pyspark环境 apache|spark|大数据

在mac下搭建pyspark需要安装的有： 1.JAVA JDK
2.Scala
3.apache-spark
4.Hadoop(可选)
5.pyspark
安装上面几个可以选择去官网下载安装包，解压后再自行配置环境变量。也可以选择使用brew进行安装，比较方便的一种安装方式。
如果你的电脑上没有安装brew的话，可以参考下面这篇文章进行安装brew，还是比较方便的。
https://www.jianshu.com/p/7ef9e0e4d3c2
只需要简单的使用

brew install scala brew install apache-spark brew install hadoop

安装完毕之后可以选择配置环境变量
使用vim ~/.bash_profile进入环境变量配置文件以设置环境变量
具体如下：

# HomeBrew export HOMEBREW_BOTTLE_DOMAIN=https://mirrors.tuna.tsinghua.edu.cn/homebrew-bottles export PATH="/usr/local/bin:$PATH" export PATH="/usr/local/sbin:$PATH" # HomeBrew END #Scala SCALA_HOME=/usr/local/scala export PATH=$PATH:$SCALA_HOME/bin # Scala END # Hadoop HADOOP_HOME=/usr/local/hadoop export PATH=$PATH:$HADOOP_HOME/bin # Hadoop END # spark export SPARK_PATH="/usr/local/Cellar/apache-spark/3.0.0" export PATH="$SPARK_PATH/bin:$PATH" # Spark End

【学习笔记|mac下搭建pyspark环境】最后进行安装pyspark就OK啦，使用pip install pyspark
然后打开jupyter notebook
在文件的最上面添加以下代码，目的是寻找并创建sparksession对象，以便调用spark进行计算。

import findspark findspark.init() from pyspark import SparkContext sc = SparkContext() from pyspark.sql import SparkSession # 初始化spark会话 spark = SparkSession.builder.getOrCreate()

然后就可以愉快的使用pyspark了