Python安装spark的详细过程

目录

  • 一.配置版本
  • 二.配置环境
    • 1.配置JDK
    • 2.配置Spark
    • 3.配置Hadoop
  • 三.Pycharm配置spark
    • 四.使用anconda中python环境配置spark
      • 1.创建虚拟环境
      • 2.安装pyspark
      • 3.环境配置
      • 4.运行

    一.配置版本 Java JDK 1.8.0_111
    Python 3.9.6
    Spark 3.1.2
    Hadoop 3.2.2

    二.配置环境
    1.配置JDK
    从官网下载相应JDK的版本安装,并进行环境变量的配置
    (1)在系统变量新建JAVA_HOME,根据你安装的位置填写变量值
    Python安装spark的详细过程
    文章图片

    (2)新建CLASSPATH
    变量值:.; %JAVA_HOME%\lib\dt.jar; %JAVA_HOME%\lib\tools.jar;(注意前面所需的符号)
    Python安装spark的详细过程
    文章图片

    (3)点击Path
    Python安装spark的详细过程
    文章图片

    在其中进行新建:%JAVA_HOME%\bin
    Python安装spark的详细过程
    文章图片

    (4)配置好后进行确定
    (5)验证,打开cmd,输入java -version和javac进行验证
    Python安装spark的详细过程
    文章图片

    Python安装spark的详细过程
    文章图片

    此上说明jdk环境变量配置成功

    2.配置Spark
    (1)下载安装:
    Spark官网:spark-3.1.2-bin-hadoop3.2下载地址
    Python安装spark的详细过程
    文章图片

    (2)解压,配置环境
    Python安装spark的详细过程
    文章图片

    (3)点击Path,进行新建:%SPARK_HOME%\bin,并确认
    (4)验证,cmd中输入pyspark
    Python安装spark的详细过程
    文章图片

    这里提醒我们要安装Hadoop

    3.配置Hadoop
    (1)下载:
    Hadoop官网:Hadoop 3.2.2下载地址
    Python安装spark的详细过程
    文章图片

    (2)解压,配置环境
    Python安装spark的详细过程
    文章图片

    注意:解压文件后,bin文件夹中可能没有以下两个文件:
    Python安装spark的详细过程
    文章图片

    下载地址:https://github.com/cdarlint/winutils
    配置环境变量CLASSPATH:%HADOOP_HOME%\bin\winutils.exe
    (3)点击Path,进行新建:%HADOOP_HOME%\bin,并确认
    (4)验证,cmd中输入pyspark
    Python安装spark的详细过程
    文章图片

    由上可以看出spark能运行成功,但是会出现如下警告:
    WARN ProcfsMetricsGetter: Exception when trying to compute pagesize, as a result reporting of ProcessTree metrics is stopped
    这里因为spark为3.x版本有相关改动,使用spar2.4.6版本不会出现这样的问题。
    不改版本解决方式(因是警告,未尝试):
    方式一:解决方法一
    方式二:解决方法二

    三.Pycharm配置spark (1)Run–>Edit Configurations
    Python安装spark的详细过程
    文章图片

    (2)对Environment Variables进行配置
    Python安装spark的详细过程
    文章图片

    (3)File–>Settings–>Project Structure–>Add Content Root
    找到spark-3.1.2-bin-hadoop3.2\python\lib下两个包进行添加
    Python安装spark的详细过程
    文章图片

    选择结果:
    Python安装spark的详细过程
    文章图片

    (4)测试
    # 添加此代码,进行spark初始化import findsparkfindspark.init()from datetime import datetime, datefrom pyspark.sql import SparkSessionspark = SparkSession.builder.getOrCreate()rdd = spark.sparkContext.parallelize([(1, 2., 'string1', date(2000, 1, 1), datetime(2000, 1, 1, 12, 0)),(2, 3., 'string2', date(2000, 2, 1), datetime(2000, 1, 2, 12, 0)),(3, 4., 'string3', date(2000, 3, 1), datetime(2000, 1, 3, 12, 0))])df = spark.createDataFrame(rdd, schema=['a', 'b', 'c', 'd', 'e'])df.show()

    运行结果:
    Python安装spark的详细过程
    文章图片


    四.使用anconda中python环境配置spark
    1.创建虚拟环境
    conda create -n pyspark_env python==3.9.6

    查看环境:
    conda env list

    运行结果:
    Python安装spark的详细过程
    文章图片


    2.安装pyspark
    切换到pyspark_env并进行安装pyspark
    pip install pyspark

    Python安装spark的详细过程
    文章图片


    3.环境配置
    运行上面的实例,会出现以下错误:
    Python安装spark的详细过程
    文章图片

    这说明我们需要配置py4j,SPARK_HOME
    SPARK_HOME:
    Python安装spark的详细过程
    文章图片

    PYTHONPATH设置:
    Python安装spark的详细过程
    文章图片

    HADOOP_HOME设置:
    Python安装spark的详细过程
    文章图片

    path中设置:
    Python安装spark的详细过程
    文章图片


    4.运行
    Python安装spark的详细过程
    文章图片

    # 添加此代码,进行spark初始化import findsparkfindspark.init()from datetime import datetime, datefrom pyspark.sql import SparkSessionspark = SparkSession.builder.getOrCreate()rdd = spark.sparkContext.parallelize([(1, 2., 'string1', date(2000, 1, 1), datetime(2000, 1, 1, 12, 0)),(2, 3., 'string2', date(2000, 2, 1), datetime(2000, 1, 2, 12, 0)),(3, 4., 'string3', date(2000, 3, 1), datetime(2000, 1, 3, 12, 0))])df = spark.createDataFrame(rdd, schema=['a', 'b', 'c', 'd', 'e'])df.show()

    运行结果同上
    【Python安装spark的详细过程】到此这篇关于Python安装spark的文章就介绍到这了,更多相关Python安装spark内容请搜索脚本之家以前的文章或继续浏览下面的相关文章希望大家以后多多支持脚本之家!

      推荐阅读