锐客网

  1. 首页 > 睿知 > >

spark 任务gc增加原因分析

睿知经验分享

【spark 任务gc增加原因分析】spark. cores . max clusterspark. executor . cores executorspark. task . CPU计算任务并行度spark. default . parallelism/123 。

1、2022-02-24-Spark-44(性能调优通用调优计算负载主要由执行器承担 ， 驱动主要负责分布式调度，调优空间有限 。因此，我们可以在不考虑驱动端配置项的情况下，确定分配给Spark多少CPU资源用于分布式计算 。spark. cores . max clusterspark. executor . cores executorspark. task . CPU计算任务并行度spark. default . parallelism/123 。

2、2019-03-05SparkSQL集群性能调优CheatSheet0 。买个高性能的机器，增加 Node 1 。将磁盘文件的预读值设置为16384，并使用linux命令:echo 16384 >/sys/block/{ disk name }/queue/read _ ahead _ kb2 。Spark任务序列化只支持JavaKryoSerializer ， 和数据序列化 。KryoSerializer可以达到JavaSerializer的十倍 。

3、 spark执行速度非常慢,数据量不大,请教高手是不是代码问题查看是否设置了切片数 。片/分区的数量是Spark的并行粒度 。默认情况下，从集合中获得的RDD片段数是2？我不是特别确定；从HDFS上的文件生成的RDD是分块的(好像是128M，但这里不是特别确定) 。因此，默认情况下，Spark的并行度很低 。然后，看一下Spark的WebUI图，看看任务的执行情况 。任务是几乎同时结束的吗？

4、Spark-OutOfMemoryErrorJava . lang . out of memory error:heapspace Java . lang . out of memory error:unabletocreatenewnativethreadjava . lang . out of memory error:permgenspace Java . lang . out of memor Yerror:requestedarrayszeexceedsvmlitjava 。lang . out memory error:gcoverheadlimitexceeded首先需要了解JVM的内存结构，以及Java运行时内存的GC mechanism M规范定义了多少区域(详见此处) 。有:JVM stack(JavaVirtualMachineStacks)、Heap、MethodArea、RuntimeConstantPool、NativeMethodStacks 。参考:新生代主要用来存放新的物体 。

5、Spark对硬件的要求Spark的硬件要求估计全部spark开发者关心的spark硬件要求 。合适的硬件配置需要具体情况分析，这里给出以下建议 。主要翻译自官网一、存储系统由于大部分Spark工作可能需要从外部存储系统(如Hadoop文件系统或HBase)读取输入数据，因此将spark部署在尽可能靠近存储系统的地方很重要 。因此 ， 提出以下建议:1 .如果可能 ， 在与HDFS相同的节点上运行Spark 。

6、大数据处理为何选择 spark?大数据处理为什么选择Spark而不是Hadoop？一、基础知识1 。SparkSpark是一个快速通用集群计算平台 。在速度上，Spark扩展了广泛使用的MapReduce计算模型，高效支持更多计算模式，包括交互式查询和流处理 。Spark项目包含几个紧密集成的组件 。Spark的核心是一个计算引擎，它调度、分发和监控由许多计算任务组成的应用程序，这些应用程序运行在多个工作机器或计算集群上 。

7、Spark应用|HiveOnSpark性能调优我公司yarnnode可用资源如下:单个节点可用资源数量:33核，内存110G 。HiveonSpark任务的基本配置，主要配置对象包括:执行器和驱动内存、执行器配额和任务并行度 。配置参数为spark.executor.memory和spark-0/. executor . cores 。

纱线资源可以使用33芯 。建议spark.executor.cores设置为4，最多留一个核心 。如果设置为5 ， 6，将剩下3个核心 。spark.executor.cores4、由于总共有33个核心，所以最多可以申请8个执行人 。当总内存为8，即110/8时，每个执行器可以获得大约13.75GB的内存 。

8、SparkonYarn资源分配实验,解决长期Accepted问题如上所述，为了彻底解决Yarn在提交任务后停留在接受状态的问题，我们对Yarn的资源分配做了几组实验 。过程和结果如下 。调度模式:FairScheduler节点配置信息:SparkonYarn实验:客户端模式和集群模式差别不大 ， 所以统一使用客户端运行一个资源密集型的链接表SparkSQL查询并输出 。

9、【Spark】TaskMemoryManager:Failedtoallocateapage,tryagain...记录一个spark:根据反馈错误，DriverTaskMemoryManager线程无法申请内存 。检查驱动端的GC:驱动进程FULLGC非常频繁 ， 几乎每秒一次，已经处于拒绝服务状态 。解决方法:将驱动内存从2G调整到8G 。
10、 spark40连不上 spark40连接失败 。hivemetastore太忙，并且gc导致连接超时，sparksql解决方案:hive 。metastore，client.socket.timeout增加这个参数，并添加:drivermanager 。在获取连接之前设置logintimeout (100)，spark分为两部分:shufflewrite和shuffleread 。

    推荐阅读


    上一篇：spss 多元统计原理的相关分析

    下一篇：油麦菜烧豆腐——促进食欲清热润肺