锐客网

  1. 首页 > 睿知 > it技术 > >

scala和java代码 scala和java哪个性能好

IT技术跳动

Spark 中用 Scala 和 java 开发有什么区别语言不同:Scala 是一门函数式语言，Java是面向对象语言，二者在语言特点上差异特别大 。但是scala也是运行在java虚拟机上 ， 两者可以方便的互相调用 。
【scala和java代码 scala和java哪个性能好】Spark作为一个数据统计分析的工具，它是偏向于函数式处理的思想，因此在spark应用开发时，天然与scala亲近，所以用scala写spark十分的简洁明了，用java代码100行写出来的spark程序 ， 可能用scala几行就搞定了 。
Java写spark则是java出生的开发人员快速使用spark的最佳选择 。另外，Java 8之后 ， 也添加了一些函数式语言得语法，这使得Java写spark简洁不少 。
Scala和java比较1、 scala可以编写脚本，编写一个.scala的脚本代码 ， 直接用同scala x.scala进行执行 。
但同时scala也可以类似java，通过scalac编译为.class等形式，基于编译执行 。
2、 scala可以在交互式的命令中直接编码运行 。
3、 支持隐式变量定义，通过var关键词定义一个变量，具体变量类型在赋值后，scala自行进行类型推断 。例如var a = List(1,2,3)
4、 常量定义用val 关键词定义
5、 没有静态类型，通过object 定义单例类，main方法就是放在object类型中 。
spark和java的关系通常大家只是说Spark是基于内存计算的，速度比MapReduce要快 。或者说内存中迭代计算 。其实我们要抓住问题的本质 。总结有以下几点scala和java代码：
1、Spark vs MapReduce ≠ 内存 vs 磁盘
其实Spark和MapReduce的计算都发生在内存中，区别在于：
MapReduce通常需要将计算的中间结果写入磁盘，然后还要读取磁盘，从而导致scala和java代码了频繁的磁盘IO 。
Spark则不需要将计算的中间结果写入磁盘，这得益于Spark的RDD(弹性分布式数据集 ， 很强大)和DAG(有向无环图)，其中DAG记录了job的stage以及在job执行过程中父RDD和子RDD之间的依赖关系 。中间结果能够以RDD的形式存放在内存中 ， 且能够从DAG中恢复，大大减少了磁盘IO 。
2、Spark vs MapReduce Shuffle的不同
Spark和MapReduce在计算过程中通常都不可避免的会进行Shuffle，两者至少有一点不同：
MapReduce在Shuffle时需要花费大量时间进行排序 ， 排序在MapReduce的Shuffle中似乎是不可避免的；
Spark在Shuffle时则只有部分场景才需要排序，支持基于Hash的分布式聚合，更加省时；
3、多进程模型 vs 多线程模型的区别
MapReduce采用了多进程模型，而Spark采用了多线程模型 。多进程模型的好处是便于细粒度控制每个任务占用的资源，但每次任务的启动都会消耗一定的启动时间 。就是说MapReduce的Map Task和Reduce Task是进程级别的 ， 而Spark Task则是基于线程模型的，就是说mapreduce 中的 map 和 reduce 都是 jvm 进程，每次启动都需要重新申请资源，消耗了不必要的时间(假设容器启动时间大概1s，如果有1200个block ， 那么单独启动map进程事件就需要20分钟)
Spark则是通过复用线程池中的线程来减少启动、关闭task所需要的开销 。(多线程模型也有缺点 ， 由于同节点上所有任务运行在一个进程中，因此，会出现严重的资源争用，难以细粒度控制每个任务占用资源)
总结：关于Spark为什么比MapReduce快，或者Spark速度快于MapReduce的原因，总结至少有这几点不同之处吧 。
关于scala和java代码和scala和java哪个性能好的介绍到此就结束了，不知道你从中找到你需要的信息了吗 ？如果你还想了解更多这方面的信息，记得收藏关注本站 。

    推荐阅读


    上一篇：现代拍摄用什么技术，现代拍摄用什么技术比较好

    下一篇：游戏开发模拟，游戏开发模拟器2