cdhhbasemasterha的简单介绍( 二 )


如果以完全分布式模式安装Spark , 由于我们需要使用HDFS来持久化数据,一般需要先安装Hadoop 。
进入Linux系统,参照本教程“实验指南”栏目的“Hadoop的安装和使用”,完成Hadoop伪分布式模式的安装 。完成Hadoop的安装以后,再安装Spark(Local模式) 。
一般都是要先装hadoop的,如果你只是玩Spark On Standalon的话,就不需要,如果你想玩Spark On Yarn或者是需要去hdfs取数据的话,就应该先装hadoop 。
Spark支持分布式数据集上的迭代式任务,实际上它可以在Hadoop文件系统上与Hadoop一起运行,这是由第三方集群框架Mesos实现的 。Spark由加州大学伯克利分校开发,用于构建大规模、低延时的数据分析应用 。
【cdhhbasemasterha的简单介绍】关于cdhhbasemasterha和的介绍到此就结束了,不知道你从中找到你需要的信息了吗 ?如果你还想了解更多这方面的信息,记得收藏关注本站 。

推荐阅读