cloudera|基于CDH5.10.2安装spark2 cloudera|manager

前提：在我的CDH5.10集群中，默认安装的spark是1.6版本，这里需要将其升级为spark2.x版本
在线安装：
环境我这边是jdk1.8，scala-2.11.x ，操作系统Centos6.5
一、准备工作：
创建目录：mkdir -p /opt/cloudera/csd
并修改该权限及组：chown cloudera-scm:cloudera-scm /opt/cloudera/csd
获取csd(放到/opt/cloudera/csd目录)：官网获取：http://archive.cloudera.com/spark2/csd

文章图片

我用的是2.1.0的以及cloudera2的jar，这里面还有3的，主要区别的话可以看
https://www.cloudera.com/documentation/spark2/latest/topics/spark2_requirements.html

修改组用户权限：
chown cloudera-scm:cloudera-scm SPARK2_ON_YARN-2.1.0.cloudera2.jar
二、添加parcels：http://archive.cloudera.com/spark2/parcels/2.1.0.cloudera2/

文章图片

然后就是下载激活分配，重新启动CM等服务就可以安装spark2

文章图片

三、然后就是在集群中添加服务：

文章图片

我的启动会有错误发生：但是应该说是不会有的，java环境我是配置好的

文章图片

解决:看下/etc/spark2/conf下的配置文件信息，但是发现并没有任何文件，于是我就把5.10自带的spark的配置文件复制进来
cp /etc/spark/conf/* /etc/spark/conf/

文章图片

文章图片

完美解决！！！

文章图片

文章图片

文章图片

文章图片

离线方式：
当然在线按装的话估计下载速度会很慢，所以也可以离线升级，离线升级就是将所需要的安装包，直接放到/opt/cloudera/parcel-repo

文章图片

根据自己的需要去下载，不过因为后期cm的版本会有不同，所以建议高版本下载低版本的，比如：我的是cdh5.10的那么我安装的是spark2.1.0且是5.7的
给大家截几个图：

文章图片

文章图片

文章图片

这些应该大家都能看出来不同！！！

【cloudera|基于CDH5.10.2安装spark2】然后下在下来后就跟上面的在线一样的了，就是去parcels安装分配即可，然后就是添加服务！

cloudera|基于CDH5.10.2安装spark2

推荐阅读

夫妻内裤要分开洗吗

少儿简笔画花草树木

蛋白质过高怎么调理

入户门口地垫大小禁忌地毯应该选什么颜色

端午节是指每年的什么端午节是指每年的什么时候

有哪些可以学习外贸英语的网站？

微信零钱通的关闭流程如下微信零钱通怎么关闭

三八妇女节祝词三八妇女节祝词介绍

医生|医生，不得了了，我家里有鬼……

博世壁挂炉怎么样？博世壁挂炉显示屏图标含义

梦到大白熊的含义

做梦梦到生孩子梦见生孩子的征兆

爱普生l313墨盒清零

西游记猪八戒演员是谁

网速测试安卓版,增加网络带宽不会直接提高网速

安卓如何把按钮透明,从0开始!系统状态栏透明更改系统模式

我的世界这个游戏里面怎样才能不迷路？

马来西亚_社会|64名中国船员被困马来西亚附近海域一年：曾吃生虫子的食物

跳绳后可以用筋膜枪来拉伸吗

西安限行怎么拍？