cloudera|基于CDH5.10.2安装spark2 cloudera|manager

前提：在我的CDH5.10集群中，默认安装的spark是1.6版本，这里需要将其升级为spark2.x版本
在线安装：
环境我这边是jdk1.8，scala-2.11.x ，操作系统Centos6.5
一、准备工作：
创建目录：mkdir -p /opt/cloudera/csd
并修改该权限及组：chown cloudera-scm:cloudera-scm /opt/cloudera/csd
获取csd(放到/opt/cloudera/csd目录)：官网获取：http://archive.cloudera.com/spark2/csd

文章图片

我用的是2.1.0的以及cloudera2的jar，这里面还有3的，主要区别的话可以看
https://www.cloudera.com/documentation/spark2/latest/topics/spark2_requirements.html

修改组用户权限：
chown cloudera-scm:cloudera-scm SPARK2_ON_YARN-2.1.0.cloudera2.jar
二、添加parcels：http://archive.cloudera.com/spark2/parcels/2.1.0.cloudera2/

文章图片

然后就是下载激活分配，重新启动CM等服务就可以安装spark2

文章图片

三、然后就是在集群中添加服务：

文章图片

我的启动会有错误发生：但是应该说是不会有的，java环境我是配置好的

文章图片

解决:看下/etc/spark2/conf下的配置文件信息，但是发现并没有任何文件，于是我就把5.10自带的spark的配置文件复制进来
cp /etc/spark/conf/* /etc/spark/conf/

文章图片

文章图片

完美解决！！！

文章图片

文章图片

文章图片

文章图片

离线方式：
当然在线按装的话估计下载速度会很慢，所以也可以离线升级，离线升级就是将所需要的安装包，直接放到/opt/cloudera/parcel-repo

文章图片

根据自己的需要去下载，不过因为后期cm的版本会有不同，所以建议高版本下载低版本的，比如：我的是cdh5.10的那么我安装的是spark2.1.0且是5.7的
给大家截几个图：

文章图片

文章图片

文章图片

这些应该大家都能看出来不同！！！

【cloudera|基于CDH5.10.2安装spark2】然后下在下来后就跟上面的在线一样的了，就是去parcels安装分配即可，然后就是添加服务！

cloudera|基于CDH5.10.2安装spark2

推荐阅读

ionic2——安装并配置android sdk

丝瓜络和通草哪个通乳更好用

手搓冰粉的做法

详解电脑无法进入系统怎么办进不了系统

骁龙|OPPO K9s 曝光：搭载骁龙 778G 芯片、5000mAh 电池、X轴线性马达

池鱼堂燕意思词语池鱼堂燕意思

我国宪法有多少部我国宪法有多少部正案

体检套餐如何营销，体检套餐卖点

卷心菜能生吃吗

如何开启服务器端口怎么设置服务器开放端口

葡萄酒都需要醒酒吗

小米扫拖机器人

尼康z6ll评测尼康微单Z6点评

瑞倪维儿怎么样瑞倪维儿怎么样才能知道是真是假的

湖南省哪里好,湖南省哪里好玩

艾尔登法环短剑护符在哪儿获得短剑护符获取方法分享

装修房子自己能装吗装修房子自己能装吗

redis集群部署方案 redis群部署模式

灭蚊灯的光对人体有害吗

腌鱼有营养吗腌鱼有营养吗能放多久