3.最后，在使用–- proxy user参数指定用户提交Spark任务时，需要确保用户对应的操作系统用户和用户在Hadoop中有执行Spark任务的权限 。spark任务如何指定已提交用户1？首先 ， 通过设置–- proxy user参数来指定submitted 用 。
1、在大数据学习中Hadoop和Spark哪个更好就业Spark已经取代Hadoop成为最活跃的开源大数据项目 。然而，在选择大数据框架时，企业不能厚此薄彼 。近日，著名大数据专家BernardMarr在一篇文章分析中介绍了Spark和Hadoop的异同 。Hadoop和Spark都是大数据框架 。它们都提供了一些工具来执行常见的大数据任务，但确切地说，它们所执行的任务并不相同，彼此并不排斥 。虽然据说Spark在某些情况下比Hadoop快100倍，但它本身并没有分布式存储系统，分布式存储是当今许多大数据项目的基础 。它可以在几乎无限的普通电脑硬盘上存储PB级的数据集 。它还提供了良好的可扩展性，只需要随着数据集的增加而增加硬盘 。所以Spark需要一个第三方分布式存储 。正是因为这个原因，很多大数据项目都在Hadoop上安装Spark ， 让Spark的advanced 分析应用程序可以使用存储在HDFS的数据 。与Hadoop相比，Spark真正的优势在于速度 。Spark的大部分操作都在内存中，Hadoop的MapReduce系统会在每次操作后下载 。
2、Spark框架安全认证实现随着大数据集群的使用，大数据的安全性越来越受到关注 。随着安全大数据集群的使用，普通运维的集群更加复杂 。集群安全通常基于kerberos集群来完成安全认证 。kerberos的基本原理可以参考:一张图展示了Kerberos的访问过程 。在安全的hadoop集群下访问Spark应用程序(OnYarn模式)需要访问各种组件/进程，如ResourceManager、NodeManager、NameNode、DataNode、
Hmaster，HregionServer，MetaStore等等 。特别是对于长时间运行的应用，比如sparkStreaming和StructedStreaming，如何保证用户在认证后的长期有效性就比较复杂 。当一个Spark应用提交用户时，必须先在kdc中完成用户的认证，得到相应服务的票，才能访问相应的服务 。
3、hadoop和 spark的都是并行计算,有什么相同和区别?【spark用户分析,SPARK分析】相似之处都是基于Mr的原理..不同的是前者是基于磁盘 内存 ， 占了很大比重，而后者侧重于内存 磁盘 ， 占了很大比重，这也是Hadoop不是spark fast、spark基于内存做Mr，而Hadoop侧重于登陆磁盘做MR的根本原因 。
推荐阅读
- 什么是tco分析,什么时候应该进行tco分析
- 在360软件管家里怎样下载360安全浏览器,电脑软件管家哪个好用
- 邮件退信分析,qq邮件投递失败,已退信
- 递归算法的性能分析,非递归算法的效率分析
- 赛扬e3200,e3200cpu支持1600的内存吗
- .bed 文件 分析,core文件怎么分析
- 失败原因分析,1993年申奥失败原因分析
- 机器码怎么看 机器码修改大师教程,电脑的机器码可以修改吗如何修改
- 问卷效度分析模板,怎么用spss分析问卷的信效度