spark|eclipse或idea中开发spark程序本地运行以及提交集群运行
Windows开发hadoop/spark配置 1、将hadoop压缩文件解压到相应目录。像配置jdk环境变量一样配置HADOOP_HOME到hadoop目录。把%HADOOP_HOME%\bin加入path。
2、Windows下开发需要将共享的bin目录覆盖hadoop原有bin目录。如果还不行，将共享bin目录下的hadoop.dll复制到c:\windows\system32目录下，可能需要重启机器。
下载地址：http://download.csdn.net/download/yixiao1874/10240139
经过这些步骤就可以运行hadoop/spark程序（本地模式）
开发Spark应用并提交集群运行 1、idea中如果是本地模式只需修改-Dspark.master=local
文章图片
文章图片
文章图片
2、eclipse中
文章图片
【spark|eclipse或idea中开发spark程序本地运行以及提交集群运行】
推荐阅读
- 低头思故乡——只是因为睡不着
- Spark|Spark 数据倾斜及其解决方案
- 拒绝可以很艺术，或者很行为艺术。
- How|How Fear Works（PartⅡ）
- performSelectorOnMainThread:withObject:waitUntilDone:参数设置为NO或YES的区别
- 武功山金顶草甸或将易主（投资几千万开发，萍乡（有人想摘桃子））
- 狗趣
- 两个心得
- 插件化无法获取或找到.so文件
- 入以色列纪（四）