锐客网

  1. 首页 > 睿知 > >

idea怎么编写scala，如何用idea创建scala程序

经验分享睿知

1 ， 如何用idea创建scala程序1.安装JDK,并设置环境变量(1)JAVA_HOME = C:\Program Files\Java\jdk1.8.0_11(2)Path = D:\Program Files\scala\bin;%JAVA_HOME%\bin;%JAVA_HOME%\jre\bin(3)CLASSPATH = %JAVA_HOME%\lib\dt.jar;%JAVA_HOME%\lib\tools.jar;2.安装Scala(点击打开链接),并设置环境变量(1)SCALA_HOME = D:\Program Files\scala(2)Path = D:\Program Files\scala\bin;3.安装IDEA(点击打开链接)(1)安装Scala插件(Configure -> Plugins -> Install JetBrains Plugins : 搜索Scala)4.使用IDEA创建Scala程序(1)创建Scala程序在“file|project structure|libraries”窗体中点击绿色+号，选择“java”，在弹出的窗体中选择“spark”的安装目录，定位到spark\jars目录，点击“ok”，把全部jar文件引入到项目中 。网上和目前出版的书中讲解是spark2.0以下版本，采用的是把sparkle核心文件（如：“spark-assembly-1.3.0-hadoop2.4.0.jar”）拷贝到interllij idea安装目录下的lib目录下，再使用spark 。由于spark2.1.0已经取消了该文件，因此无法用原先的方法 。【idea怎么编写scala，如何用idea创建scala程序】
2，如何在Windows中使用Intellij idea搭建远程Hadoop开发环境Tools -> Deployment -> Configuration点击左上角 + ，Type选择SFTP，然后配置服务器ip和部署路径 ， 用户名密码等选项之后选择自动部署，这样每次修改都会自动部署到服务器 ， 也可以右键，选择Deployment，upload to .（1）准备工作 1） 安装jdk 6或者jdk 7 2） 安装scala 2.10.x (注意版本) 2）下载intellij idea最新版（本文以intellij idea community edition 13.1.1为例说明 ， 不同版本，界面布局可能不同） 3）将下载的intellij idea解压后，安装scala插件，流程如下： 依次选择“configure”–> “plugins”–> “browse repositories”，输入scala ， 然后安装即可 （2）搭建spark源码阅读环境（需要联网） 一种方法是直接依次选择“import project”–> 选择spark所在目录 –> “sbt”，之后intellij会自动识别sbt文件，并下载依赖的外部jar包，整个流程用时非常长，取决于机器的网络环境（不建议在windows 下操作，可能遇到各种问题），一般需花费几十分钟到几个小时 。注意，下载过程会用到git，因此应该事先安装了git 。第二种方法是首先在linux操作系统上生成intellij项目文件，然后在intellij idea中直接通过“open project”打开项目即可 。在linux上生成intellij项目文件的方法（需要安装git，不需要安装scala，sbt会自动下载）是：在 spark源代码根目录下，输入sbt/sbt gen-idea 注：如果你在windows下阅读源代码，建议先在linux下生成项目文件 ， 然后导入到windows中的intellij idea中 。（3）搭建spark开发环境 在intellij idea中创建scala project，并依次选择“file”–> “project structure” –> “libraries”，选择“+” ， 将spark-hadoop 对应的包导入，比如导入spark-assembly_2.10-0.9.0-incubating-hadoop2.2.0.jar（只需导入该jar 包，其他不需要），如果ide没有识别scala 库 ， 则需要以同样方式将scala库导入 。之后开发scala程序即可： 编写完scala程序后，可以直接在intellij中，以local模式运行 ， 方法如下： 点击“run”–> “run configurations”，在弹出的框中对应栏中填写“local”，表示将该参数传递给main函数，如下图所示，之后点击“run”–> “run”运行程序即可 。如果想把程序打成jar包，通过命令行的形式运行在spark 集群中，可以按照以下步骤操作： 依次选择“file”–> “project structure” –> “artifact”，选择“+”–> “jar” –> “from modules with dependencies” ， 选择main函数，并在弹出框中选择输出jar位置，并选择“ok” 。最后依次选择“build”–> “build artifact”编译生成jar包 。
3，如何在idea中用maven配置spark和scala1.准备工作 首先需要在你电脑上安装jdk和scala以及开发工具Intellij IDEA ， 本文中使用的是win7系统，环境配置如下：jdk1.7.0_15 scala2.10.4scala官网下载地址：http://www.scala-lang.org/download/如果是windows请下载msi安装包 。这两个可以在官网上下载jdk和scala的安装包就可以直接双击安装包运行安装即可 。注意：如果以后是在本地编写好spark代码然后上传到spark集群上去运行的话，请一定保持两者的开发环境一致，不然会出现很多错误 。Intellij IDEA 在官网上下载一般选择右下角的Community版本，下载地址https://www.jetbrains.com/idea/download/#section=windows2.在Intellij IDEA中安装scala插件 安装好Intellij IDEA并进入idea的主界面 （1）找到右下角的Configure选项中Plugins并打开 （2）点击左下角Browse repositories… （3）在搜索框里搜scala，出现相对于的Scala插件，这里面我的已经安装完成了，没安装的会显示install的字样以及相对于的版本，这里面不建议在线安装插件，建议根据Updated 2014/12/18去下载离线的scala插件，比如本文中的IDEA Updated日期是2014/12/18然后找到对应的插件版本是1.2.1 ， 下载即可 。下面是scala插件的离线下载地址 。scala插件离线下载地址：https://plugins.jetbrains.com/plugin/1347-scala然后根据Update日期去找Intellij IDEA对应得scala插件，不同版本的IDEA对应的scala插件不一样，请务必下载对应的scala插件否则无法识别 。（4）离线插件下载完成后，将离线scala插件通过如下方式加入到IDEA中去：点击Install plugin from disk…,然后找到你scala插件的zip文件的本机磁盘位置，点ok即可 到这里，在Intellij IDEA中安装scala插件的步骤已经全部完成 。接下来用IDEA来构建一个Maven工程，用来搭建spark开发环境 。3.Intellij IDEA通过Maven搭建spark环境 （1）打开IDEA新建一个maven项目 ， 如下图： 注意：按照我步骤顺序即可 。注意：如果是第一次利用maven构建scala开发spark环境的话 ， 这里面的会有一个选择scala SDK和Module SDK的步骤，这里路径选择你安装scala时候的路径和jdk的路径就可以了 。（2）填写GroupId和ArtifactId这里我就随便写了个名字，如下图 ， 点Next 。（3）第三步很重要 ， 首先是你的Intellij IDEA里有Maven，一般的新版本都会自带maven，而且maven的目录在IDEA安装路径下plugins下就能找到 ， 然后再Maven home directory地址中填写maven相对应的路径，本文中的IDEA版本比较老，是自己下的Maven安装上的（不会的可以百度下 ， 很简单，建议使用新的IDEA，不需要自己下载maven） 。然后这里面的User settings file是你maven路径下conf里面的settings.xml文件，勾选上override即可，这里面的Local repository路径可以不用修改，默认就好，你也可以新建一个目录 。点击Next 。注意：截图的时候忘了，把Local repository前面的override也勾选上，不然构建完会报错，至少我的是这样 。（4）填写自己的项目名，随意即可 。点击finish 。（5）到这里整个流程已经结束，完成后会显示如下界面： 右上角的import需要点击一下即可 。（6）接下来在pom.xml文件中加入spark环境所需要的一些依赖包 。以代码的方式给出，方便复制 。这里是我的pom文件代码 ， 请各位自行按照自己的需要删减或添加依赖包 。//注意这里面的版本一定要对应好，我这里的spark版本是1.6.0对应的scala是2.10，因为我是通过spark-core_${scala.version}是找spark依赖包的，前些日子有个同事按照这个去搭建，由于版本的不一样最后spark依赖包加载总是失败 。请大家自行检查自己的版本建议你使用intellij idea，在spark目录下执行"sbt/sbt gen-idea"，会自动生成.idea项目，导入即可 。在spark快速入门指南 – spark安装与基础使用中介绍了spark的安装与配置，在那里还介绍了使用spark-submit提交应用，不过不能使用vim来开发spark应用，放着ide的方便不用 。这里介绍使用intellij idea搭建spark的开发环境 。1、intellij idea的安装由于spark安装在ubuntu环境中，这里的idea也安装在ubuntu中 。首先是下载，到官网下载即可 。下载完后解压到待安装的目录：sudo tar -zxvf ideaiu-2016.1.tar.gz -c /usr/local/我解压在了/usr/local目录下，然后更改文件夹名：mv ideaiu-2016.1 idea然后修改文件的用户和用户组：sudo chown -r hadoop:hadoop idea这里的hadoop是我的用户名和组名 。这样idea就安装成功了 。为了启动idea，进入idea/bin目录，执行里面的idea.sh：bin/idea.sh这样就可以启动idea 。不过这样不方便，可以在桌面新建文件idea.desktop，输入如下内容：[desktop entry]name=ideaiucomment=rayn-idea-iuexec=/usr/local/idea/bin/idea.shicon=/usr/local/idea/bin/idea.pngterminal=falsetype=applicationcategories=developer;这样就创建了一个桌面快捷方式 。2、maven的安装与配置maven 是一个项目管理和构建自动化工具 。作为一个程序员，都有过为了使用某个功能而在项目中添加jar包的经历，使用的框架多了，需要添加的jar包也多，而maven能够自动为我们添加需要的jar包 。首先在maven官网上下载maven：下载之后在downloads目录下有如下文件：liu@binja:~/downloads$ lsapache-maven-3.3.9-bin.tar.gz解压到待安装的目录：liu@binja:~/downloads$ sudo tar -zxvf apache-maven-3.3.9-bin.tar.gz -c /usr/local/同样，修改文件夹名和用户名：liu@binja:/usr/local$ sudo mv apache-maven-3.3.9/ mavenliu@binja:/usr/local$ sudo chown -r liu:liu mavenliu@binja:/usr/local$ ll maventotal 52drwxr-xr-x6 liuliu40963月 28 20:24 ./drwxr-xr-x 12 root root40963月 28 20:26 ../drwxr-xr-x2 liuliu40963月 28 20:24 bin/drwxr-xr-x2 liuliu40963月 28 20:24 boot/drwxr-xr-x3 liuliu4096 11月 11 00:38 conf/drwxr-xr-x3 liuliu40963月 28 20:24 lib/-rw-r--r--1 liuliu19335 11月 11 00:44 license-rw-r--r--1 liuliu182 11月 11 00:44 notice-rw-r--r--1 liuliu2541 11月 11 00:38 readme.txtliu@binja:/usr/local$ 然后将maven添加到环境变量中：sudo vim ~/.bashrc在最后添加下面的内容：export path=$path:/usr/local/maven/bin使更改生效：liu@binja:/usr/local$ source ~/.bashrc这样maven就安装好了 。3、用刚安装的maven配置idea起始idea自带了maven，这里配置自己安装的maven 。一次选择file->setting->build,execution,deployment->build tools->maven，如下图：在右侧里的maven home directory里设置maven的安装目录，就我这里是/usr/local/maven，在user settings file里设置mavne的配置文件，我这里使用默认的文件，在local repository里设置本地包的管理仓库，选择右侧的override后，可以自定义自己的仓库目录，以后maven自动下载的包就会存放在这里 。单击ok后maven就配置完了 。然后就可以创建一个maven项目 。4、创建maven项目依次选择file->new->new project ， 出现如下界面：左侧可以选择项目的类型 ， 这里选择maven ， 右侧可以选择是否使用模板，勾选上面的create from archetype后，就可以在下面选择项目模板，这里选择scala的模板 。一路next之后 ， 这里填一下groupid和artifactid，名字随便?。喝缓笠宦穘ext，填写上项目的名字，ok就可以了 。这样新项目就创建成功了，新项目的文件结构如下图：其中的pom.xml就是配置我们项目的依赖包的 。src是项目存放代码的目录，下面有两个结构相同的目录main和test，其中我们在main目录下编写代码，test编写测试代码，这里先不使用测试，可以将test目录删除 。右侧展示的就是pom.xml文件的内容：勾选右上角的enable auto-import，这样idea就会自动下载项目所需的依赖包 。还要注意中间的scala版本，选择自己使用的版本 。

    推荐阅读


    上一篇：手机怎么安装Python，诺基亚7610该怎样安装Python

    下一篇：线性密码分析书籍,spn线性密码分析