Linux虚拟机环境搭建JAVA安装flink安装 _环境搭建

白日放歌须纵酒，青春作伴好还乡。这篇文章主要讲述Linux虚拟机环境搭建JAVA安装flink安装相关的知识，希望能为你提供帮助。
虚拟机环境搭建
虚拟机环境搭建比较容易，网上教程很多，我常用的是ubantu18.04，资源链接为：??https://pan.baidu.com/s/1ACDAwWqUi4Q9FSVCbtGDUQ??。提取码：sdlh。
进入后第一步安装VMware tools；再设置root密码：先sudo passwd，再输入设置的用户密码，再输入root密码，再确认，最后ok。su root进入root用户，进行软件更新以及ssh server的安装。
安装成功之后要先使用命令“sudo apt-get update”再使用命令“sudo apt-get upgrade”。因为我习惯使用vim，所以直接安装它：sudo apt install vim。因为Linux环境很多时候需要使用ssh连接远程服务器，所以我们看ssh server是否开启，第一次一般都是没有这个东西的。
查询命令：/etc/init.d/ssh status
安装命令：sudo apt-get install openssh-server
开启服务命令：systemctl restart sshd
这里我们需要先修改一些配置文件 sudo vim /etc/ssh/sshd_config，将#PermitRootLogin prohibit-password下添加一行“PermitRootLogin yes”。修改之后再使用命令：systemctl restart sshd重启服务。
一般到这个时候，虚拟机之间就可以连接了，如：ssh xxx.xxx.xxx.xxx

　退出远程连接：exit

JAVA安装
使用命令下载文件，使用命令解压缩，也可以使用“sudo apt install openjdk-8-jre-headless”安装。
配置环境变量：sudo vim /etc/profile
添加如下代码

#java
export JAVA_HOME=/usr/local/jdk
export PATH=$JAVA_HOME/bin:$PATH
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar

这里的jdk是我下载的java版本的软连接(ln -s jdk1.8 jdk)，这样做的好处是可以方便以后版本更新，不用修改配置文件。
flink安装
??去官网下载需要安装的版本??。下载之后在系统里解压缩“tar -zxvf xxx.tar.gz或者tar -xvf xxx.tar.tgz”，然后先配置flink的环境变量。
配置环境变量：sudo vim /etc/profile
添加如下代码

#flink
export FLINK_HOME=/home/elfin/Flink_install/flink
export PATH=$PATH:$FLINK_HOME/bin

注意路径每个人的不一样，一般大家喜欢放在 /usr/local/ 下，我这里是放在家目录下的用户目录中。可以修改用户目录下的 .bashrc文件，在其中添加一行：“source /etc/profile”。
每个linux系统都需要进行配置，为了方便也可以先配置一个再同步相应数据(环境变量这些还是要一个一个配好的)。在配置flink之前，我们先设置计算设备别名与免密登录。
设置设备别名：
192.158.144.172 flink_master
192.158.144.178 flink_slave

免密登录：
(1) 安装ssh-server：sudo apt-get install openssh-server 这里我的机器不能连接远程机器，所有需要安装ssh-sever。完成之后可以使用“ssh localhost”验证是否可以连接远程服务器。
(2) 配置文件：/etc/ssh/sshd_config 添加如下内容

1 # 启用 RSA 认证
2 RSAAuthentication yes
3 # 启用公钥私钥配对认证方式
4 PubkeyAuthentication yes
5 # 公钥文件路径
6 AuthorizedKeysFile .ssh/authorized_keys

注意上面的密钥文件是不存在的，所以我们先对每个节点生成密钥，再将公钥放到authorized_keys中。
(3) 对每个机器生成密钥文件，默认生成到 /.ssh 下
命令：ssh-keygen -t rsa -P
如图所示，生成了密钥文件 id_rsa、id_rsa.pub

再生成一个汇总的公钥文件：authorized_keys
(4) 将elfin_keys的内容汇总
master的内容追加到slave
参考链接：SSH免密登录
配置文件
配置flink需要进入conf文件夹，即：/home/elfin/Flink_install/flink/conf，此文件夹与bin文件夹同级，子文件如下：

这里面我们主要是要配置三个文件：主配置文件flink-conf.yaml、masters、slaves。其中log4j、logback见名知意，这些都是配置日志的，暂时先不管它。
flink-conf.yaml配置
我们主要修改jobmanager.heap.size、taskmanager.heap.size、taskmanager.numberOfTaskSlots、parallelism.default；我在这里将slot槽修改为2.

masters配置
主要是配置Job Managers，可以理解为某个项目配置。
这里我选择在本地作为master，所以默认为localhost:8081即可
slaves配置
主要是配置Task Managers，可以理解为项目的任务做配置。命令：sudo vim slaves
配置你的slaves的IP或者主机名，如：
192.158.144.178
192.158.144.172
flink-slave1
flink-slave2
配置好之后你就可以启动你的集群了，这里我们使用自带的脚本。命令：./bin/start-cluster.sh （这里的bin目录为flink目录中的bin），启动之后如图所示：

这里的master1、slave1都作为一个task节点。登录flink-master:8081可以看到：

测试flink自带的jar包：
先监控slave的9000端口：nc -lp 9000
再运行jar包：flink run ./examples/streaming/SocketWindowWordCount.jar --hostname flink-slave --port 9000
运行结果：

slave节点输入数据，master端口显示：

【Linux虚拟机环境搭建JAVA安装flink安装】清澈的爱，只为中国