锐客网

  1. 首页 > it技术 > >

Flink|Flink HA模式环境搭建

flink


Flink HA模式环境搭建

    • `前提：hadoop ha和zookeeper已经安装完毕`
    • 一、下载Flink安装包
    • 二、下载Flink依赖的Hadoop包
    • 三、环境规划
    • 四、安装配置（在hadoop002上进行所有配置）

前提：hadoop ha和zookeeper已经安装完毕 一、下载Flink安装包
  • Flink官网下载
二、下载Flink依赖的Hadoop包
  • Flink依赖的Hadoop包：点击下载
三、环境规划
  • 五台虚拟机：
    【Flink|Flink HA模式环境搭建】hadoop002 主节点
    hadoop003 主节点（备）
    hadoop004 从节点
    hadoop005 从节点
    hadoop006 从节点
四、安装配置（在hadoop002上进行所有配置）
  1. 上传Flink安装包到Hadoop002上
  2. 解压安装到指定目录下，执行：
    tar -zvxf /tools/flink-shaded-hadoop-2-uber-2.7.5-10.0.jar -C /training/

  3. 配置环境变量（可选，建议配置，并同步到其他节点），vi ~/.bash_profile，添加如下内容：
    #flink export FLINK_HOME=/training/flink-1.10.1 export PATH=$PATH:$FLINK_HOME/bin # 配置Hadoop配置文件所在目录，防止找不到Hadoop配置 export HADOOP_CONF_DIR=/training/hadoop-2.7.3/etc/hadoop/

  4. 使环境变量生效，执行：source ~/.bash_profile
  5. 进入flink安装目录下，编辑/training/flink-1.10.1/conf/flink-conf.yaml文件,修改如下内容：
    #common 部分只需要修改如下选项，其中hadoop002为主节点 jobmanager.rpc.address: hadoop002 taskmanager.numberOfTaskSlots: 3 # 改成3，可不改 parallelism.default: 3 #改成3，可不改 # High Availability high-availability: zookeeper # ns1为hadoop HA的名称 high-availability.storageDir: hdfs://ns1/ha/ high-availability.zookeeper.quorum: hadoop002:2181,hadoop003:2181,hadoop004:2181 # 其他暂时默认即可

  6. 进入flink安装目录下，编辑/training/flink-1.10.1/conf/masters文件,修改如下内容:
    hadoop002:8081 hadoop003:8081

  7. 进入flink安装目录下，编辑/training/flink-1.10.1/conf/slaves文件,修改如下内容:
    hadoop004 hadoop005 hadoop006

  8. 进入flink安装目录下，编辑/training/flink-1.10.1/conf/zoo.cfg文件,需要修改如下内容:
    # ZooKeeper quorum peers server.1=hadoop002:2888:3888 server.2=hadoop003:2888:3888 server.3=hadoop004:2888:3888

  9. 将下载好的依赖flink-shaded-hadoop-2-uber-2.7.5-10.0.jar上传到flink安装目录下的lib目录中
  10. 然后将整个flink安装目录拷贝到其他节点中，可以执行如下命令：
    scp -r /training/flink-1.10.1 root@hadoop003:/training scp -r /training/flink-1.10.1 root@hadoop004:/training scp -r /training/flink-1.10.1 root@hadoop005:/training scp -r /training/flink-1.10.1 root@hadoop006:/training

  11. 启动集群（在hadoop002上），执行：start-cluster.sh
  12. 成功后检查下进程：
    主节点：StandaloneSessionClusterEntrypoint
    从节点：TaskManagerRunner
  13. 打开网页查看，访问端口为8081,两个主节点都会看到如下信息：
    Flink|Flink HA模式环境搭建
    文章图片

    推荐阅读


    上一篇：Python基础|快速傅里叶变换及python代码实现

    下一篇：学习笔记|小波变换(DWT)，短时傅里叶分析（STFT）,与快速傅里叶（FFT）之间的关系