锐客网

  1. 首页 > 睿知 > >

超详细hadoop集群安装配置教程 搭建hadoop集群

生活知识睿知

设置hadoop集群(超详细的hadoop集群安装和配置教程)
以及虚拟机Linux系统的安装，在之前的两次分享会上都有详细的介绍，每个步骤都有举例说明 。如果有的朋友还是不能理解，我也没办法 。本文主要详细讲解hadoop服务器操作系统的配置，hadoop安装将在下一篇文章中详细介绍 。
Hadoop安装包使用Dakuai DKHadoop发行版 。个人觉得DKHadoop的安装过程比较简单 。请在接下来的分享中详细介绍dkhadoop的安装 。让我们进入本文的主题——服务器操作系统配置教程 。
一、安装包的准备
1.虚拟机的分布式安装(三台或更多虚拟机)
如果是个人电脑Windows系统或Linux系统，虚拟机上有三台虚拟服务器，将安装包复制到服务器上安装 。
2.物理集群(三台或更多物理服务器)
1.外联网下载模式
2.本地文件模式
只需将安装包文件直接复制到实体服务器的根目录下安装即可 。
3.上传模式
当服务器在计算机房中并且没有显示和输入设备时，应用此模式 。
现在，在本地计算机(默认为笔记本电脑，位于机房)上安装文件，将计算机与服务器连接，并将安装包install和DKHInstall上传到服务器的根目录 。
二、服务器操作系统配置教程
准备工作完成后，需要配置服务器 。首先，三台服务器必须相互ping通 。Ping意味着两台设备之间的网络已连接 。从一端发送一个数据包，另一端可以收到，也就是说两台设备可以ping通 。
1.修改权限
目的:使install和DKHInstall这两个安装包具有可执行权限 。权限不足，无法执行某些操作 。install里面是脚本和所有组件，DKHInstall里面是安装界面 。
步骤:将安装包install和DKHInstall复制到准备工作中的主节点目录下，然后修改文件权限 。首先进入根目录，安装目录和DKHInstall的权限修改为:文件所有者可以读取、写入和执行，与文件所有者属于一个用户组的其他用户可以读取和执行，其他用户组可以读取和执行 。
命令:
CD/根目录/
解压缩DKHPlantform.zip
chmod -R 755 DKHPlantform
2.设置Hadoop集群并设置SSH秘密登录 。
目的:在Hadoop操作期间，需要管理远程Hadoop守护进程 。Hadoop启动后，NameNode通过SSH(安全Shell)启动和停止每个DataNode上的各种守护进程 。因此，有必要以不需要密码输入的形式在节点之间执行指令 。因此，我们需要将SSH配置为使用无密码公钥认证的形式，这样NameNode就可以使用SSH无密码登录并启动DataName进程 。同样，DataNode可以使用SSH免密码登录NameNode 。
步骤:
(1)修改本地hosts文件并写入对应关系 。
为了区分局域网中的每台主机，会给每台主机分配一个主机名，每台主机通过IP进行通信，但是IP地址不容易记住，所以配置主机名和IP映射可以实现主机之间快速方便的访问 。
命令:
vi /etc/hosts
按键盘上的insert或I键进入编辑模式 。编辑完成后，按Esc键，然后按Shift+:键，输入wq，再按enter保存 。输入q！当你进入时，你放弃保存并退出 。
进入编辑模式后，根据规则写出主机与ip的对应关系(主机名dk41是自己命名的，如下图) 。示例:
192.168.1.41 dk41
192.168.1.42丹麦克朗
192.168.1.43丹麦克朗
Hadoop集群安装配置
编辑完成后，保存并退出 。将信件复制到两台或多台其他机器上 。
命令:
scp-r/etc/hosts 192 . 168 . 1 . 42:/etc
scp-r/etc/hosts 192 . 168 . 1 . 43:/etc
(2)执行集群间保密前的准备工作 。
当执行sshpass.sh的脚本时，您将读取两个文件，sshhosts和sshslaves，并替换sshpass.sh中的主文件和从文件 。
修改文件sshhosts，并输入所有机器的主机名，每行一个主机名(如下所示)
命令:
VI/root/DKHPlantform/autosh/ssh hosts
按键盘上的insert或I键进入编辑模式 。编辑完成后，按Esc键，然后按Shift+:键，输入wq，再按enter保存 。输入q！当你进入时，你放弃保存并退出 。
Hadoop集群安装配置
修改文件sshslaves，并写入除主机名之外的所有机器名称(如下所示)
命令:
VI/root/DKHPlantform/autosh/ssh slaves
按键盘上的insert或I键进入编辑模式 。编辑完成后，按Esc键，然后按Shift+:键，输入wq，再按enter保存 。输入q！当你进入时，你放弃保存并退出 。
Hadoop集群安装配置
(3)执行集群无保密工作 。
命令:
CD/root/DKHPlantform/autosh
。/autosh主机名群集密码
示例: 。/auto shdk 41 123456
(4)关闭防火墙 。
为了防止某些服务在访问服务器时被拦截，应该关闭防火墙 。
命令:
CD/root/DKHPlantform/autosh
。/offIptables.sh
Hadoop集群安装配置
3.用双机热备份安装MySQL
目的:存储Hive的元数据 。
步骤:
(1)将mySQL安装目录从主节点分发到次节点
命令:
scp-r/root/DKHPlantform/MySQL inst/192 . 168 . 1 . 42:/root/
(2)主节点执行:
命令:
CD/root/DKHPlantform/MySQL inst/
。/mysql.sh 1
从节点执行:
命令:
cd /root/mysqlInst/
。/mysql.sh 2
(3)执行成功后，进行热备份(在两台机器上，交换两个ip，41写在42上，42写在41上，密码是MySQL 。密码是:123456 。平台已经设置，请不要修改):
命令:
来源/etc/配置文件
。/sync.sh 192.168.1.xxx(另一个mysql地址)
4.创建一个数据库 。
目的:MySQL是一个关系数据库管理系统 。关系数据库将数据保存在不同的表中，这提高了速度和灵活性 。
步骤:
(1)导入MySQL数据表，只在主节点执行:
命令:
Mysql-u root-p 123456
例如mysql -uroot -p123456
(2)执行完毕后，检查是否存在两个mysql数据表，并从主节点检查执行情况:
命令:
mySQL-uroot-p 123456显示数据库；
用dkh
显示表格；
Hadoop集群安装配置
5.开始安装
目的:服务器配置操作完成后启动DKH 。
步骤:执行以下命令 。
命令:
CD/root/DKHPlantform/dkh-Tomcat */bin/
。/startup.sh
6.本地时间服务器的构建步骤
当网络未连接或系统已安装时，时间不同步，因此需要设置本地时间服务器 。
(1)在intranet中设置ntp服务器 。
修改/etc/ntp.conf
【超详细hadoop集群安装配置教程 搭建hadoop集群】命令:
Vim /etc/ntp.conf
按键盘上的insert或I键进入编辑模式 。编辑完成后，按Esc键，然后按Shift+:键 。输入wq，按回车键保存 。输入q！当你进入时，你放弃保存并退出 。
修改以下三行:
#服务器0.centos.pool.ntp.org
#服务器1.centos.pool.ntp.org
#服务器2.centos.pool.ntp.org
在文件末尾添加以下两行:
服务器127.127.1.0
捏造127.127.1.0地层10
(2)启动ntp服务
服务ntpd启动
(3)开机自动启动 。
chkconfig ntpd打开
(4)客户端同步时间
命令:
Vim /etc/ntp.conf
按键盘上的insert或I键进入编辑模式 。编辑完成后，按Esc键，然后按Shift+:键，输入wq，再按enter保存 。输入q！当你进入时，你放弃保存并退出 。
在文件末尾添加一行:
*/15 * * * *根ntpdate 192 . 168 . 27 . 35；将系统时间同步到硬件时间

    推荐阅读


    上一篇：危化品分类及防爆措施 危险品分类

    下一篇：最适合的结婚的女生是怎么样 什么样的女人值得娶