Hadoop-Linux基础

一、Linux的实验环境

1、Linux操作系统:RedHat 7.464位 2、Vmware版本不能太低,12版本 3、网卡:推荐“仅主机模式” 4、一共5台虚拟机 bigdata111192.168.220.111 bigdata112192.168.220.112 bigdata113192.168.220.113 bigdata114192.168.220.114 bigdata115192.168.220.115

二、配置Linux和Linux的目录结构
1、关闭防火墙 systemctl stop firewalld.service systemctl disable firewalld.service2、设置主机名和IP的对应关系:/etc/hosts vi /etc/hosts 192.168.220.111 bigdata1113、Linux的tmp目录 (*)特点:一旦Linux重启,该目录下所有数据会被删除 (*)HDFS默认的数据保存的目录是:/tmp

三、vi编辑器:相当于记事本
三种模式: 1、编辑模式:等待命令输入 i:进入插入模式 2、插入模式:按esc键 3、命令模式:需要在编辑模式上,输入:号 w保存 wq 保存退出 wq! 强制保存退出 q 退出 打开行号:set number 关闭行号: set nonumber换行:set wrap set nowrap

四、文件目录操作命令:(类似HDFS的操作命令)
(*)ls 显示文件和目录列表 -l 列出文件的详细信息等价于:ll命令 -a 列出当前目录所有文件,包含隐藏文件隐藏文件:/root/.bash_profile 设置环境变量:JAVA_HOME、HADOOP_HOME等等 隐藏目录:/root/.ssh----> 配置免密码登录(Hadoop和Spark),有公钥和私钥HDFS操作:hdfs dfs -ls /查看HDFS的根目录(*)mkdir 创建目录 -p 父目录不存在情况下先生成父目录约定:mkdir /root/tools----> 安装包 mkdir /root/training----> 安装目录 HDFS上:hdfs dfs -mkdir /input cd 切换目录 touch 生成一个空文件 (*)echo 生成一个带内容文件 使用echo查看环境变量值 echo $JAVA_HOME (*)cat、tac 显示文本文件内容 cat是从第一行开始写;tac是从最后一行开始写 查看HDFS文件的内容:hdfs dfs -cat /input/data.txt(*)cp 复制文件或目录 cp a.txt b.txt HDFS: hdfs dfs -cp /input/data.txt/input/datanew.txt (*)rm 删除文件 -r 同时删除该目录下的所有文件 -f 强制删除文件或目录HDFS:hdfs dfs -rmr /input/data.txt HDFS有回收站,默认情况下,关闭 (*)ps 显示瞬间的进程状态 ps –ef 使用标准格式显示每个进程信息查看Redis服务实例:ps -ef |grep redis-server(*)kill 杀死一个进程 参数:-9 强制杀死一个进程 -3 Java进程,打印Java进程的Thread Dump(*)tar 文件、目录打(解)包

五、Linux的权限管理(非常类似HDFS的权限管理)
1、权限的类型:3种 r读 w写 x 执行2、查看文件或者目录的权限:ls -l 或者 ll

六、安装常用软件:安装JDK
tar -zxvf jdk-8u144-linux-x64.tar.gz -C ~/training/ 设置环境变量vi ~/.bash_profile JAVA_HOME=/root/training/jdk1.8.0_144 export JAVA_HOME一定要把Java home的bin在最前面 PATH=$JAVA_HOME/bin:$PATH export PATH 生效环境变量 source ~/.bash_profile

    推荐阅读