一、Linux的实验环境
1、Linux操作系统:RedHat 7.464位
2、Vmware版本不能太低,12版本
3、网卡:推荐“仅主机模式”
4、一共5台虚拟机
bigdata111192.168.220.111
bigdata112192.168.220.112
bigdata113192.168.220.113
bigdata114192.168.220.114
bigdata115192.168.220.115
二、配置Linux和Linux的目录结构
1、关闭防火墙
systemctl stop firewalld.service
systemctl disable firewalld.service2、设置主机名和IP的对应关系:/etc/hosts
vi /etc/hosts
192.168.220.111 bigdata1113、Linux的tmp目录
(*)特点:一旦Linux重启,该目录下所有数据会被删除
(*)HDFS默认的数据保存的目录是:/tmp
三、vi编辑器:相当于记事本
三种模式:
1、编辑模式:等待命令输入
i:进入插入模式
2、插入模式:按esc键
3、命令模式:需要在编辑模式上,输入:号
w保存
wq 保存退出
wq! 强制保存退出
q 退出
打开行号:set number
关闭行号: set nonumber换行:set wrap
set nowrap
四、文件目录操作命令:(类似HDFS的操作命令)
(*)ls 显示文件和目录列表
-l 列出文件的详细信息等价于:ll命令
-a 列出当前目录所有文件,包含隐藏文件隐藏文件:/root/.bash_profile 设置环境变量:JAVA_HOME、HADOOP_HOME等等
隐藏目录:/root/.ssh----> 配置免密码登录(Hadoop和Spark),有公钥和私钥HDFS操作:hdfs dfs -ls /查看HDFS的根目录(*)mkdir 创建目录
-p 父目录不存在情况下先生成父目录约定:mkdir /root/tools----> 安装包
mkdir /root/training----> 安装目录
HDFS上:hdfs dfs -mkdir /input
cd 切换目录
touch 生成一个空文件
(*)echo 生成一个带内容文件
使用echo查看环境变量值
echo $JAVA_HOME
(*)cat、tac 显示文本文件内容
cat是从第一行开始写;tac是从最后一行开始写
查看HDFS文件的内容:hdfs dfs -cat /input/data.txt(*)cp 复制文件或目录
cp a.txt b.txt
HDFS: hdfs dfs -cp /input/data.txt/input/datanew.txt
(*)rm 删除文件
-r 同时删除该目录下的所有文件
-f 强制删除文件或目录HDFS:hdfs dfs -rmr /input/data.txt
HDFS有回收站,默认情况下,关闭
(*)ps 显示瞬间的进程状态
ps –ef 使用标准格式显示每个进程信息查看Redis服务实例:ps -ef |grep redis-server(*)kill 杀死一个进程
参数:-9 强制杀死一个进程
-3 Java进程,打印Java进程的Thread Dump(*)tar 文件、目录打(解)包
五、Linux的权限管理(非常类似HDFS的权限管理)
1、权限的类型:3种
r读
w写
x 执行2、查看文件或者目录的权限:ls -l 或者 ll
六、安装常用软件:安装JDK
tar -zxvf jdk-8u144-linux-x64.tar.gz -C ~/training/
设置环境变量vi ~/.bash_profile
JAVA_HOME=/root/training/jdk1.8.0_144
export JAVA_HOME一定要把Java home的bin在最前面
PATH=$JAVA_HOME/bin:$PATH
export PATH
生效环境变量 source ~/.bash_profile