锐客网

  1. 首页 > 生活百科 > it技术 > >

大数据常用linux命令 linux在大数据中的应用

IT技术命令

linux基本操作命令linux基本操作命令大数据常用linux命令：pwd命令、cd命令、ls命令、cat命令、cp命令 。
1、pwd命令
使用pwd命令找出您所在的当前工作目录（文件夹）的路径 。该命令将返回一个绝对（完整）路径大数据常用linux命令，该路径基本上是所有以/开头的目录的路径 。绝对路径的一个示例是 /home/username 。
2、cd命令
要浏览 Linux 文件和目录大数据常用linux命令，请使用 cd 命令 。根据您所在的当前工作目录大数据常用linux命令，它需要目录的完整路径或名称 。假设您位于 /home/username / Documents 中，并且想要转到 Documents 的子目录 Photos 。
3、ls命令
LS命令用于查看目录的内容 。默认情况下，此命令将显示当前工作目录的内容 。如果要查看目录的内容，请键入ls，然后键入目录的路径 。
4、cat命令
cat（连接的缩写）是Linux中最常用的命令之一 。它用于在标准输出（sdout）上列出文件的内容 。要运行此命令，请键入cat，然后输入文件名及其扩展名 。
5、cp命令
使用cp命令将文件从当前目录复制到另一个目录 。例如，命令cpscenery.jpg/home /username/Pictures将在您的Pictures目录中创建一个Scene.jpg副本（来自当前目录） 。
《Linux下部分常用指令笔记》一、创建linux维护用户
登录root用户
创建新用户
useradd 新用户名
设置用户密码
passwd 新用户密码
二、安装jdk和配置环境变量
建议在root用户下直接安装jdk，并直接配置环境变量，同时给非root用户设置读和执行权限
解压包
tar xvf jdk包名.tar
配置全局变量
编辑/etc/profile文件
vi /etc/profile
按I键，切换成编辑模式 。
在文件未加入一下配置
export JAVA_HOME=jdk的解压文件目录
export JRE_HOME=jdk的解压文件目录/jre
export CLASSPATH=.:${JAVA_HOME}/lib:${ JRE_HOME}/lib:$CLASSPATH
export JAVA_PATH=${JAVA_HOME}/bin:${ JRE_HOME}/bin
export PATH=$PATH:${JAVA_PATH}
保存并退出
Esc
:wq
重载配置文件使其生效
source /etc/profile
检查是否安装成功
Javac
Java version
权限修改
读4写2执行1，顺序所有者、组成员、其他用户
Chomd755jdk的解压文件目录
三、安装tomcat
安装tomcat和放入war包使用非root的维护用户
如果使用root安装的话记得设置权限 。（ chomd -r 外层文件目录 ）
su - 用户名
1、解压包
tarxvftomcat包名.tar
2、将war包放入tomcat/webapps目录下
3、Tomcat启动服务和停止服务
查看进程
ps -ef | grep java
启动应用
Tomcat bin目录下.startup.sh
停止应用
建议使用
Kill -9 进程号
注：解压出应用文件后，注意配置信息的修改
四、IBM MQ部署 (7.5之后的版本)
（以下是使用9.0版本的正确部署命令）
一、卸载旧版本IBM MQ（可?。?
因为部署环境没有安装过mq，卸载这部分命令我没有亲自测试过
设置环境
以用户身份登录到组mqm，找到mq的安装位置 /opt/mqm
source ./setmqenv -s
查看队列管理器的状态
dspmq -o installation
停止与要卸载的安装关联的所有正在运行的队列管理器
endmqm SXRECV
停止与队列管理器关联的所有侦听器 。
endmqlsr -m SXRECV
查看系统上当前安装的软件包（组件）
sudo rpm -qa | grep MQSeries

列出软件包并一次性卸载
sudo rpm -qa | grep MQSeries | xargs rpm -ev
再将对应的用户及安装目录给删除
rm -rf /opt/mqm
userdel -r mqm

检查MQ license
license文件在安装目录中 /opt/mqm/lib 可以找到
amqtcert.lic - is a trial license
amqbcert.lic - is a beta license
amqpcert.lic - is the production license
——————————————————————————————————————
二、安装新版本ibm mq
解压，解压文件都在MQServer中
tar –xzvf IBM_MQ_9.1.5_LINUX_X86-64.tar.gz
进入MQServer文件夹中:
cd MQServer/
运行MQ许可证程序
./mqlicense.sh
安装WebSphere MQ for Linux服务器（Runtime、SDK 和 Server 软件包）：
rpm -U MQSeriesRuntime-9.1.5-0.x86_64.rpm
rpm -U MQSeriesSDK-9.1.5-0.x86_64.rpm
rpm -U MQSeriesServer-9.1.5-0.x86_64.rpm

安装WebSphere MQ for Linux客户机：
rpm -U MQSeriesClient-9.0.0-0.x86_64.rpm
安装WebSphere MQ样本程序:
rpm -U MQSeriesSamples-9.0.0-0.x86_64.rpm
创建组和用户
安装过程创建了一个名为mqm的用户和一个同样名为 mqm 的组 。设置一个密码来解锁 。
passwd mqm
——————————————————————————————————————
三、配置
（这部分队列管理器、通道、队列等根据实际情况自行配置）
切换用户：
su mqm
创建队列管理器
使用crtmqm命令来创建一个名为 SXRECV
的队列管理器 。我们把它作为缺省队列，并且将不在创建时指定死信队列 。然后使用strmqm命令启动队列管理器 。
crtmqm -qSXRECV
strmqmSXRECV
——————
如果执行crtmqm命令时提示
-bash-3.2$ crtmqm
-bash: crtmqm: command not found
find / -name crtmqm
则需要配置mqm用户的环境变量，编辑如下文件，并添加下面的内容，如下：
第一种方法：相对第二种较安全仅对mqm用户有效
【大数据常用linux命令 linux在大数据中的应用】方法一：
(1） -bash-3.2$ vi /var/mqm/.bash_profile--有可能会在文件夹下看不到这个文件，通过编辑即可看到
PATH=$PATH:/opt/mqm/samp/bin:/opt/mqm/bin:bin:/usr/bin:/usr/sbin:/usr/local/bin:/usr/X11R6/bin
(2）执行“.”命令，使这个文件生效
-bash-3.2$ source.bash_profile
(3）再次尝试实行crtmqm或是dspmqm命令，即可发现已经生效 。
方法二：
（1）
suroot
[if !supportLists]（2）[endif]
vim /etc/profile
[if !supportLists]（3）[endif] 在最后面加上：
PATH=$PATH:/opt/mqm/samp/bin:/opt/mqm/bin:bin:/usr/bin:/usr/sbin:/usr/local/bin:/usr/local/bin
（4）关闭远程终端重新打开，无需重启服务器
——————
运行队列管理器
runmqsc SXRECV
创建通道和队列
DEFINE QLOCAL (XYDATA) REPLACE USAGE (NORMAL) DEFPSIST (YES) MAXDEPTH (300000) DESCR('兴业银行')
DEFINE QLOCAL (XYTRANS) REPLACE USAGE (XMITQ) DEFPSIST (YES) MAXDEPTH (300000) DESCR('兴业银行')
DEFINE QREMOTE (XYACK) REPLACE DEFPSIST (YES) RQMNAME (SXSEND)RNAME (XYACK) XMITQ (XYTRANS) DESCR('XXXX')
DEFINE CHANNEL (XYDATA) CHLTYPE (RCVR) TRPTYPE (TCP) REPLACE DESCR('XXXX')
DEFINE CHANNEL (XYACK) CHLTYPE (SDR) CONNAME ('166.1.1.8(2214)') XMITQ (XYTRANS) TRPTYPE (TCP) DISCINT (0) CONVERT (NO) SHORTRTY (30) SHORTTMR (10) LONGRTY (999999999) LONGTMR (20) REPLACE DESCR('XXXX')
DEFINE CHANNEL (SVRCONN) CHLTYPE (SVRCONN) MCAUSER('mqm')
创建监听
DEFINE LISTENER (RECLISTENER) TRPTYPE (TCP) CONTROL(QMGR) PORT (2214)
启动监听
start LISTENER(RECLISTENER)
启动通道
start channel(SVRCONN)
start channel(XYDATA)
start channel(XYACK)
———————————————————————————————————————————————————
四、2035错误码说明
如果程序连接mq报错2035 ， 则需要对权限认证做设置，则进行以此操作
1、
ALTER QMGR CHLAUTH(DISABLED)
2、
ALTER CHL(通道名) CHLTYPE(SVRCONN) MCAUSER('mqm')
3、
ALTER AUTHINFO(SYSTEM.DEFAULT.AUTHINFO.IDPWOS) AUTHTYPE(IDPWOS) CHCKCLNT(OPTIONAL)
或者直接将连接认证选项置为空，将其完全关闭，指令如下：
ALTER QMGR CONNAUTH('')
在执行完上述两条命令中的任一条后，都需要刷新连接认证的缓存，指令如下：
REFRESH SECURITY TYPE(CONNAUTH)
五、mq操作命令
一、MQ的启动与停止
1、MQ的启动
strmqm QMgrName
如果启动默认队列管理器 ， strmqm后可以忽略队列管理器名称 。
2、MQ的关闭
endmqm -i QMgrName
停止mq
二、MQ运行状态查看与常用操作
1、 查看队列管理器运行状态
su mqm
执行如下命令检查队列管理器运行状态：dspmq显示结果中QMNAME表示MQ队列管理器的名称，STATUS表示当前运行状态 。运行状态有如下几种：Starting正在启动Running正在运行Ending正在停止Ended normally已经正常终止Ended immediately已经立即终止Ended preemtively已经强制终止Ended unexpectively异常终止
注意：停止MQ后必须使用dspmq命令进行状态检查
2、查看通道运行状态与启停通道
runmqsc
dis chl(*);查看所有通道定义
dis chs(*);查看所有通道状态，如果没有查询到通道状态，或报错AMQ8420: Channel Status not found，请启动通道
dis chs(ChannelName)； 查看通道ChannelName的状态
通道状态有如下几种：
STARTING正在启动BINDING正在绑定INITIALIZING正在初始化RUNNING正常STOPPING 正在停止RETRYING重试PAUSED等待STOPPED已停止REQUESTING请求
start chl(ChannelName);启动通道
stop chl(ChannelName);停止通道
*重置通道
reset channel(ChannelName); 重置通道序号 。当本地与其他MQ队列管理器的通道无法正常启动的情况，检查日志发现是通道序号不一致，此时就需要先停止发送方通道，清空队列深度并在发送方和接收方进行通道计数的重置，重置后启动通道即可恢复通讯 。
注意：重置成功mq序列号一般相同或相差1
3、查看通道监听状态与启停监听
runmqsc
dis listner(*);查看通道监听定义
dis lsstatu(listnerName);查看监听状态
start lstr(listnerName)； 启动监听
stop lstr(listnerName)； 停止监听
4、查看队列深度
runmqsc
dis q(*);查看所有各类队列的属性
dis qlocal(QName);查看所有本地队列的属性
队列深度属性为：CURDEPTH
查看队列深度display ql('队列名')curdepth
*清空队列深度
清空队列深度
clear ql(‘队列名’)
三、MQ发送和接收消息
su mqm
发送消息
amqsput队列名队列管理器
获取消息
amqsget队列名队列管理器
可通过配合查看队列深度命令 ， 完成mq的联调
六、其他维护中常用linux命令
1、测试端口连接
telnet ip port
2、查看已启动的端口
netstat -an | grep 端口号
3、查看应用进程
ps -ef |grep java
4、修改权限
chomdXXX(对应的权限)文件目录
5、修改文件或目录下所有文件所有者和组
Chomd -R 用户名：组名文件目录
6、查看目录内容
ls 或者ls -l (简写ll)
7、查看文件输出
cat 目录/文件名
或者
Vi 目录/文件名 按i可进入编辑
按 G 到文档末尾
按 gg 到文件首行
不保存退出
Esc:q!
保存退出
Esc:wq
vi 进入文档文档后查找关键字
Esc 进入命令行
/关键字
按n向下继续查找
按N向上继续查找
8、杀进程
Kill -9 进程号
9、复制
cp -r 源目录目标目录
10、移动
mv-i 源文件或目录 目标文件或目录
11、删除
rm -R 文件目录
12、切换工作目录
cd相对路径或绝对路径
~也表示为 home 目录 的意思，. 则是表示目前所在的目录， .. 则表示目前目录位置的上一层目录 。
怎样学习linux？学习Linux步骤大数据常用linux命令：
1、先大数据常用linux命令了解了解基础吧，找一本薄一点的，浅一点的书，了解一下什么是linux 。有个基本了解即可 。不建议马上看《鸟哥的Linux私房菜》，这本书很不错，如果你了解linux基础之后再看 ， 对你可以说是不受益匪浅都不行 。没基础看《鸟哥的Linux私房菜》比较痛苦，内容很多 。
2、了解之后，在自己电脑上弄个虚拟机，装上linux系统（redhat或ubuntu都行） 。专攻《鸟哥的Linux私房菜》 。当你把这本书攻下来时，才知道原来命令行并不可怕，自己打着打着就很长啦 。
学linux最主要靠实践，不实践，只看书对你没好处的哦 。自己在虚拟机上慢慢玩吧，玩多了就知道咋回事啦 。不懂的多找资料弄懂 ， 弄懂之后再实践，这才会有收获 。
linux查看硬件命令有哪些大数据常用linux命令你们知道怎么查看Linux中的硬件吗大数据常用linux命令，命令是什么?下面是我带来的关于linux查看硬件命令有哪些的内容，欢迎阅读!
Linux查看硬件命令一：
linux如何查看系统的硬件配置
如何在linux系统下查看系统配置? 在图形模式下我们可以很方便的利用Linux的图形工具，点击几下就可以查看到Linux系统的的硬件信息 。但是大部分生产服务器系统为了节约系统资源是没有安装Xwindo服务的 。所以我们在图形模式下掌握查看系统硬件信息的方式是很
如何在linux系统下查看系统配置?
在图形模式下我们可以很方便的利用Linux的图形工具，点击几下就可以查看到Linux系统的的硬件信息 。但是大部分生产服务器系统为了节约系统资源是没有安装Xwindo服务的 。所以我们在图形模式下掌握查看系统硬件信息的方式是很必要的 。
linux下至今 没有给出机器系统信息的命令或者是软件(类似CPU—Z，everest等) 。要想查看系统的配置 具体的方法是：
1、系统硬件配置都在/proc 目录里面
2、可以用命令查看里面的文件即可 比如：
cat /proc/cpuinfo 查看cpu信息，processor 0 为一个U，1为两个 ， flags超线程 。
lspci 查看主板信息
free –m 查内存 (total属性下显示的是内存的大小) 。
fidsk -l 查硬盘空间
df -h 查硬盘
du -sh 查看文件夹大小
top 这个比较全，内存 进程 负载 都有了 。
uptime 查运行时间 负载情况 等等的信息
Linux查看硬件命令二：
1，在linux下，有多种命令可以用于查看硬件信息:
用硬件检测程序kuduz探测新硬件：service kudzu start ( or restart);
查看CPU信息：cat /proc/cpuinfo;
查看板卡信息：cat /proc/pci;
查看PCI信息：lspci (相比cat /proc/pci更直观);
查看内存信息：cat /proc/meminfo;
查看USB设备：cat /proc/bus/usb/devices;
查看键盘和鼠标:cat /proc/bus/input/devices;
查看系统硬盘信息和使用情况：fdiskdisk – ldf;
查看各设备的中断请求(IRQ):cat /proc/interrupts;
查看启动硬件检测信息日志：dmesg more /var/log/dmesg 。
2，几种查看Linux版本信息的方法：
uname -a;
cat /proc/version;
cat /etc/issue;
lsb_release -a;
cat /etc/redhat-release;
rpm -q redhat-release 。
看了"linux查看硬件命令有哪些"文章内容的人还看：
1. linux中查看硬件信息的方法有哪些
2. LINUX操作系统常用命令有哪些
3. linux操作系统版本查看命令
4. Linux top命令查看多核CPU每个核心的使用率
5. Linux中查看CPU的信息的方法是什么
6. Linux使用dmidecode命令查看内存型号
7. 如何正确查看Linux机器内存使用情况
8. Linux系统查看当前时间的命令
9. Linux常用命令
10. 必学100个常用linux命令大全
如何学习linux第一阶段大数据常用linux命令：初级入门
初级阶段需要把linux运维学习路线搞清楚，任何学习都是循序渐进大数据常用linux命令的，所以学linux运维也是需要有一定的路线 。
1、Linux基础知识、基本命令(起源、组成、常用命令如cp、ls、file、mkdir等常见操作命令)
2、Linux用户及权限基础
3、Linux系统进程管理进阶
4、linux高效文本、文件处理命令(vim、grep、sed、awk、find等命令)
5、shell脚本入门(可边练习边学习)
第二阶段:中级进阶
中级进阶需要在充分大数据常用linux命令了解linux原理和基础知识之后 ， 对上层的应用和服务进行深入学习，其中说到服务肯定涉及到网络的相关知识 ， 是需要花时间学习的 。
1、TCP/IP网络基础(差不多CCNA、NP的知识就够用)
2、Linux企业常用服务(如dns、http、ftp、mail、nfs等)
3、Linux企业级安全原理和防范技巧(系统性能/安全、安全威胁模型和保护方法
4、加密/解密原理及数据安全、系统服务访问控制及服务安全基础
5、iptables安全策略构建
6、shell脚本进阶(主要是结合一些应用，写一些案例)
7、MySQL应用原理及管理入门(能管理和搭建一个个人博客站点)
第三阶段：高级提升
1、http服务代理缓存加速(其中主要学习varnish、nginx缓存系统，要对CDN的知识有所了解 。)
2、企业级负载集群(其中主要学习nginx、haproxy、lvs要对主要知识熟练掌握，对负载均衡算法有清晰认识)
3、企业级高可用集群 (其中需要对keepalived，heartbeat等进行深入讲解)
4、运维监控zabbix详解(主要是zabbix、cacti、nagios等监控系统，现在用的比较多的是zabbix)
5、运维自动化学习(需要学一些开源运维自动化工具的使用如ansible、puppet、cobbler等运维自动化工具)
第四阶段：资深方向进阶
1、 大数据方向(需要对hadoop、storm等常见开源大数据系统需要深入了解)
2、 云计算方向(主要是openstack这套东西 ， 当然像一些kvm等虚拟化技术，也是需要掌握的，现在docker也比较流行)
3、 运维开发(主要是python运维开发)
4、 自动化运维(在之前自动化基础上做深入)
5、 运维架构师(主要需要广度，差不多5年左右以上经验 ， 可以担当此职位)
大数据需要学哪些内容大数据需要学习的内容有：Java编程技术；Linux命令；Hadoop；Hive；Avro与Protobuf；ZooKeeper；HBase；phoenix；Redis；Flume；SSM；Kafka；Scala；Spark；Azkaban和Python与数据分析 。
1、Java编程技术
Java编程技术是大数据学习的基?。琂ava是一种强类型语言 ， 拥有极高的跨平台能力，可以编写桌面应用程序、Web应用程序、分布式系统和嵌入式系统应用程序等，是大数据工程师最喜欢的编程工具 。
2、Linux命令
对于大数据开发通常是在Linux环境下进行的，相比Linux操作系统，Windows操作系统是封闭的操作系统，开源的大数据软件很受限制 ， 因此，想从事大数据开发相关工作，还需掌握Linux基础操作命令 。
3、Hadoop
Hadoop是大数据开发的重要框架，其核心是HDFS和MapReduce，HDFS为海量的数据提供了存储，MapReduce为海量的数据提供了计算，因此，需要重点掌握，除此之外，还需要掌握Hadoop集群、Hadoop集群管理、YARN以及Hadoop高级管理等相关技术与操作 。
大数据常用linux命令的介绍就聊到这里吧，感谢你花时间阅读本站内容，更多关于linux在大数据中的应用、大数据常用linux命令的信息别忘了在本站进行查找喔 。

    推荐阅读


    上一篇：画圆c语言编程，画圆c语言编程代码

    下一篇：如何运营一个电商平台，怎么运营一个电商公司