锐客网

  1. 首页 > 睿知 > it技术 > >

linuxpv命令详解 linux的pipe指令

分区IT技术

Linux里面pv是什么意思？PV ，PV是VG的组成部分，有分区构成，多块盘的时候，可以把一块盘格式化成一个主分区，然后用这个分区做成一个PV，只有一块盘的时候，可以这块盘的某一个分区做成一个PV ， 实际上一个PV就一个分区 。
【计算机基础】Linux 存储 PV、VG 和 LV 及其使用 LVM ( Logical Volume Manager ) 架构采用分层结构，可以让分区变得弹性，可以随时随地的扩大和缩小分区大小 。
磁盘分区后使用pvcreate命令可以将分区创建为物理卷 PV 。
将多个 PV 组合起来，使用vgcreate命令创建成卷组 VG 。
VG 相当于整合过的硬盘 ， LV 则相当于分区，使用lvcreate创建 lV 。
如何创建 PV、VG、LV 及挂载目录 ？
Linux常见日志统计分析命令在上文中，我们已经详细介绍 linux 三剑客的基本使用，接下来我们看看具体在性能测试领域的运用，本文主要介绍的是在 Tomcat 和 Nginx access日志的统计分析 。
server.xml使用配置方式，%D-请求时间，%F-响应时间
字段说明如下：
日志样例：
使用默认 combined 的经典格式上扩展response_timeupstream_response_time
nginx.conf使用配置方式：
字段说明如下：
日志示例：
为了能理解 AWK 程序 ， 我们下面概述其基本知识 。
模式( pattern ) 用于匹配输入中的每行文本 。对于匹配上的每行文本 ， awk 都执行对应的 动作( action ) 。模式和动作之间使用花括号隔开 。awk 顺序扫描每一行文本，并使用 记录分隔符（一般是换行符）将读到的每一行作为 记录，使用 域分隔符( 一般是空格符或制表符 ) 将一行文本分割为多个 域 ， 每个域分别可以使用 2, … 表示 。1 表示第一个域，表示第二个域，n 表示第 n 个域 。$0 表示整个记录 。模式或动作都可以不指定 ， 缺省模式的情况下，将匹配所有行 。缺省动作的情况下，将执行动作 {print}，即打印整个记录 。
此处使用Nginx access.log 举例 ， Tomcat 日志自己举一反三 。使用 awk 分解出Nginx access日志中的信息
以此类推…… 当我们使用默认的域分割符时，我们可以从日志中解析出下面不同类型的信息：
我们不难发现，仅使用默认的域分隔符，不方便解析出请求行、引用页和浏览器类型等其他信息 ， 因为这些信息之中包含不确定个数的空格 。因此，我们需要把域分隔符修改为 “ ，就能够轻松读出这些信息 。
注意：这里为了避免 Linux Shell 误解 “ 为字符串开始，我们使用了反斜杠 ， 转义了 “。现在 ， 我们已经掌握了 awk 的基本知识，以及它是怎样解析日志的 。
此处使用Nginx access.log 举例，Tomcat 日志自己举一反三 。
如果我们想知道那些类型的浏览器访问过网站，并按出现的次数倒序排列，我可以使用下面的命令：
此命令行首先解析出浏览器域，然后使用管道将输出作为第一个 sort 命令的输入 。第一个 sort 命令主要是为了方便 uniq 命令统计出不同浏览器出现的次数 。最后一个 sort 命令将把之前的统计结果倒序排列并输出 。
我们可以使用下面的命令行，统计服务器返回的状态码 ， 发现系统可能存在的问题 。
正常情况下 ， 状态码 200 或 30x 应该是出现次数最多的 。40x 一般表示客户端访问问题 。50x 一般表示服务器端问题 。下面是一些常见的状态码：
HTTP 协议状态码定义可以参阅：
查找并显示所有状态码为 404 的请求
统计所有状态码为 404 的请求
现在我们假设某个请求 ( 例如 : URI: /path/to/notfound ) 产生了大量的 404 错误 ， 我们可以通过下面的命令找到这个请求是来自于哪一个引用页，和来自于什么浏览器 。
有时候会发现其他网站出于某种原因，在他们的网站上使用保存在自己网站上的图片 。如果您想知道究竟是谁未经授权使用自己网站上的图片，我们可以使用下面的命令：
注意：使用前，将修改为自己网站的域名 。
统计共有多少个不同的 IP 访问：
统计每一个 IP 访问了多少个页面：
将每个 IP 访问的页面数进行从小到大排序：
统计 2018 年 8 月 31 日 14 时内有多少 IP 访问 :
统计访问最多的前十个 IP 地址
查看某一个 IP访问了哪些页面：
统计某个 IP 的详细访问情况,按访问频率排序
列出传输大小最大的几个文件
列出输出大于 204800 byte ( 200kb) 的页面以及对应页面发生次数
列出访问最频的页面(TOP100)
列出访问最频的页面([排除php页面】(TOP100)
列出页面访问次数超过100次的页面
列出最近1000条记录，访问量最高的页面
统计每分钟的请求数,top100的时间点(精确到分钟)
统计每小时的请求数,top100的时间点(精确到小时)
统计每秒的请求数,top100的时间点(精确到秒)
统计当天的 pv
说明：
可以使用下面的命令统计出所有响应时间超过 3 秒的日志记录 。
注意：NF 是当前记录中域的个数 。$NF 即最后一个域 。
列出php页面请求时间超过3秒的页面，并统计其出现的次数，显示前100条
列出相应时间超过 5 秒的请求，显示前20条
统计蜘蛛抓取次数
统计蜘蛛抓取404的次数
通过本文的介绍，我相信同学们一定会发现 linux三剑客强大之处 。在命令行中，它还能够接受，和执行外部的 AWK 程序文件，可以对文本信息进行非常复杂的处理 ， 可以说“只有想不到的，没有它做不到的” 。
Linux文件系统-LVM逻辑卷 LVM（Logical Volume Manager）卷组管理器linuxpv命令详解，通过对底层物理磁盘linuxpv命令详解的封装，可以将多块物理磁盘组合成逻辑资源池，提供给上层应用使用（如文件系统）. LVM的好处是，可以跨物理硬盘为文件系统提供容量，并且可以动态进行分区容量的调整 ， 而不会损坏原有的文件系统.
物理磁盘 ：物理存储介质，可以是整块物理存储或一个分区.
物理卷PV（physical volume） ：LVM要使用物理磁盘 ， 在物理磁盘的头部写入lvm标签头，就创建了一个PV ， PV是组成VG的基本单元.
卷组VG（Volume Group） ：VG相当于非LVM系统中的物理硬盘，一个卷组VG由一个或多个PV组成，形成一个存储资源池.
逻辑卷LV（logical volume） ：LV相当于非LVM系统中的硬盘分区，LV建立在卷组VG之上，文件系统建立在LV之上.
物理块PE（physical Extent） ：创建LV时可以分配的最小存储单元，大小可以指定，默认为4MB
如上是从物理磁盘到lvm逻辑卷的创建过程及映射关系，lv01、lv02被创建后，通过device-mapper映射为逻辑块设备（块设备路径/dev/vg01/lv01、/dev/vg01/lv02），供文件系统使用，通过mkfs.ext4/dev/vg01/lv02可创建ext4文件系统.
元数据主要是两部分，PV headermetadata，位置一般是在PV的0~2048 sector中，从2048 sector开始是数据区域.
通过pvcreate创建pv时，会将pv header写入物理磁盘 ， 位置一般是在磁盘的第二个sector（512B/sector），lvm扫描磁盘时 ， 通过pv header来识别PV.
pv header主要信息包括，pv uuid、元数据位置和metadata位置.
pv header实例:
metadata记录的是vg和lv的配置信息，以ASCII码的方式写入metadata区域linuxpv命令详解；vg和lv的每次配置变更 ， 都会以追加的方式写入metadata区域 ， 并打上时间戳，该区域写满后，新的变更记录会覆盖最早的一次记录. 进行vgscan时 ， 猜测应该是通过读取最新一次的配置记录，进行激活.
vg配置信息，主要是包含的pv信息.
lv配置信息，主要是lv的起始位置和PE大小.
实例：
pvcreate /dev/vdb1
pvcreate /dev/vdb2
pvcreate /dev/vdb3
vgcreate /dev/vdb1 /dev/vdb2 /dev/vdb3
vgcreate wan /dev/vdb1 /dev/vdb2 /dev/vdb3
lvcreate -L 300M -n lv01 wan
将PV的前2048个sector通过dd拷贝出来，用cat查看如下.
假设我们有一块磁盘 /dev/sdb1 作为应用数据盘使用 ， 以此为例创建lvm分区
先创建物理卷PV，命令：pvcreate/dev/sdb1
创建卷组VG,卷组命名为kylin，命令：vgcreatekylin/dev/sdb1
在VG中创建逻辑分区LV，命令：lvcreate -L 30G -n test kylin
创建逻辑分区后，进行格式化 ， 然后便可以挂载使用.
mkfs.ext4/dev/kylin/test
mount/dev/kylin/test/data
假设我们在上述基础上，又获得一块磁盘/dev/sdc1进行扩容 ， 将磁盘容量增加到LV分区/dev/kylin/test中 ， 具体操作如下.
先创建物理卷PV，命令：pvcreate/dev/sdc1
将/dev/sdc1添加进VG kylin，命令：vgextend kylin /dev/sdc1
增加LV分区容量 ， 命令：lvextend -L30G /dev/kylin/test
lvm卷组配置备份
lvm的配置信息默认在/etc/lvm/backup、/etc/lvm/archive/两个目录存在备份，当lvm元数据损坏，lvm卷组读取异常时 ， 可通过备份文件进行恢复.
/etc/lvm/backup:保留了当前配置的备份
/etc/lvm/archive/：保留了每次配置更新前的备份
实例演示
逻辑卷/dev/wan/lv01
在/dev/wan/lv01上创建文件系统
挂载并创建文件
覆盖/dev/vdb1、/dev/vdb2的lvm元数据，并重启系统，vg已不能识别
通过pvcreate命令修复pv header 和metadata数据.
激活逻辑卷
挂载/dev/wan/lv01成功 ， 说明成功修复
Linux里面pv和vg区别是什么？来自顶级大咖的解答：
逻辑卷管理(Logic Volume Manager)，简称LVM，是动态磁盘分区管理技术，目前已经很少使用了，如果是学习，大可不必浪费时间掌握了 。
1.PV（Physical Volume），物理卷，即物理磁盘分区 。
2.VG（Volume Group），卷组，是所有物理卷PV组成的集合 。
3.LV（Logic Volume），逻辑卷，是从卷组VG中划分出来的存放数据的磁盘空间 。
【Linux命令】磁盘管理（逻辑卷与物理卷） Linux和Windows都采用了MBR的磁盘管理方法，也就是先对一个硬盘进行分区，在对这个一般光盘进行格式化的方法；他们的区别是： Linux系统，是先进行磁盘分区，如果需要使用该分区，将其挂载到对应目录即可；而Windows则是自动将所有分区挂载好 传统的磁盘管理的缺点：不方便进行分区扩充、容易导致文件系统崩溃、不适用于作为生产环境的服务器、拷贝分区的时候要求强制卸载磁盘分区，分区转移时耗费的时间长；
LVM磁盘管理技术 是Linux环境下对磁盘管理的一种技术，是通过一个建立在硬盘和分区之上的逻辑层来提高磁盘分区的灵活性
物理卷（PV）：就是真正的物理硬盘或物理分区
卷组（VG）：是将多个物理硬盘整合到一起形成的逻辑卷组；也可以视作一块逻辑硬盘
逻辑卷（LV）：卷组是一块逻辑硬盘 ， 逻辑硬盘必须分区之后才能使用；逻辑卷可以视作是卷组的逻辑分区
物理扩展（PE）：物理扩展是用来保存数据的最小单元
系统首先把物理硬盘合并为卷组；再通过卷组分区；将卷组（逻辑硬盘）分成逻辑分区（逻辑卷）进行使用；
把物理硬盘分成分区，也可以使用一整块的物理硬盘；把物理硬盘分区建立为物理卷（PV）也可以把整块物理硬盘都建立为物理卷；把刚刚划分的物理卷合为卷组（VG）卷组就已经可以动态的调整大小了，最后把卷组划分成逻辑卷，其中逻辑卷也是可以随时划分大小的
pvcreate命令在系统中一般用于创建物理卷；
语法结构
在使用这个命令的时候不要对存放Linux系统的盘符进行进行使用；我们在创建物理卷的时候都是对逻辑分区进行创建的；扩展分区（Extend）不能进行创建物理卷
pvdisplay 命令用于查看当前的分区情况
语法格式以及常用参数：
查看我们刚刚创建的物理卷
pvremove命令常用于删除对应的物理卷
语法结构：
删除我们刚刚创建的物理卷
vgcreate 命令的作用是将一个或多个物理卷整合成一个卷组；在创建卷组之前我们需要保证系统中有足够的除系统存放卷本身的物理卷（使用pvscan查看）需要注意的是，存放Linux的系统物理卷不能被划分到自定义卷组中、 常用参数：-s：设定PE（最小物理存储单元）的大小、-l：最大逻辑卷数量、-p：允许存在的最大物理卷数量
语法结构：
将我们刚刚创建物理卷添加到卷组之中
vgdisplay 这个命令可以用来查看我们创建的卷组； 常见的参数 -s 卷组信息以短格式输出 ；vgdisplay可以查看对应卷组的简短信息，所以相对于pvdisplay用处又大了那么一点
语法格式：
查看刚刚创建的卷组和某一个卷组的信息
同样：vgscan 命令也可以查看当前卷组使用情况的简短信息
vgremove 命令的作用是删除指定的卷组
语法结构：
删除我们刚刚创建的卷组
注意：当删除含有逻辑卷的卷组的时候系统会提示是否删除对应卷组和对应逻辑卷 ， 只有在两个都输入：y之后系统才会删除对应的卷组
lvcreate 命令作用是在一个指定的卷组中创建一块逻辑卷，前提是要求有指定的卷组； 常用参数：-L：规定创建的逻辑卷大?。ㄖ苯有创笮【涂梢裕?l：通过PE划分逻辑卷的大?。ê竺娼拥氖质荘E的个数）
语法结构：
在指定的卷组里创建逻辑卷
lvdisplay 命令可用于查看逻辑卷的详细信息，也可以用来查看指定逻辑卷的详细信息 参数：-m：查看对应逻辑卷的挂载信息
语法结构：
检查指定的逻辑卷，并查看指定逻辑卷的挂载信息：
管理逻辑卷大小的常用命令是lvextend 命令和 lvreduce 命令分别表示逻辑卷大小的扩充和减少，其中lvextend命令表示逻辑卷大小扩充，常用参数 -L（指的是扩充的具体大?。?l（指的是扩充的LE块数量）；lvextend命令表示逻辑卷大小的减小，常用参数-L（指的是减小的具体大?。?l（指的是减小的LE块数量）
语法结构：
对我们指定的两个逻辑卷分别进行容量的增加和减少，并挂载对应的逻辑卷
【linuxpv命令详解 linux的pipe指令】关于linuxpv命令详解和linux的pipe指令的介绍到此就结束了，不知道你从中找到你需要的信息了吗 ？如果你还想了解更多这方面的信息，记得收藏关注本站 。

    推荐阅读


    上一篇：转行新媒体运营前景如何，新媒体运营职业出路

    下一篇：如何查看ftp服务器的日志？ ftp服务器怎么查看日志