休言女子非英物,夜夜龙泉壁上鸣。这篇文章主要讲述Linux的日志文件分析相关的知识,希望能为你提供帮助。
Linux的日志文件分析
壹、日志文件
1、日志的功能
- 用于记录系统、程序运行中发生的各种事件
- 通过阅读日志,有助于诊断和解决系统故障
- 内核及系统日志
- 由系统服务rsyslog统一进行管理,日志格式基本相似
- 主配置文件
/etc/rsyslog.conf
- 用户日志
- 记录系统用户登录及退出系统的相关信息
- 程序日志
- 由各种应用程序独立管理的日志文件,记录格式不统一
- 默认位于:
/var/log
目录下
内核及公共消息日志 | 介绍 |
---|---|
/var/log/messages |
记录Linux内核消息及各种应用程序的公共日志信息,包括启动、IO错误、网络错误、程序故障等。对于未使用独立日志文件的应用程序或服务,一般都可以从该日志文件中获得相关的事件记录信息 |
计划任务日志 | 介绍 |
---|---|
/var/log/cron |
记录crond计划任务产生的事件信息 |
系统引导日志 | 介绍 |
---|---|
/var/log/dmesg |
记录Linux系统在引导过程中的各种事件信息 |
邮件系统日志 | 介绍 |
---|---|
/var/log/maillog |
记录进入或发出系统的电子邮件活动 |
用户登录日志 | 介绍 |
---|---|
/var/log/secure |
记录用户认证相关的安全事件信息 |
/var/log/lastlog |
记录每个用户最近的登录事件。二进制格式 |
/var/log/wtmp |
记录每个用户登录、注销及系统启动和停机事件。二进制格式 |
/var/log/btmp |
记录失败的、错误的登录尝试及验证事件。二进制格式 |
由系统服务 rsyslog 统一管理
- 软件包:
rsyslog-7.4.7-16.el7.x86_64
- 主要程序:
/sbin/rsyslogd
- 配置文件:
/etc/rsyslog.conf
/var/log
下设备字段说明
设备字段 | 介绍 |
---|---|
auth | 用户认证时产生的日志 |
authpriv | ssh、ftp等登录信息的验证信息 |
daemon | 一些守护进程产生的日志 |
ftp | FTP产生的日志 |
lpr | 打印相关活动 |
mark | rsyslog服务内部的信息,时间标识 |
news | 网络新闻传输协议(nntp) 产生的消息 |
syslog | 系统日志 |
uucp | unix-to-unix Copy两个unix之间的相关通信 |
console | 针对系统控制台的消息 |
cron | 系统执行定时任务产生的日志 |
kern | 系统内核日志 |
local 0~local 7 | 自定义程序使用 |
邮件日志 | |
user | 用户进程 |
mail.info/var/1og/maillog :比指定级别更高的日志级别,包括指定级别自身,保存到/var/log/mai1llog中
mail.=info /var/log/maillog :明确指定日志级别为info,保存至/var/1og/maillog
mail.!info /var/1og/maillog :除了指定的日志级别(info)所有日志级别信息,保存至/var/log/maillog
*.info/var/log/maillog :所有facility的info级别,保存至/var/log/maillog
mail.*/var/1og/maillog : mail的所有日志级别信息,都保存至/var/log/maillog
mail.notice;
news.info/var/1og/maillog : mail的notice以上记得日志级别和news的info以上的级别保存至/var/1og/maillog
mail,news.crit-/var/1og/maillog : mail和news的crit以上的日志级别保存/var/log/maillog中:“-”代表异步模式
文章图片
5、日志消息的级别
级号 | 消息 | 级别 | 说明 |
---|---|---|---|
0 | EMERG | 紧急 | 会导致主机系统不可用的情况 |
1 | ALERT | 警告 | 必须马上采取措施解决的问题 |
2 | CRIT | 严重 | 比较严重的情况 |
3 | ERR | 错误 | 运行出现错误 |
4 | WARNING | 提醒 | 可能会影响系统功能的事件 |
5 | NOTICE | 注意 | 不会影响系统但值得注意 |
6 | INFO | 信息 | 一般信息 |
7 | DEBUG | 调试 | 程序或系统调试信息等 |
公共日志
/var/log/messages
文件的记录格式时间标签(时间戳):消息发出的日期和时间。
主机名:生成消息的计算机的名称。
子系统名称:发出消息的应用程序的名称。
消息字段:消息的具体内容。
文章图片
贰、程序日志分析 用户日志分析
保存了用户登录、退出系统等相关信息
文件位置 | 介绍 |
---|---|
/var/log/lastlog | 最近的用户登录事件 |
/var/log/wtmp | 用户登录、注销及系统开、关机事件 |
/var/run/utmp | 当前登录的每个用户的详细信息 |
/varlog/secure | 与用户验证相关的安全性事件 |
- users、who、 W. last, lastb
- last 命令用于查询成功登录到系统的用户记录
- lastb 命令用于查询登录失败的用户记录
文章图片
由相应的应用程序独立进行管理
- Web服务:
/var/log/httpd/
- access_ log #记录客户访问事件
- error_ log#记录错误事件
- 代理服务:
/var/log/squid/
- access.log、cache.log
- 文本查看、grep过滤检索、Webmin管理套件中查看
- awk、sed等文本过滤、格式化编辑工具
- Webalizer、Awstats等专用日志分析工具
- 命令/脚本+crontab
- rsyslog
- ELK/EFK
控制日志访问权限
- 日志中可能会包含各类敏感信息,如账户、口令等
- 将服务器的日志文件发到统一的日志文件服务器
- 便于日志信息的统一收集、 整理和分析
- 杜绝日志信息的意外丢失、恶意篡改或删除
access_log #记录客户访问事件
error_log#记录错误事件
肆、配置日志服务器收集日志rsyslog是一个C/S架构,可以通过套接字来进行监听记录工作,可以基于TCP和UDP工作,默认的监听端口是514,只需要在MODULES打开即可。
配置rsylog的c/s架构设置发送客户端为:192.168.80.11
设置接收服务器为:192.168.80.6
关闭服务端和客户端防火墙、selinux(一定要全部输入)setenforce命令可以修改selinux的运行模式,但只能让selinux在两种模式之间切换
【Linux的日志文件分析】
1(强制模式enforcing)
0(宽容模式permissive)
setenforce 0
systemctl stop firewalld
systemctl disable firewalld
文章图片
修改客户端配置文件并且启动服务
vim /etc/rsyslog.conf
文章图片
RULES下添加下列内容
$template myFormat, "%timestamp% %hostname% %syslogseverity-text% %syslogtag% %msg%\\n"
$ActionFileDefaultTemplate myFormat
*.info;
mail.none;
authpriv.none;
cron.none@@192.168.80.6:514
文章图片
具体解释:
字段 | 介绍 |
---|---|
#%timestamp% | 时间戳 |
#%fromhost-ip% | 接收的信息来自于哪个节点的IP |
#%hostname% | 主机名 |
#%syslogseverity-text% | 日志等级 |
#%sys1ogtag% | 服务进程 |
#%msg% | 日志内容 |
systemctl restart rsyslog #重启服务并且开启服务
文章图片
文章图片
修改服务端配置文件,并启动服务
文章图片
添加以下内容:
$AllowedSender tcp, 192.168.80.0/24#允许192.168.80.0网段内的主机以tcp协议来传输
$template Remote,"/data/log/%fromhost-ip%/%fromhost-ip%_%$YEAR%-%$MONTH%-%$DAY%.log"
#定义模板,接受日志文件路径,区分了不同主机的日志
:fromhost-ip, !isequal, "127.0.0.1" ?Remote#过滤掉 server 本机的日志
文章图片
在服务端重启前先创建/data/log目录,以接收大量日志消息,配置路径应当与该路径一致
文章图片
安装树状结构类型图命令包
文章图片
文章图片
此时我们控制客户端发送消息" hello" ," 你好”,并且安装软件包
文章图片
查看服务器接收情况
文章图片
文章图片
伍、journalctl 日志管理工具
- 日志管理工具journalctl是CentOS7上专有的日志管理工具,该工具是从message这个文件里读取信息。
- Systemd统一管理所有Unit的启动日志。带来的好处就是,可以只用journalctl一个命令,查看所有日志(内核日志和应用日志)。
- 日志的配置文件是
/etc/ systemd/ journald. conf
journalctl
journalctl -r #-r表示倒序,从尾部看(推荐)
文章图片
查看内核日志(不显示应用日志)
journalctl -k
查看系统本次启动的日志
journalctl -b [-0]
查看上一次启动的日志(需更改设置,如上次系统崩溃,需要查看日志时,就要看上一次的启动日志)
journalctl -b -1
显示尾部指定行数的日志
查看的是/var/1og/messages的日志,但是格式上有所调整,如主机名格式不一样而已
journalctl -n 20 [-f]
查看某个服务的日志
journalctl -u nginx.service [-f]
查看指定进程的日志
journalctl _PID=1
查看指定用户的日志
journalctl _UID=0 --since today
journalctl -xe
#-x 是目录(catalog)的意思,在报错的信息下会,附加解决问题的网址
#-e pager-end从末尾开始看
推荐阅读
- 手机app管理系统软件开发多少钱呢(怎么开发)
- 京东方柔性OLED屏幕再下一城,OPPO旗舰盘一波
- centos6系统配置本地yum源
- 如何让WordPress识别我新创建的页面模板()
- 如何在Divi中创建超级菜单()
- 没有插件,如何在管理页面的WordPress中自定义404页面()
- 如何自定义WordPress list_users函数()
- 如何在最近发布的WordPress中添加缩略图
- 如何在WordPress中检查缩略图()