轻量级日志系统Loki安装轻量级日志系统Loki安装

一、简介 Loki是受Prometheus启发由Grafana Labs团队开源的水平可扩展，高度可用的多租户日志聚合系统。开发语言: Google Go。它的设计具有很高的成本效益，并且易于操作。使用标签来作为索引，而不是对全文进行检索，也就是说，你通过这些标签既可以查询日志的内容也可以查询到监控的数据签，极大地降低了日志索引的存储。系统架构十分简单，由以下3个部分组成：

Loki 是主服务器，负责存储日志和处理查询。
promtail 是代理，负责收集日志并将其发送给 loki 。
Grafana 用于 UI 展示。

只要在应用程序服务器上安装promtail来收集日志然后发送给Loki存储，就可以在Grafana UI界面通过添加Loki为数据源进行日志查询（如果Loki服务器性能不够，可以部署多个Loki进行存储及查询）。作为一个日志系统不关只有查询分析日志的能力，还能对日志进行监控和报警
二、系统架构

文章图片

promtail收集并将日志发送给loki的 Distributor 组件
Distributor会对接收到的日志流进行正确性校验，并将验证后的日志分批并行发送到Ingester
Ingester 接受日志流并构建数据块，压缩后存放到所连接的存储后端
Querier 收到HTTP查询请求，并将请求发送至Ingester 用以获取内存数据，Ingester 收到请求后返回符合条件的数据；
如果 Ingester 没有返回数据，Querier 会从后端存储加载数据并遍历去重执行查询，通过HTTP返回查询结果

三、与 ELK 比较

ELK虽然功能丰富，但规模复杂，资源占用高，操作苦难，很多功能往往用不上，有点杀鸡用牛刀的感觉。
不对日志进行全文索引。通过存储压缩非结构化日志和仅索引元数据，Loki 操作起来会更简单，更省成本。
通过使用与 Prometheus 相同的标签记录流对日志进行索引和分组，这使得日志的扩展和操作效率更高。
安装部署简单快速，且受 Grafana 原生支持。

四、安装示例 ? 1）下载安装包（loki、promtail、grafana官网）：

curl -O -L "https://github.com/grafana/loki/releases/download/v1.5.0/loki-linux-amd64.zip" curl -O -L "https://github.com/grafana/loki/releases/download/v1.5.0/promtail-linux-amd64.zip" wget https://dl.grafana.com/oss/release/grafana-6.7.4-1.x86_64.rpm

? 2）自定义配置文件（loki.yaml和promtail.yaml），由自己创建：
loki.yaml：

# https://github.com/grafana/loki/blob/v1.5.0/docs/configuration/README.md（官方各项配置信息链接） auth_enabled: falseserver: http_listen_port: 3100ingester: lifecycler: address: 127.0.0.1 ring: kvstore: store: inmemory replication_factor: 1 final_sleep: 0s chunk_idle_period: 5m chunk_retain_period: 30sschema_config: configs: - from: 2020-07-09 store: boltdb object_store: filesystem schema: v9 index: prefix: index_ period: 168hstorage_config: #标签索引存储地址 boltdb: directory: /home/iocshare/loki/index #块文件存储地址 filesystem: directory: /home/iocshare/loki/chunkslimits_config: enforce_metric_name: false reject_old_samples: true reject_old_samples_max_age: 168h

promtail.yaml：

# https://github.com/grafana/loki/blob/v1.5.0/docs/clients/promtail/configuration.md （官方各项配置信息链接） # Promtail服务配置 server: http_listen_port: 9080 grpc_listen_port: 0# 记录读取日志的位置信息文件,Promtail重新启动时需要它 positions: filename: /tmp/positions.ymal# Loki的api服务的地址 clients: - url: http://127.0.0.1:3100/loki/api/v1/pushscrape_configs: # CMS日志收集并打标签 - job_name: CMS static_configs: - targets: - localhost labels: job: cms-45 host: localhost __path__: /home/ccodrunner/Platform/log/cms2/cms2.log # UMG日志收集并打标签 - job_name: UMG static_configs: - targets: - localhost labels: job: UMG-log host: localhost __path__: /home/umg/ATS4_setup/ChannelSoft/ATS4/runlog/UMG*.log

? 3）Grafana安装：

#安装依赖 yum install initscripts fontconfig yum install freetype yum install urw-fonts#安装 rpm -ivh grafana-6.3.2-1.x86_64.rpm

配置文件路径位于/etc/grafana/grafana.ini 和 /usr/share/grafana/conf/defaults.ini
(不要改变defaults.ini的默认值！如果要使用nginx代理访问grafana，修改grafana配置(grafana.ini)，需要去掉行前的"; ")

root_url = %(protocol)s://%(domain)s/grafana/

server { listen 80; root /usr/share/nginx/www; index index.html index.htm; location /grafana/ { proxy_pass http://localhost:3000/; } }

? 4）启动服务(先启loki)：

nohup ./loki-linux-amd64 -config.file=/home/ccodrunner/loki/loki.yaml &nohup ./promtail-linux-amd64 -config.file=/home/ccodrunner/loki/promtail.yaml &systemctl start grafana-server.service

五、使用示例 1）浏览器登陆地址：http://127.0.0.1:3000 访问Grafana，首次登陆默认用户名和密码都是 admin，登录后会提示修改密码。
2）进入Data Sources添加数据源，选择Loki，URL为loki的地址: http://127.0.0.1:3100 ，Name自己定义