使用 filebeat 收集日志

此文章是多年前学习安装 elk 时候的日志, 现在已经有了更好的解决方案, 并且费用也不高, 参考
阿里云 : 日志服务sls_实时日志分析-阿里云

安装

Elastic Stack 使用几个名为 *Beats 的轻量级数据发送器来收集各种来源的数据,并将它们传输到 Logstash 或 Elasticsearch。以下是目前 Elastic 提供的Beats:这里我们

  • Filebeat: 收集并发送日志文件.
  • Metricbeat: 从您的系统和服务中收集指标.
  • Packetbeat: 收集和分析网络数据
  • Winlogbeat: 收集Windows事件日志
  • Auditbeat: 收集Linux 监控框架数据并监视文件完整性
  • Heartbeat: 通过主动探测监控服务的可用性

在本教程中,我们将使用 Filebeat 将本地日志转发到我们的 Elastic Stack。
使用 yum 安装 filebeat:

1
$ sudo yum install filebeat

接下来,配置 Filebeat 以连接到 Elastic Search. 在这里,我们将修改 Filebeat 附带的示例配置文件
打开 Filebeat 配置文件

1
$ sudo vi /etc/filebeat/filebeat.yml

Filebeat 支持多种输出,但通常只将事件直接发送到 Elasticsearch 或 Logstash 以进行其他处理。在本教程中,我们将使用 Elasticsearch 对 Filebeat 收集的数据执行其他处理。Filebeat 需要直接向 Elasticsearc 发送数据,所以让我们启用该输出。为此,请找到 output.elasticsearch 部分并保证此部分不会被 # 注释

1
2
3
4
5
...
output.elasticsearch:
# Array of hosts to connect to.
hosts: ["localhost:9200"]
...

下面我们配置 filebeat 支持 nginx 日志的收集
现在可以使用 Filebeat模块扩展 Filebeat 的功能。在本教程中,您将使用 Nginx模块,该模块收集和分析由 Nginx 生成的访问日志和错误日志。
让我们启用他

1
sudo filebeat modules enable nginx

您可以通过运行以下命令查看启用和禁用模块的列表:

1
sudo filebeat modules list
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
Enabled:
nginx

Disabled:
apache2
auditd
elasticsearch
haproxy
icinga
iis
kafka
kibana
logstash
mongodb
mysql
osquery
postgresql
redis
suricata
system
traefik

接下来我们需要初始化环境, 为日志的解析铺好路

1
$ sudo filebeat setup -e

默认情况下,Filebeat配置为使用syslog和授权日志的默认路径。在本教程中,需要增加配置中的内容为 nginx 的日志路径。你可以在 /etc/filebeat/modules.d/nginx.yml 配置文件中查看模块的参数。

1
vim /etc/filebeat/modules.d/nginx.yml
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
- module: nginx
# Access logs
access:
enabled: true

# Set custom paths for the log files. If left empty,
# Filebeat will choose the paths depending on your OS.
var.paths:
- /webdata/logs/*_access.log

# Error logs
error:
enabled: true

# Set custom paths for the log files. If left empty,
# Filebeat will choose the paths depending on your OS.
var.paths:
- /webdata/logs/*_error.log

配置完成后需要检测下配置文件是否正确

1
$ sudo filebeat test config

如果在这一步启动的话并不会成功,因为 需要 Elasticsearch 支持nginx 的文件解析还需要两个插件, 这里需要安装这两个插件

1
2
$ sudo /usr/share/elasticsearch/bin/elasticsearch-plugin install ingest-user-agent
$ sudo /usr/share/elasticsearch/bin/elasticsearch-plugin install ingest-geoip

下面我们启动 filebeat

1
$ sudo systemctl start filebeat

以下便是运行效果
image.png

filebeat nginx 模块的自定义字段

说明

filebeat 提供了多种 Module 预制模块,简化了各种日志的格式化, 但是默认的字段并不能满足实际需求, 例如我们需要记录额外的 Nginx 字段
例如 请求时间、后端响应时间、主机头等信息
那么在filebeat的nginx module中需要同步定义
Nginx 的模块位置在 /usr/share/filebeat/module/nginx, 下边是目录结构.
目录结构

1
2
3
4
5
6
7
8
9
├── access
│   ├── config
│   │   └── nginx-access.yml
│   ├── ingest
│   │   └── default.json # 默认的解析字段
│   ├── machine_learning
│   │   └── ....json
│   └── manifest.yml
└── module.yml

默认的解析模块
这里我们需要修改的是 patterns 中的数据, 注意这里是经过 json 转义的.

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
{
"description": "Pipeline for parsing Nginx access logs. Requires the geoip and user_agent plugins.",
"processors": [
{
"grok": {
"field": "message",
"patterns": [
"\"?%{IP_LIST:nginx.access.remote_ip_list} - %{DATA:user.name} \\[%{HTTPDATE:nginx.access.time}\\] \"%{GREEDYDATA:nginx.access.info}\" %{NUMBER:http.response.status_code:long} %{NUMBER:http.response.body.bytes:long} \"%{DATA:http.request.referrer}\" \"%{DATA:user_agent.original}\""
],
"pattern_definitions": {
"IP_LIST": "%{IP}(\"?,?\\s*%{IP})*"
},
"ignore_missing": true
}
},
]
}

更改 nginx 日志的格式

之前

1
2
3
log_format  main  '$remote_addr - $remote_user [$time_local] "$request" '
'$status $body_bytes_sent "$http_referer" '
'"$http_user_agent" "$http_x_forwarded_for" ';

之后

1
2
3
4
log_format  main  '$remote_addr - $remote_user [$time_local] "$request" '
'$status $body_bytes_sent "$http_referer" '
'"$http_user_agent" "$http_x_forwarded_for" '
'"$host" $request_time $upstream_response_time';

这里我们增加了三个字段

1
192.168.1.112 - - [25/Apr/2019:18:22:01 +0800] "GET /help/show/20 HTTP/1.1" 200 7474 "http://t.dailian.iliexiang.com/help?cat_id=2" "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_14_4) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/73.0.3683.103 Safari/537.36" "-" "t.dailian.iliexiang.com" 0.063 0.021

更新 Patterns

支持的 Patterns grok-patterns

1
vim /usr/share/filebeat/module/nginx/access/ingest/default.json

之前

1
"\"?%{IP_LIST:nginx.access.remote_ip_list} - %{DATA:user.name} \\[%{HTTPDATE:nginx.access.time}\\] \"%{GREEDYDATA:nginx.access.info}\" %{NUMBER:http.response.status_code:long} %{NUMBER:http.response.body.bytes:long} \"%{DATA:http.request.referrer}\" \"%{DATA:user_agent.original}\""

之后

1
"?%{IP_LIST:nginx.access.remote_ip_list} - %{DATA:user.name} \[%{HTTPDATE:nginx.access.time}\] \"%{GREEDYDATA:nginx.access.info}\" %{NUMBER:http.response.status_code:long} %{NUMBER:http.response.body.bytes:long} "%{DATA:http.request.referrer}" \"%{DATA:user_agent.original}\" \"%{DATA:nginx.access.x_forwarded_for}\" \"%{DATA:nginx.access.host}\" %{NUMBER:nginx.access.request_time:float} %{NUMBER:nginx.access.upstream_response_time:float}

调试工具: 使用 kibana 的Debuger

1
http://192.168.1.21:5601/app/kibana#/dev_tools/grokdebugger?_g=()

这里需要填写自定义的 Patterns , 否则无法识别
Custom Patterns

1
IP_LIST %{IP}(\"?,?\\s*%{IP})*

更新 Fields

编辑字段

1
vim /etc/filebeat/fields.yml

在文件 /etc/filebeat/fields.yml, 找到 nginx 字段, 添加以上的三个字段

1
2
3
4
5
6
7
8
9
10
11
12
- name: host
type: group
description: >
Server hostname.
- name: request_time
type: group
description: >
Url Request Time
- name: upstream_response_time
type: group
description: >
Upstream Response Time.

让新修改的文件生效

先检查配置文件是否正确

1
# filebeat test config
1
# systemctl restart filebeat
1
2
3
4
# 获取所有的 pipeline
GET _ingest/pipeline

DELETE _ingest/pipeline/filebeat-7.0.0-nginx-access-default

模拟请求 pattern

1
2
3
4
5
6
7
8
9
10
POST _ingest/pipeline/filebeat-6.6.1-nginx-access-default/_simulate
{
"docs":[
{
"_source": {
"message": "10.10.10.10 - - [17/Oct/2017:03:48:00 +0200] \"GET /my_page/40 HTTP/1.1\" 200 75793 \"-\" \"Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)\" 0.277"
}
}
]
}

语雀镜像 : 使用 filebeat 收集日志 ,点此 提问

作者

Duoli

发布于

2022-08-19

更新于

2022-10-16

许可协议

评论