-
Logstash Filter配置
Grok 基于正则表达式提供了丰富可重用的模式（pattern）
基于此可以将非结构化数做结构化处理
Date 将字符串类型的时间字段转换为时间戳类型，方便后续数据处理
Mutate 进行增删改查字段的相关处理
查看全部 -
Logstash 处理流程
Input
file redis beats kafka
Filter 强于beats
grok 基于正则的将非格式化数据转换为格式化数据的语法
mutate 对结构化后的数据进行增删改查
drop
date
Output
stdout 标准输出
elasticsearch
redis
kafka
查看全部 -
Logstash 简介
Data Shipper 和beats少了lightweight
ETL -> Extract Transform Load
查看全部 -
输出结果续
查看全部 -
Packetbeat 运行
先启动elasticsearch
再运行
sudo ./packetbeat -e -c es.yml -strict.perms=false
去请求 9200 看输出
查看全部 -
Packetbeat 运行
sudo ./packetbeat -e -c es.yml -strict.perms=false
-strict.perms=false 不检查es.yml文件的权限
查看全部 -
Packetbeat解析http协议
查看全部 -
Packetbeat 简介
查看全部 -
head -2 ~/Downloads/nginx_ogs/nginx.log|./ilebeat -e -c nginx.yml
查看全部 -
Filebeat Moidule 简介
查看全部 -
Filebeat + Elasticsearch Ingest Node
查看全部 -
Filebeat Filter 举例
查看全部 -
Filebeat Filter 配置
Input 时处理
Include_lines 达到条件读入这些行
exclude_lines 达到条件不读
exclude_files 文件名符合条件时不读取文件
Output 前处理--Processor
drop_event 满足条件时不输出扔掉
drop_fields 扔掉某个字段
Decode_json_fields 整条数据中符合json的字段做json解析
Include_fields 取某个字段
查看全部 -
Filebeat Output 配置
查看全部 -
Filebeat Input配置
查看全部
举报