-
elasticsearch.yml关键配置
查看全部 -
ES查询语句方案-——packetbeat
查看全部 -
ES查询语句方案-——Logstash
查看全部 -
ES查询语句方案
查看全部 -
ES查询语句分析实战方案
查看全部 -
下载地址:https://www.elastic.co/cn/downloads/logstash
stdin: 标准输入
stdout: 标准输出
运行命令:head -n 2 xxx.log|bin/logstash -f nginx_logstash.conf
这里2表示日志的条数
查看全部 -
Logstash的Filter配置Grok示例
查看全部 -
Logstash-Filter配置
查看全部 -
Logstash的输入和输出配置
查看全部 -
处理流程
input:可以从file 、Redis 、beats、kafka等读取数据
filter :gork(表达式,简单理解为基于正则的,可以将非格式化数据转化成格式化数据的语法)、mutate(可以对结构化的数据的字段进行增删改查)、drop、date
output :可以向stdout 、elasticsearch 、Redis、kafka等中输出
查看全部 -
简介 data shipper (不是轻量级的,会比beats占用更多的资源,但是功能强大)
ETL的概念:Extract 对数据进行提取、Transform 转换、Load 对外的输出
logstash 是一个开源的,服务端的数据处理流,可以同时从多个数据源提取数据、转换数据、最后把数据放到你要存储的地方
查看全部 -
packetbeat
查看全部 -
Packbeat运行命令
查看全部 -
packetbeat.interfaces.device: 指定网卡,lo0:表示是本地网卡localhost,在linux上,你可以指定为any,表示所有的
packetbeat.protocols.http: 表示抓取http协议包
send_request:true 表示记录下http的request内容,默认为false
include_body_for: 设置抓取的格式
output.console:
pretty: true beat的输出配置
查看全部 -
使用Filebeat存储nginx日志:
1.修改filebeat的配置,nginx.yml,修改内容如下:
- input_tyep: stdin output.console: pretty: true
2.使用Filebeat收集nginx日志,命令:
head -n 2 ~/Downloads/nginx_logs/nginx.log|./filebeat -e -c nginx.yml
3.执行后效果
查看全部
举报