为了账号安全,请及时绑定邮箱和手机立即绑定

logstash jdbc elasticsearch导入数据 效率不高 、启动时间过长

/ 猿问

logstash jdbc elasticsearch导入数据 效率不高 、启动时间过长

无道8 2018-08-09 10:02:37

如图所示
logstash conf文件

https://img.mukewang.com/5b6ba0340001aada10740755.jpg

https://img4.mukewang.com/5b6ba03500010cc409670720.jpg


es部署在一台机器上 内存8g
elasticsearch.yml 配置
    bootstrap.memory_lock: true
jvm.options
   -Xms7g
   -Xmx7g
 
logstash部署在另一台机器上内存10g
    logstash.yml
       pipeline.workers: 32
       pipeline.batch.size: 2000
  jvm.options
        -Xms9g
        -Xmx9g
 
   
   
 
 

实现思路:
   每次读取10万条数据,分页数据5万条,每3分钟启动一个logstash,解决jdbc嵌套子查询效率低下问题 
结果:
    1 读取10万数据,需要3分钟,500万条数据读取需要花费2个多小时,效率低下
 想解决的问题
    1 读取10万条数需要3分钟,缩短时间
    2  每次启动logstash实例需要耗时1分钟,缩短时间


查看完整描述

1 回答

?
大咪

收集数据的工具,可以用filebeat来采集,这样能减少logstash的压力,logstash做的工作只需要正则匹配,处理数据,然后发到es上即可,可以做个测试,看看这样是否有所提升。

查看完整回答
反对 回复 2018-08-14

添加回答

回复

举报

0/150
提交
取消
意见反馈 帮助中心 APP下载
官方微信