为了账号安全,请及时绑定邮箱和手机立即绑定

使用logstash同步mysql数据库信息到ElasticSearch

标签:
MySQL

本文介绍如何使用logstash同步mysql数据库信息到ElasticSearch.

1.准备工作

1.1 安装JDK

网上文章比较多,可以参考:https://www.dalaoyang.cn/article/16

1.2 安装Logstash

我使用了5.x版本和6.x版本,可以参考:https://www.dalaoyang.cn/article/80

7.x版本未尝试!!!

1.3 安装ruby

安装过程可以参考:https://blog.csdn.net/qq_26440803/article/details/82717244,已经非常详细了。

1.4 安装gem

安装

yum install gem

gem源修改

gem sources --add https://gems.ruby-china.com/ --remove https://rubygems.org/

1.5 修改logstash中的Gemfile和Gemfile.jruby-1.9.lock文件

修改上图中Gemfile文件红框位置为

source "https://gems.ruby-china.com/"

修改上图中Gemfile.jruby-1.9.lock文件(其他版本logstash可能不叫这个名字,但是名字类似)红框位置为

remote: https://gems.ruby-china.com/

1.6 安装bundler

安装

gem install bundler

1.7 安装logstash-input-jdbc插件

安装

bin/logstash-plugin  install logstash-input-jdbc

1.8 准备mysql-connector-java-x.x.x.jar

需要准备一个mysql-connector-java-x.x.x.jar对应版本的jar,这里使用的是mysql-connector-java-5.1.6.jar。

2.配置logstash

创建mysql-es.conf配置文件,名称可以自定,这里数据表以我博客友情链接表为例,内容如下:

input {
  jdbc {
    # 驱动包位置
    jdbc_driver_library => "/usr/local/logstash/logstash-5.6.16/mysql-connector-java-5.1.6.jar"
    # 驱动
    jdbc_driver_class => "com.mysql.jdbc.Driver"
    # 数据库地址
    jdbc_connection_string => "jdbc:mysql://ip:3306/dalaoyang"
    # 数据库连接用户名
    jdbc_user => "root"
    # 数据库连接用户密码
    jdbc_password => "password"
    # 执行sql语句文件位置
    # statement_filepath => "filename.sql"
    # 执行sql
    statement => "SELECT * from link_info"
    # 是否分页
    jdbc_paging_enabled => "true"
    # 分页数量
    jdbc_page_size => "50000"
    type => "jdbc"
    tracking_column => "update_date"
    use_column_value => false
    # 执行任务时间间隔,各字段含义(由左至右)分、时、天、月、年,全部为*默认含义为每分钟都更新
    schedule => "* * * * *"
  }
}
 
 
output {
  elasticsearch {
        hosts => "ip:端口"
        index => "test-mysql"
        # 数据库中的id
        document_id => "%{link_id}"
  }
}

3.启动logstash

执行命令启动

bin/logstash  -f mysql-es.conf

启动后可以看到如图所示

4.查看ElasticSearch

在ElasticSearch-head中可以看到对应mysql中的数据,如图

5.总结

总的来说过程还是很简单的,没有遇到太大的问题,这只是mysql同步es的一种方式,还有很多方式可以使用。

点击查看更多内容
1人点赞

若觉得本文不错,就分享一下吧!

评论

作者其他优质文章

正在加载中
全栈工程师
手记
粉丝
1.6万
获赞与收藏
1139

关注作者,订阅最新文章

阅读免费教程

感谢您的支持,我会继续努力的~
扫码打赏,你说多少就多少
赞赏金额会直接到老师账户
支付方式
打开微信扫一扫,即可进行扫码打赏哦
今天注册有机会得

100积分直接送

付费专栏免费学

大额优惠券免费领

立即参与 放弃机会
意见反馈 帮助中心 APP下载
官方微信

举报

0/150
提交
取消