为了账号安全,请及时绑定邮箱和手机立即绑定

【新品首发】 一文搞懂ES中的线程池

标签:
Go 大数据

正式环境中我们一般在只会在一台机器上部署一个ES节点的实例。

在ES中每个es节点内部多有很多个thread pool,不同的thread pool都分担不同的任务,比如有负责查询的,有负责写入的,还有负责执行段合并的,等等。

下面我们就一起来详细了解下ES中的线程池:

  1. ES中使用线程池的目的是什么?

    ES中使用线程池的目的主要是起到缓冲和提高执行效率的作用,需要注意的是thread pool是有大小限制的,主要受限于操作系统的CPU核数。如果瞬时请求量很大,导致thread pool被打满。怎么处理这种情况呢?在ES中,会为每个thread pool绑定一个队列,这个队列本质上是通过java的SDK申请的一种数据结构,保存在内存中。当thread pool打满之后,后续的请求就会先到这个队列中等待。这样不至于放弃请求响应失败。

  2. ES中线程池类型有哪些?

    (1)generic thread pool

    用于通用操作(例如,后台节点发现)它的线程池类型是动态缩放的

    (2)search thread pool

    用于count/search/suggest 操作,线程池类型是固定的,默认为cpu core数量 * 3 / 2 + 1,queue大小是1000

    (3)write thread pool

    用于单个文档的index/delete/update以及bulk请求,线程池类型是固定的,默认为cpu core数量;queue大小是10000。对于大文档我们需要减小这个值,如果大量文本被缓冲到处理队列,会消耗大量堆内存,影响ES集群的正常运行。

    (4)get thread pool

    用于get 操作,即通过文档id来获取文档信息,线程池类型是固定的,默认为cpu core数量,queue大小是1000

    (5)refresh thread pool

    用于refresh操作,线程池类型是动态缩放的,获取的是5分钟内10和cpu core数量/2 两者中的最小值;

    (6)force merge 操作,线程池类型是固定的,默认为1,queue大小没有限制

    (7)flush thread pool

    用于 flush 和 translog fsync 操作,线程池类型是动态缩放的,获取的是5分钟内10和cpu core数量/2 两者中的最小值。

    (8)system_read  thread pool

    用于系统索引的读取,一般是指以“.”开头的索引,比如.security.线程池类型是固定的,默认为5和cpu core数量除以2 这两者中的最小值

    (9)system_read  thread pool

    用于系统索引的写入,线程池类型是固定的,默认为5和cpu core数量除以2 这两者中的最小值

    (10) management

    用于集群管理,线程池类型是动态缩放的,默认最大大小为5

    还有一些比如watcher,system_critical_read,system_critical_write,fetch_shard_store,snapshot等,由于常用用这里就不逐一介绍了。

  3. 如何设置线程池大小和队列大小?

    需要在elasticsearch.yml配置文件中增加下面的配置,比如:

  4. thread_pool: 
       write: 
           size: 30
           queue_size: 1000

    对于动态类型的线程池设置方式如下:


  5. thread_pool: 
       warmer:
             core: 1
              max: 8
              keep_alive: 2m

    种线程池数量是可变的,根据负载来变化,最小是cpu core数量,最大是其公式定义,keep_alive参数可以控制其线程空闲多长时间被释放



  6. 手动设置cpu core数量



    什么情况下需要手动设置CPU 核数呢?


    (1)如果在一台机器上运行了多个es节点,但是可能只想要让每个es节点使用部分cpu core,而不是物理机上的所有cpu core,就可以手动设置。比如一台物理机,上面的cpu core是16个,运行了两个es节点,此时就可以手动设置processors是8,就是让每个es节点仅仅使用8个核


    ( 2)默认cpu core的数量最大限制为32个,所以如果我们如果物理机超过了32个cpu core,那么可以手动设置。比如说你的物理机的cpu core是64个,但是此时es会去使用的cpu core可能也就32个,最大限制,此时就是要手动设置processors是64。


    (3)有时候可能会捕获到错误的cpu core数量,此时需要手动设置


    怎么设置?

在elasticsearch.yml配置文件中设置

processors: 2



Elasticsearch 用起来简单,但想要做好还是有很高的技术门槛的。如果你需要用 Go 语言构建搜索服务,并完成海量数据的优化方案,缺乏经验就会有诸多问题暴露,难免走弯路。


如果你使用ES遇到性能问题的,或者缺少高性能搜索服务实际经验的,那么强烈推荐你学习刚刚上新的课程——《海量数据高并发场景,构建Go+ES8企业级搜索微服务》

https://img3.sycdn.imooc.com/62a7fa22000188dc17920764.jpg


本课程通过对基础技能到实战项目的深度解读,带你夯实 ES+Go 的底层技能,积累实战经验,一举跃升经验丰富的 Go 语言开发者。


Elasticsearch 在众多领域被广泛应用,国内外一线互联网公司也多有涉猎

https://img4.sycdn.imooc.com/62a7fb050001b8c210180339.jpg


本课程,将从底层架构到实战演练,掌握多种实用解决方案,获得【升职加薪】硬技能!https://img3.sycdn.imooc.com/62a7fb9c0001f57612080594.jpg

实战企业级电商搜索,挑战不同业务场景,具备独立应对复杂问题的能力

https://img4.sycdn.imooc.com/62a7fbc900017a9012270552.jpg

学完这门课程后能应对日常开发中大部分搜索问题,特别是一些性能问题,基本上都能在课程中找到解决方案,对于搜索类项目的技术深度会有明显的提升。所以如果你感兴趣的话,赶紧点击链接了解详情吧~!

请点击➡️《海量数据高并发场景,构建Go+ES8企业级搜索微服务》


https://img2.sycdn.imooc.com/62a7fc840001e0d318000600.jpg


点击查看更多内容
5人点赞

若觉得本文不错,就分享一下吧!

评论

作者其他优质文章

正在加载中
全栈工程师
手记
粉丝
51
获赞与收藏
26

关注作者,订阅最新文章

阅读免费教程

感谢您的支持,我会继续努力的~
扫码打赏,你说多少就多少
赞赏金额会直接到老师账户
支付方式
打开微信扫一扫,即可进行扫码打赏哦
今天注册有机会得

100积分直接送

付费专栏免费学

大额优惠券免费领

立即参与 放弃机会
意见反馈 帮助中心 APP下载
官方微信

举报

0/150
提交
取消