elasticsearch 线程与核数资料

本文主要介绍elasticsearch 线程与核数资料 方法和在新技术下所面对的“挑战”,方便大家深入理解elasticsearch 线程与核数资料 过程。本文也将分享elasticsearch 线程与核数资料 所遇到的问题和应对策略。
通过深入本文可以理解代码原理,进行代码文档的下载,也可以查看相应 Demo 部署效果。

1. 背景

ES中的线程数以及核数主要体现在ES线程池使用上,见

https://www.elastic.co/guide/en/elasticsearch/reference/current/modules-threadpool.html

2. processors

通过 GET /_nodes/os  可以查看各个节点processors分片情况

5.X版本,单个节点 allocated_processors 最多分配32核

elasticsearch 线程与核数

最新的7.X版本已经没有这个限制, available_processors 和 allocated_processors 保持一致为最大可用核数

3. ES中的线程池

以thread_pool.search.size为例:

公式一:thread_pool.search.size = ( 3 * available_processors/2 )+1

公式二:thread_pool.search.queue_size  = 1000

1、只设置processors大小,ES会根据公式一计算出thread_pool.search.size,ES使用的CPU核数最大为min(系统最大核数,thread_pool.search.size)

2、只设置thread_pool.search.size大小,ES使用的CPU核数最大为min(系统最大核数,thread_pool.search.size)

3、同时设置processors、thread_pool.search.size,以公理2 thread_pool.search.size情况为准

4. 线程池和查询性能关系

经过大量实验,thread_pool.search.size从30线程到300线程,查询耗时总体呈先下降后上升趋势

thread_pool.search.size设置为CPU核数的95%的时候性能最优

thread_pool.search.queue_size设置为-1的时候,并发查询性能最优

 

 

注意:本文归作者所有,未经作者允许,不得转载
elasticsearch 线程与核数资料部分资料来自网络,侵权毕设源码联系删除

区块链毕设网(www.qklbishe.com)全网最靠谱的原创区块链毕设代做网站
部分资料来自网络,侵权联系删除!
资源收费仅为搬运整理打赏费用,用户自愿支付 !
qklbishe.com区块链毕设代做网专注|以太坊fabric-计算机|java|毕业设计|代做平台 » elasticsearch 线程与核数资料

提供最优质的资源集合

立即查看 了解详情