elasticsearch索引数据存储模型资料

本文主要介绍elasticsearch索引数据存储模型资料 方法和在新技术下所面对的“挑战”,方便大家深入理解elasticsearch索引数据存储模型资料 过程。本文也将分享elasticsearch索引数据存储模型资料 所遇到的问题和应对策略。
通过深入本文可以理解代码原理,进行代码文档的下载,也可以查看相应 Demo 部署效果。

1. 配置方式

默认情况下,ES会根据操作系统选择最优的存储方式,可以通过配置elasticsearch.yml或者创建索引期间来指定:

1、index.store.type: niofs

2、索引级别setting设置

PUT /my_index  {     "settings": {       "index.store.type": "niofs"     }  }  

2. 文件存储类型

https://www.elastic.co/guide/en/elasticsearch/reference/current/index-modules-store.html

elasticsearch索引数据存储模型

3. mmapfs和niofs适用场景

3.1 mmpafs、noifs堆外内存使用情况

ES mmapfs模式下,随着查询多次进行,ES的Lucene文件会逐渐缓存到堆外内存,这部分内存是可以被其他进程抢占的

ES从mmapfs切换至niofs,Lucene文件没有缓存到堆外内存,niofs模式下这部分内存不会无限增长

查看方法:

1、查看ES进程PID

2、将内存映射文件/proc/PID/smaps 拷贝到 /opt/ 路径下

3、由于top命令中RES表示进程实际占用的内存大小,实际上,把smaps文件中所有Rss累加便是RES值的大小:grep Rss smaps | awk ‘BEGIN {sum = 0;} {sum += $2} END{print sum}’

4、根据第3步,过滤出Lucene文件占用的内存:

grep -A 5 ‘索引集群名称关键字’ smaps > lucene_smaps

grep Rss lucene_smaps | awk ‘BEGIN {sum = 0;} {sum += $2} END{print sum}’

3.2 ES mmpafs、noifs查询性能对比

经过大量实验对比,得到如下结论

1、ES mmapfs模式下模糊查询和分组聚合查询性能更优,niofs模式下过滤查询和范围查询性能更优。其中,niofs模式下模糊查询性能下降幅度很大

2、在资源紧张时刻,推荐使用niofs模式,查询性能均优于mmapfs

注意:本文归作者所有,未经作者允许,不得转载
elasticsearch索引数据存储模型资料部分资料来自网络,侵权毕设源码联系删除

区块链毕设网(www.qklbishe.com)全网最靠谱的原创区块链毕设代做网站
部分资料来自网络,侵权联系删除!
资源收费仅为搬运整理打赏费用,用户自愿支付 !
qklbishe.com区块链毕设代做网专注|以太坊fabric-计算机|java|毕业设计|代做平台 » elasticsearch索引数据存储模型资料

提供最优质的资源集合

立即查看 了解详情