elasticsearch索引数据存储模型资料
本文主要介绍elasticsearch索引数据存储模型资料 方法和在新技术下所面对的“挑战”,方便大家深入理解elasticsearch索引数据存储模型资料 过程。本文也将分享elasticsearch索引数据存储模型资料 所遇到的问题和应对策略。
通过深入本文可以理解代码原理,进行代码文档的下载,也可以查看相应 Demo 部署效果。
1. 配置方式
默认情况下,ES会根据操作系统选择最优的存储方式,可以通过配置elasticsearch.yml或者创建索引期间来指定:
1、index.store.type: niofs
2、索引级别setting设置
PUT /my_index { "settings": { "index.store.type": "niofs" } }
2. 文件存储类型
https://www.elastic.co/guide/en/elasticsearch/reference/current/index-modules-store.html
3. mmapfs和niofs适用场景
3.1 mmpafs、noifs堆外内存使用情况
ES mmapfs模式下,随着查询多次进行,ES的Lucene文件会逐渐缓存到堆外内存,这部分内存是可以被其他进程抢占的
ES从mmapfs切换至niofs,Lucene文件没有缓存到堆外内存,niofs模式下这部分内存不会无限增长
查看方法:
1、查看ES进程PID
2、将内存映射文件/proc/PID/smaps 拷贝到 /opt/ 路径下
3、由于top命令中RES表示进程实际占用的内存大小,实际上,把smaps文件中所有Rss累加便是RES值的大小:grep Rss smaps | awk ‘BEGIN {sum = 0;} {sum += $2} END{print sum}’
4、根据第3步,过滤出Lucene文件占用的内存:
grep -A 5 ‘索引集群名称关键字’ smaps > lucene_smaps
grep Rss lucene_smaps | awk ‘BEGIN {sum = 0;} {sum += $2} END{print sum}’
3.2 ES mmpafs、noifs查询性能对比
经过大量实验对比,得到如下结论
1、ES mmapfs模式下模糊查询和分组聚合查询性能更优,niofs模式下过滤查询和范围查询性能更优。其中,niofs模式下模糊查询性能下降幅度很大
2、在资源紧张时刻,推荐使用niofs模式,查询性能均优于mmapfs
注意:本文归作者所有,未经作者允许,不得转载
elasticsearch索引数据存储模型资料部分资料来自网络,侵权毕设源码联系删除
qklbishe.com区块链毕设代做网专注|以太坊fabric-计算机|java|毕业设计|代做平台 » elasticsearch索引数据存储模型资料