欢迎关注方志朋的博客,回复”666“获面试宝典

from + size 浅分页

"浅"分页可以理解为简单意义上的分页。它的原理很简单,就是查询前20条数据,然后截断前10条,只返回10-20的数据。这样其实白白浪费了前10条的查询。

GET test_dev/_search
{"query": {"bool": {"filter": [{"term": {"age": 28}}]}},"size": 10,"from": 20,"sort": [{"timestamp": {"order": "desc"},"_id": {"order": "desc"}}]
}

其中,from定义了目标数据的偏移值,size定义当前返回的数目。默认from为0,size为10,即所有的查询默认仅仅返回前10条数据。

在这里有必要了解一下from/size的原理:

因为es是基于分片的,假设有5个分片,from=100,size=10。则会根据排序规则从5个分片中各取回100条数据数据,然后汇总成500条数据后选择最后面的10条数据。

做过测试,越往后的分页,执行的效率越低。总体上会随着from的增加,消耗时间也会增加。而且数据量越大,就越明显!

scroll 深分页

from+size查询在10000-50000条数据(1000到5000页)以内的时候还是可以的,但是如果数据过多的话,就会出现深分页问题。

为了解决上面的问题,elasticsearch提出了一个scroll滚动的方式。

scroll 类似于sql中的cursor,使用scroll,每次只能获取一页的内容,然后会返回一个scroll_id。根据返回的这个scroll_id可以不断地获取下一页的内容,所以scroll并不适用于有跳页的情景。

GET test_dev/_search?scroll=5m
{"query": {"bool": {"filter": [{"term": {"age": 28}}]}},"size": 10,"from": 0,"sort": [{"timestamp": {"order": "desc"},"_id": {"order": "desc"}}]
}
  • scroll=5m表示设置scroll_id保留5分钟可用。

  • 使用scroll必须要将from设置为0。

  • size决定后面每次调用_search搜索返回的数量

然后我们可以通过数据返回的_scroll_id读取下一页内容,每次请求将会读取下10条数据,直到数据读取完毕或者scroll_id保留时间截止:

GET _search/scroll
{"scroll_id": "DnF1ZXJ5VGhlbkZldGNoBQAAAAAAAJZ9Fnk1d......","scroll": "5m"
}

注意:请求的接口不再使用索引名了,而是 _search/scroll,其中GET和POST方法都可以使用。

scroll删除

根据官方文档的说法,scroll的搜索上下文会在scroll的保留时间截止后自动清除,但是我们知道scroll是非常消耗资源的,所以一个建议就是当不需要了scroll数据的时候,尽可能快的把scroll_id显式删除掉。

清除指定的scroll_id

DELETE _search/scroll/DnF1ZXJ5VGhlbkZldGNo.....

清除所有的scroll:

DELETE _search/scroll/_all

search_after 深分页

scroll 的方式,官方的建议不用于实时的请求(一般用于数据导出),因为每一个 scroll_id 不仅会占用大量的资源,而且会生成历史快照,对于数据的变更不会反映到快照上。

search_after 分页的方式是根据上一页的最后一条数据来确定下一页的位置,同时在分页请求的过程中,如果有索引数据的增删改查,这些变更也会实时的反映到游标上。但是需要注意,因为每一页的数据依赖于上一页最后一条数据,所以无法跳页请求。

为了找到每一页最后一条数据,每个文档必须有一个全局唯一值,官方推荐使用 _uid 作为全局唯一值,其实使用业务层的 id 也可以。

GET test_dev/_search
{"query": {"bool": {"filter": [{"term": {"age": 28}}]}},"size": 20,"from": 0,"sort": [{"timestamp": {"order": "desc"},"_id": {"order": "desc"}}]
}
  • 使用search_after必须要设置from=0

  • 这里我使用timestamp和_id作为唯一值排序。

  • 我们在返回的最后一条数据里拿到sort属性的值传入到search_after

使用sort返回的值搜索下一页:

GET test_dev/_search
{"query": {"bool": {"filter": [{"term": {"age": 28}}]}},"size": 10,"from": 0,"search_after": [1541495312521,"d0xH6GYBBtbwbQSP0j1A"],"sort": [{"timestamp": {"order": "desc"},"_id": {"order": "desc"}}]
}

来源:zhexiao.blog.csdn.net/article/

details/83864171

热门内容:

  • 今天面了个阿里秒杀项目组的,见识到了基础天花板!

  • 5 款顶级 Docker GUI 工具!免费又好用

  • Oracle官宣:腾讯 JDK 18 国内第一,贡献度!

  • 警告!别再使用 TIMESTAMP 作为日期字段~

  • 重磅发布:Redis 对象映射框架来了,操作大大简化!

最近面试BAT,整理一份面试资料《Java面试BAT通关手册》,覆盖了Java核心技术、JVM、Java并发、SSM、微服务、数据库、数据结构等等。
获取方式:点“在看”,关注公众号并回复 666 领取,更多内容陆续奉上。

明天见(。・ω・。)ノ♡

Elasticsearch 三种分页方式相关推荐

  1. oracle分页的三种方式,oracle 使用rownum的三种分页方式

    rownum是Oracle数据库中的一个特有关键字,返回的是一个数字代表记录的行号. 基础知识:rownum只能做 获取51到100的数据 三种分页的写法: 1.使用minus,原理就是查询出前100 ...

  2. mybatis 中 Example 的使用 :条件查询、排序、分页(三种分页方式 : RowBounds、PageHelpler 、limit )

    前些天发现了一个巨牛的人工智能学习网站,通俗易懂,风趣幽默,忍不住分享一下给大家.点击跳转到教程. import tk.mybatis.mapper.entity.Example;import com ...

  3. oracle中rownum的三种分页方式

    三种分页的写法: 1.使用minus,原理就是查询出前100行的数据 减去 查询出前50行的数据 1 2 3 select * from DATA_TABLE_SQL where rownum< ...

  4. ElasticSearch三种分页对比

    1.from-size浅分页 from表示初始偏移量,默认为0.size表示单页返回最大文档条数,默认为10.假设我们在有5个主分片的索引中搜索,查询第一页数据,即前10条数据,那么es会从每个分片中 ...

  5. Mybatis的5种分页方式

    <?xml version="1.0" encoding="UTF-8" ?> <!DOCTYPE mapperPUBLIC "-/ ...

  6. sqlserver的四种分页方式

    第一种:ROW_NUMBER() OVER()方式 select * from ( select *, ROW_NUMBER() OVER(Order by ArtistId ) AS RowId f ...

  7. Web框架之Django_07 进阶操作(MTV与MVC、多对多表三种创建方式、前后端传输数据编码格式contentType、ajax、自定义分页器)

    阅读目录 一.MVC与MTV 二.多对多表的创建 三.ajax,前后端传输编码格式contentType 四.批量插入数据与自定义分页器 摘要 MTV与MVC 多对多表三种创建方式 ajax ,前后端 ...

  8. 操作系统课设——编程演示三种管理方式的地址换算过程

    核心内容 编程演示三种管理方式的地址换算过程 分页方式的地址换算 分段方式的地址换算 段页式的地址换算 概括 程序主要有三个功能,分别是 分页方式的地址换算,分段方式的地址换算,段页式的地址换算. S ...

  9. sql server和mysql 分页_基于Sql server数据库的四种分页方式总结

    下面小编就为大家分享一篇基于sqlserver的四种分页方式总结,具有很好的参考价值,希望对大家有所帮助.一起跟随小编过来看看吧. 第一种:ROW_NUMBER() OVER()方式 select * ...

最新文章

  1. acwing算法题--完全背包问题
  2. Yii学习笔记之二(使用gii生成一个简单的样例)
  3. Netty工作笔记0085---TCP粘包拆包内容梳理
  4. vs2015professional过期后登录微软账户仍然不能使用的解决方法
  5. 图像卷积详细解释 常用卷积核解释说明
  6. return可以返回多个值_JDK10的新特性:var泛型和多个接口实现
  7. 2万字硬核剖析网页自定义字体解析(css样式表解析、字体点阵图绘制与本地图像识别等)
  8. MATLAB数字水印技术实现
  9. 不再当码农-Flash AS3.0多个影片剪辑实现同一功能循环问题
  10. 马克·扎克伯格(Mark Zuckerberg)的第一幅作品成交价为30,201美元
  11. 俄罗斯方块c语言程序方案设计,c语言俄罗斯方块游戏程序方案设计书报告.doc
  12. 计算机术语int,整型(计算机语言)_百度百科
  13. fluent使用DPM模型计算出的颗粒沉积(trap)数据(.dpm格式)后处理python实现
  14. 迷宫_随机实验_边做边学深度强化学习:PyTorch程序设计实践(1)
  15. OSChina 愚人节乱弹 —— 开个小电影专栏放一天
  16. 别忘了看,今年中秋月亮“瘦”了!网友扎心了:我还没瘦…
  17. 数学机器人与火星人相遇了
  18. 董卫凤:不服输是成功最好的催化剂
  19. 软妹子之心,智能硬汉子们可懂?
  20. 数字平原cg场景制作流程

热门文章

  1. 阿里合伙人制度对于国内企业的借鉴意义
  2. thymeleaf 国际化
  3. 单词长度 (c语言)
  4. python项目实战:酒店需求分析(hotel demand booking)
  5. oss设置跨域规则之后,但是不生效,解决跨域问题。
  6. nfs-ganesha(用户态NFS)编译、安装和使用
  7. 算法交易之交易成本分析-学习笔记
  8. 医院采用计算机设备功能,医院计算机设备管理制度
  9. PatchmatchNet
  10. bootstrap-table的使用(3)--自定义搜索功能,数据库查询一个时间段内的内容并显示为例