本篇目录：
ES深度分页与批量操作
对于向前翻页，ES中没有相应API，但是根据官方说法(https：//github.com/elastic/elasticsearch/issues/29449)，ES中的向前翻页问题可以通过翻转排序方式来实现即： Scroll和 search_after 原理基本相同，他们都采用了游标的方式来进行深分页。
这个报错是从es的日志文件中查出来的，大致意思是：尝试创建更多的scroll对象失败了，scroll对象总数量应该控制在500以内。可修改search.max_open_scroll_context的值来改变500这个阈值。
查询。先获取查询结果的rows，再用rows除以你的页面大小pageSize得到的结果就是最大的页数，最后一页就是最大页数。ES的fromsize（浅分页）：如果需要搜索分页，可以通过fromsize组合来进行。
而search_after在下次搜索时，需要携带该数据。最终完成了滚动分页操作。
获取es中的数据做分析，默认查询返回结果有条件限制。分页显示有两种办法： from to & scroll es查询全部结果 CSDN scroll 不用于用户实时查询，用于批量数据查询。 1m代表失效时间 理解：scroll类似游标。
你必须得从每个 shard 都查 1000 条数据过来，然后根据 你的需求进行排序、筛选等等操作，最后再次分页，拿到里面第 100 页的数据。你翻页的时 候，翻的越深，每个 shard 返回的数据就越多，而且协调节点处理的时间越长，非常坑爹。
ES同步数据使用切面进行实时更新
1、以前公司ES使用是直接定时同步，对数据实时性要求不是很高。当前公司使用sass平台要求实时同步数据，这样才能实时搜索到。
2、es节点挂了恢复后数据同步问题的解决办法如下：启动挂掉的节点：将挂掉的节点重新启动并加入到集群中。自动分配分片：当挂掉的节点重新加入到集群中后，Elasticsearch会自动分配分片，将数据均匀地分布在各个节点上。
3、实时数据同步方面，主要针对于埋点数据和数据库日志数据，在数据流入的同时，会进行相应的实时数据清洗、去重、统离线落库、分发，将数据进行统一整合，下游使用数据只要订阅相应的数据即可使用实时数据。
4、对于实时性要求不高的可以采用定时任务监控数据表变化然后调用ES接口实现数据更新。业务应用中通过发送消息异步更新数据。通过DataX同步工具定时将修改的数据同步到ES库中。上述是ElasticSearch使用的简单描述。
5、分布式搜索引擎：把大量的索引数据拆散成多块，每台机器放一部分，然 后利用多台机器对分散之后的数据进行搜索，所有操作全部是分布在多台机器上进行，形成了 完整的分布式的架构。
6、Elasticsearch SQL可以让用户能够使用SQL进行交互查询Elasticsearch中索引数据。该功能在Elasticsearch 3中作为alpha版本引入，目前在Elasticsearch 7和0中也能够生产使用。
ES近实时搜索原理
1、（1）删除一个ES文档不会立即从磁盘上移除，它只是被标记成已删除。因为段是不可变的，所以文档既不能从旧的段中移除，旧的段也不能更新以反映文档最新的版本。
2、分布式搜索引擎：把大量的索引数据拆散成多块，每台机器放一部分，然 后利用多台机器对分散之后的数据进行搜索，所有操作全部是分布在多台机器上进行，形成了 完整的分布式的架构。
3、所以操作是很快的，这就是ES被称为近实时搜索的原因。refresh默认执行的间隔是1秒，可以使用 refreshAPI 进行手动操作，但一般不建议这么做。还可以通过合理设置 refresh_interval 在近实时搜索和索引速度间做权衡。
4、query string 后边的参数原来越多，搜索条件越来越复杂，不能满足需求。DSL：Domain Specified Language，特定领域的语言 es特有的搜索语言，可在请求体中携带搜索条件，功能强大。
5、才能将segment打开供search使用，这样的话，从一个document写入，到它可以被搜索，可能会超过1分钟！！这就不是近实时的搜索了！！主要瓶颈在于fsync实际发生磁盘IO写数据进磁盘，是很耗时的。
ElasticSearch-工作流程
查询阶段包含以下四个步骤：以上就是ElasticSearch的search的详细流程，下面会对每一步进行进一步的说明。
主分片遵循以下基本流程：ES Flush & Lucene Commit Elasticsearch 使用主备模型。主备份模型的一个优点是，主分片和其所有副本分片存有相同的数据。因此，一个同步副本就足以满足读请求。
同样地，Elasticsearch还提供了Split API，用于将索引拆分到具有更多主分片的新索引。
在ES中对索引文档进行更新
1、ES 提供了update API，使我们可以针对某个id的文档，进行局部更新。我们可以使用painless脚本或者直接在update中设置doc字段的参数的形式进行。考虑以下文档。
2、返回状态码：ESClient在执行更新操作后，会返回一个响应对象。可以检查该响应对象中的状态码来确定更新操作是否成功。通常情况下，HTTP状态码200表示成功，而状态码404表示未找到要更新的文档。
3、这里我们发现和上面的请求有哪些不同，我们发现下面图片的 URL 的末尾多了一个_update请求命令.这种更新其实也不是在原文档进行就地更新。es无论何时进行更新他都会删除旧文档，索引一个新文档来立刻替换它。
es写入数据的工作原理是什么?
倒排索引被写入磁盘后是不可变的，ES解决不变性和更新索引的方式是使用多个索引，利用新增的索引来反映修改，在查询时从旧的到新的依次查询，最后来一个结果合并。
本节主要深入一些原理型的知识，包括document路由原理，写一致性，读取以及增删改等请求的原理 （1）document路由到shard上是什么意思？一个index的数据会被分为多个shard中。所以说一个document，只能存在于一个shard中。
shard=hash(routing)%number_of_primary_shards；一个索引有多个分片组成，多个分片数据组成了所有数据。当数据写入时，路由选择写入到那个分片，优先写入到主分片，然后再写入到副本分片。
到此，以上就是小编对于es批量更新数据saveAll报错一个或多个映射不到的问题就介绍到这了，希望介绍的几点解答对大家有用，有任何问题和不懂的，欢迎各位老师在评论区讨论，给我留言。
微信扫一扫打赏
