一、前言

ES在创建好索引后，mapping的properties属性类型是不能更改的，只能添加。如果说需要修改字段就需要重新建立索引然后把旧数据导到新索引。

二、Reindex

5.X版本后新增_reindex API 。Reindex可以直接在Elasticsearch集群里面对数据进行重建。并且支持跨集群间的数据迁移。

三、实战

1、原索引

比如我现在有这么一个索引:topic，mapping信息如下：

{"settings": {"number_of_shards": 3,"number_of_replicas": 2},"mappings": {"properties": {"update_time": {"type": "date","format": "yyyy-MM-dd HH:mm:ss || yyyy-MM-dd'T'HH:mm:ss.SSS || yyyy-MM-dd || epoch_millis"},"create_time": {"type": "date","format": "yyyy-MM-dd HH:mm:ss || yyyy-MM-dd'T'HH:mm:ss.SSS || yyyy-MM-dd || epoch_millis"},"user_id": {"type": "long"},"is_del": {"type": "boolean"},"location": {"type": "geo_point","ignore_malformed": "true"},"id": {"type": "keyword"},"title": {"type": "keyword"},"content": {"term_vector": "with_positions_offsets","search_analyzer": "ik_smart","type": "text","analyzer": "ik_max_word"},"status": {"type": "short"}}}
}

里面有12条数据，我发现我的userId的类型错了，应该是字符串类型的。我想改一下。

2、创建新的索引

创建新的索引为：topic-new,mapping如下：

PUT http://172.16.1.236:9201/topic-new
{"settings": {"number_of_shards": 3,"number_of_replicas": 0,"refresh_interval": -1},"mappings": {"properties": {"update_time": {"type": "date","format": "yyyy-MM-dd HH:mm:ss || yyyy-MM-dd'T'HH:mm:ss.SSS || yyyy-MM-dd || epoch_millis"},"create_time": {"type": "date","format": "yyyy-MM-dd HH:mm:ss || yyyy-MM-dd'T'HH:mm:ss.SSS || yyyy-MM-dd || epoch_millis"},"user_id": {"type": "keyword"},"is_del": {"type": "boolean"},"location": {"type": "geo_point","ignore_malformed": "true"},"id": {"type": "keyword"},"title": {"type": "keyword"},"content": {"term_vector": "with_positions_offsets","search_analyzer": "ik_smart","type": "text","analyzer": "ik_max_word"},"status": {"type": "short"}}}
}

在上面我修改了userId的字段为keyword类型
并修改了number_of_replicas和refresh_interval。
设置number_of_replicas为0防止我们迁移文档的同时又发送到副本节点，影响性能
设置refresh_interval为-1是限制其刷新。默认是1秒
当我们数据迁移完成再把上面两个值进行修改即可

3、开始迁移

在新索引都更新好了，就可以迁移了

POST http://172.16.1.236:9201/_reindex
{"source": {"index": "topic"},"dest": {"index": "topic-new"}
}// 返回
{"took": 1335,"timed_out": false,"total": 12,"updated": 0,"created": 12,"deleted": 0,"batches": 1,"version_conflicts": 0,"noops": 0,"retries": {"bulk": 0,"search": 0},"throttled_millis": 0,"requests_per_second": -1.0,"throttled_until_millis": 0,"failures": []
}

这时候去看数据，是看不到数据的，因为还要刷新才行。

更新配置

PUT http://172.16.1.236:9201/topic-new/_settings
{"refresh_interval": "1s","number_of_replicas": 1
}

更新副本数和刷新时间，自此数据迁移就完成了，因为之前的索引不用，但是接口都是指向之前的索引，我们就在新索引添加别名即可。

添加别名之前先删除旧索引

DELETE http://172.16.1.236:9201/topic

添加别名

POST http://172.16.1.236:9201/_aliases
{"actions": [{"add": {"index": "topic-new", "alias": "topic"}}]}

获取别名

GET http://172.16.1.236:9201/topic/_alias

移除别名

POST http://172.16.1.236:9201/_aliases
{"actions": [{"remove": {"index": "indexName", "alias": "indexAliasName"}}]}

4、跨集群数据迁移

从其他的远程集群 reindex 数据。

在上面是在相同的集群中进行数据迁移的，如果是不同集群呢？
也是可以的，首先需要设置白名单。（如果是A集群 --> B集群，就需要在B中的elasticsearch.yml 设置A地址为白名单）

设置白名单

在目标集群的elasticsearch.yml配置文件，设置远程集群的白名单，添加如下配置

# reindex.remote.whitelist: A的IP:端口，例如：
reindex.remote.whitelist: 172.16.1.236:9200

reindex

和同集群数据迁移基本一样，就是多了一个设置白名单而已。
设置好索引、number_of_replicas: 0、refresh_interval: -1
在remote中设置远程集群的地址与账号密码（如果配置了的话）。
也可以添加query属性，只查询符号条件的。

POST http://172.16.1.236:9201/_reindex
{"source": {"index": "topic","remote": {"host": "http://172.16.1.236:9200","username": "username","password": "password"},"query": {"match_all": {}}},"dest": {"index": "topic-new"}
}

完成之后记得重新配置number_of_replicas、refresh_interval。

ElasticSearch:Reindex数据迁移使用相关推荐

【elasticsearch】ES数据库重建索引 -- Reindex(数据迁移)
1.应用背景: 1.当你的数据量过大,而你的索引最初创建的分片数量不足,导致数据入库较慢的情况,此时需要扩大分片的数量,此时可以尝试使用Reindex. 2.当数据的mapping需要修改,但是大量的 ...
ES数据库重建索引——Reindex(数据迁移)
一.应用背景 ES在创建好索引后,mapping的properties属性类型是不能更改的,只能添加.如果说需要修改字段就需要重新建立索引然后把旧数据导到新索引. 1.当你的数据量过大,而你的索 ...
springboot 实现elasticsearch索引数据迁移
一.前言在生产系统中,经常可能面临的一个状况就是,随着实际业务发生变更,现有的数据模型可能需要调整,而且到了必须调整不可的时候,那就只能硬着头皮做了: 数据模型的调整,说的大一点,可能是某一个业务模 ...
elasticsearch数据迁移
reindex 官方文档:https://www.elastic.co/guide/en/elasticsearch/reference/6.4/docs-reindex.html _reindex ...
Elasticsearch跨集群数据迁移方案+代码操作
主流的ES迁移有三套方案 1.logstash数据同步 2.ES dump 3.ES snapshot迁移 1.logstash数据同步 ./logstash -f config_file 1. 指定 ...
kafka mysql 迁移_一种Kafka与Elasticsearch数据库数据的互相迁移方法与流程
本发明属于数据库迁移领域,具体地讲涉及一种kafka与elasticsearch数据库数据的互相迁移方法. 背景技术: 实现数据共享,可以使更多的人更充分地使用已有数据资源,减少资料收集.数据采集等重 ...
Elasticsearch 数据迁移方案
常见的业务上云,自建的ES集群迁移上云ES,则需要迁移数据.如果业务可以停服或者可以暂停写操作(冷数据迁移) 迁移方案 COS 快照,即 Cloud Object Storage logstash e ...
ElasticSearch03_Mapping字段映射、常用类型、数据迁移、ik分词器、自定义分词器
文章目录 ①. Mapping字段映射概述 ②. 常用类型如下 - text.keyword ③. 映射中对时间类型详解 ④. ES的keyword的属性ignore_above ⑤. 映射的查看.创 ...
商城项目18_esMapping字段映射、常用类型、数据迁移、ik分词器、自定义分词器
文章目录 ①. Mapping字段映射概述 ②. 常用类型如下 - text.keyword ③. 映射中对时间类型详解 ④. ES的keyword的属性ignore_above ⑤. 映射的查看.创 ...

ElasticSearch:Reindex数据迁移使用