通过 mongo-connector 连接 Mongodb 和 elasticsearch 时丢失文档

问题描述

我正在尝试通过 mongo-connector 3.1.1 将文档从 MongoDB 4.4.5 传输到 Elasticsearch7.12

我开始使用：

sudo mongo-connector -m 127.0.0.1:27017 -t 127.0.0.1:9200 -d elastic2_doc_manager -n Data.myData --continue-on-error --batch-size=1000 --only-dump --batch-size=1000 --no-dump --tz-aware

在日志的开头，可以看到MongoDB中的文档总数为454

当这个过程完成时我得到

在 Elasticsearch 索引中，我只能看到图片中显示的 268

知道这里可能有什么问题吗？

解决方法

此问题与在 Elastivsearch 上达到字段映射的最大数量有关 要解决此问题，请通过

增加对 Elasticsearch 索引的限制

PUT my_data_index/_settings
{
  "index.mapping.total_fields.limit": 20000

}