使用管道日期索引名称

问题描述

我是刚开始制定适当的生命周期策略，因此希望有人可以帮助我。因此，我有一个每周创建的现有索引。这是第三方集成（它们为我提供了传入日志的管道和索引模板）。每周都会以“ name-YYYY-MM-DD”模式创建日志。我正在尝试为这些索引设置生命周期策略，以便它们从hot-> warm-> delete过渡。到目前为止，我已经执行了以下操作：

更新了索引模板以添加策略并设置别名：

{
  "index": {
    "lifecycle": {
      "name": "Cloudflare","rollover_alias": "cloudflare"
    },"mapping": {
      "ignore_malformed": "true"
    },"number_of_shards": "1","number_of_replicas": "1"

在现有索引上，设置别名，其中一个是“写”索引：

POST /_aliases
{
    "actions" : [
        {
            "add" : {
                 "index" : "cloudflare-2020-07-13","alias" : "cloudflare","is_write_index" : true
            }
        }
    ]
}

POST /_aliases
{
    "actions" : [
        {
            "add" : {
                 "index" : "cloudflare-2020-07-06","is_write_index" : false
            }
        }
    ]
}

一旦这样做，我开始看到以下2个错误（每个索引1个）：

ILM error #1

ILM error #2

我不确定为什么较旧的索引上会显示“不是写入索引”错误。也许是因为它仍然很“热”，并试图将其移到另一个阶段而不将其作为写索引？

对于第二个错误，这是因为索引名称对于翻转是错误的吗？

我也不清楚这是否是过渡的好方案。这些索引每周创建一次，我认为可以。我认为通常情况下，您将创建一个索引，然后根据您的条件（大小，年龄等）将策略拆分为较旧的索引。我应该更改此设置还是可以使该策略适用于现有的每周文件？如果您需要它，这是我导入到ElasticSearch中的管道的一部分，我相信它负责索引命名：

{
        "date_index_name" : {
          "field" : "EdgeStartTimestamp","index_name_prefix" : "cloudflare-","date_rounding" : "w","timezone" : "UTC","date_formats" : [
            "uuuu-MM-dd'T'HH:mm:ssX","uuuu-MM-dd'T'HH:mm:ss.SSSX","yyyy-MM-dd'T'HH:mm:ssZ","yyyy-MM-dd'T'HH:mm:ss.SSSZ"
          ]
        }
      },

因此，对我而言，目前更重要的错误是“ number_format_exception”。我认为这是由于我在索引（provided_name）中看到的此设置引起的：

{
  "settings": {
    "index": {
      "lifecycle": {
        "name": "Cloudflare","rollover_alias": "cloudflare"
      },"mapping": {
        "ignore_malformed": "true"
      },"provided_name": "<cloudflare-{2020-07-20||/w{yyyy-MM-dd|UTC}}>","creation_date": "1595203589799","priority": "100","number_of_replicas": "1",

我相信这个“​​ provided_name”是根据我在上面提供的管道的“ date_index_name”建立的。如果这是问题所在，是否有一种方法可以通过摄取管道创建固定的索引名称，而无需根据日期进行更改？我宁愿只创建一个固定索引，然后让生命周期策略处理拆分（即0001、0002等）。

我一直在寻找一种无需“ date_index_name”处理器即可创建固定索引名称的方法，但是我还没有找到一种方法来执行此操作。或者，如果我可以创建一个带有日期的索引名称并添加一个后缀，以使LifeCycle策略管理器（ILM）可以在末尾添加增量编号，那么这也可能会起作用。任何帮助将不胜感激！

解决方法

主要问题是现有索引do not end with a sequence number（即0001、0002等），因此ILM并不真正知道如何进行。

此索引的名称必须与模板的索引模式匹配，并以数字结尾

最好让ILM管理索引的创建和过渡，因为这正是它应该做的。您需要做的就是继续写入相同的cloudflare别名，仅此而已。不需要date_index_name提取处理器。

所以您的index template是正确的。

接下来，您需要bootstrap the initial index

PUT cloudflare-2020-08-11-000001
{
  "aliases": {
    "cloudflare": {
      "is_write_index": true
    }
  }
}

然后您可以reindex your old indices进入ILM管理的索引，也可以apply lifecycle policies进入旧索引。