Opensearch 包含 [] 的 json 字段名称出现问题

Question

这是进入 oslogstash 的示例对象

"MyObject": {
  "normalField": "asdf",
  "additionalData:long:subObject[0]": "banking",
  "additionalData:long:subObject[1]": "banking"
}

现在的问题是，当您想尝试使用 [0]logstash 对这些字段执行编辑时，Ruby 插件会将其解释为子对象而不是名称的一部分。我尝试过使用 [ 或 [ 进行转义，但仍然具有相同的效果

即从 ruby 脚本中这不起作用

event.remove('additionalData:long:subObject[1]')

我发现一些人有类似的问题，他们在解析到 json 之前做了正则表达式替换，购买我的问题是来自 kafka，它已经在带有“codec => json”的 json 输入中

Answer 1

您可以使用 OpenSearch Ingest Pipeline 和正则表达式，在 JSON 文档建立索引之前将这些括号从其中删除。

变异字符串处理器将使您能够轻松地做到这一点。