如何为csv输入文件安排logstash

Question

我有一个csv文件，它每小时都会更新。我需要将它上传到kibana，我想安排logstash以便它在kibana每小时更新一次。我搜索了很多论坛但我发现了JDBC输入调度但不是csv输入。

Answer 1

您必须编写自己的logstash pipleline配置。基于如何读取输入，输出数据的位置。 Kibana是一种可视化工具。数据通常在ElasticSearch中提取，然后在Kibana仪表板中查看。一旦sstrts up，就会通过logstash读取管道配置。下面给出了一个示例管道配置，它从kafka主题中读取csv数据并推送到ES。

input {

  kafka{
    id => "test_id"
    group_id => "test-consumer-group"
    topics => ["test_metrics"]
    bootstrap_servers => "kafka:9092"
    consumer_threads => 1
    codec => line
  }
}
filter {
  csv {
     separator => ","
     columns => ["timestamp","field1", "field2"]
  }
}
output {
    elasticsearch {
        hosts => [ "elasticsearch:9200" ]
        index => "_my_metrics"
    }
}

Answer 2

请参阅以下链接，通过Logstash和SinceDb将数据从CSV导入Elasticsearch。

https://qbox.io/blog/import-csv-elasticsearch-logstash-sincedb

有关更多CSV过滤器插件配置，请参阅以下链接。

https://www.elastic.co/guide/en/logstash/current/plugins-filters-csv.html#plugins-filters-csv-columns

希望能帮助到你！