我有从网页下载的不同数据,并另存为.csv文件在我的本地目录中。我想将这些数据推送到我在Kusto Explorer上创建的表中,理想情况下,我希望该过程安排为每天自动进行,因为该网站上的数据每天都会更新。
例如:
这里有3个.csv文件:
1.csv
2.csv
3.csv
这里我在Kusto上创建了3个表,分别存储每个csv数据:
Table_1
Table_2
Table_3
问题是:是否有可能自动执行和计划将数据从本地CSV推送/加载到Kusto?数据推送/加载类型目前为Replace
,但在其中可能需要为Append
未来。
我建议流程(https://preview.flow.microsoft.com/en-us/)检查是否已设置任何类似的模板。但是,我找不到任何工具,而且对这些工具还是陌生的,因此我需要知道此事的人的帮助。非常感谢。如果您需要任何进一步的信息,请告诉我。
如果您想控制时间表:
您可以使用任何摄取客户端库来自动执行此操作:https://docs.microsoft.com/en-us/azure/kusto/api/
或者,如果您更喜欢简单地调用现成的实用程序,则还有LightIngest和Kusto Ingestion Tools (KIT)
一种替代方法是:
创建后将生成的CSV文件上传到云存储中。
为其上传到其中的存储容器设置数据连接,以便将上传到其中的任何文件自动提取到您的群集中:https://docs.microsoft.com/en-us/azure/data-explorer/ingest-data-event-grid