在Azure中提取 - >转换 - >处理 - >舞台工具

问题描述 投票:0回答:1

我不使用数据库,所以想在开始之前确认最佳实践。我已经获得了一个项目,我应该采取一些不同的模型化数据文件,处理它们并显示一些标准报告。

它将是批量摄取,可以是每周或每天最多。我们将使用的云是Microsoft Azure。我正在考虑从我的开发经验中获得以下工具。但是会喜欢你们的一些建议:

- >摄取[和阶段] =>写一个休息api,它获取数据并将其存放在Elastic中

- >处理 - > Azure HDInsight ..我没有使用它,但从简短的阅读,这听起来像推荐的选择。

- >分段和报告 - >回到弹性搜索,使用Kibana / Graphana。我使用过这些工具,所以更喜欢它。

我还阅读了一些推荐Azure Data Factory的文章。期待做一些建议。

此致,Gaurav Sharma

azure business-intelligence azure-data-factory azure-data-catalog
1个回答
1
投票

对于摄取,您可以使用Data Factory,它支持使用WebActivity调用rest api。 https://docs.microsoft.com/en-us/azure/data-factory/control-flow-web-activity

对于处理,您是否考虑过将数据存储在Data Lake Store中并使用U-SQL进行转换?我只是提到它,因为你可能已经跳过考虑它了。 https://docs.microsoft.com/en-us/azure/data-lake-analytics/

对于Microsoft提供的Power Bi报告,它可以连接到包含其他API的许多来源。根据项目的要求,它可能对您有用,也可能没用。 https://app.powerbi.com

希望这可以帮助!

© www.soinside.com 2019 - 2024. All rights reserved.