Dynamodb 到 starrocks etl

Question

我需要将一组表从 DynamoDB 提取到 StarRocks。有人使用 StarRocks Load 工具来完成此任务吗？如果可以的话，可以分享一下方法吗？

第二个相关问题：有些表非常大（500,000,000 条记录）。这是实时数据。我预计 etl 到 StarRocks 需要 24 小时以上。如果是这样，如何同时ETL开始时存在的数据然后跟踪数据的增量（新记录不是问题，但是在将记录放入记录之前，流中的删除和更新可能会发生在流中）表。）那么，如何处理这个问题呢？

提前致谢！

Answer 1

我对Starrocks一无所知，从未听说过。

但是对于您关于保持同步的问题，DynamoDB 支持两种类型的流

• DynamoDB Streams - 24 小时保留
• Kinesis Data Streams - 最多保留 1 年

因此，您有两个选项可以帮助您在迁移发生时重播源区域的事件。