将数据从 GCP 传输到 Azure SQL

Question

我有一个巨大的数据集，我希望将数据从大查询表传输到 Azure SQL。

我设计了一个java代码来从大查询中获取数据并将其保存在SQL中，但我面临内存不足的异常。

有没有办法可以有效地将数据集从大查询传输到 Azure SQL？

Answer 1

您可以使用 ADF 复制活动 将数据从大查询传输到 Azure SQL 数据库。在 ADF 中创建 Big Query 链接服务，相关详细信息如下所示：

使用接收器的相关凭据创建Azure SQL 数据库链接服务。使用相关数据创建复制活动的源和接收器数据集。欲了解更多信息，您可以参考以下文档：

• https://learn.microsoft.com/en-us/azure/data-factory/connector-google-bigquery?tabs=data-factory

• Azure 数据工厂：将数据从 Google Bigquery 移动到 Azure Blob