Hive to GCP BigQuery Sync

问题描述 投票:0回答:1

我们需要定期(每小时/每天/任何)将数据从Hive表(Hadoop)移动到GCP(Google Cloud Platform)BigQuery。有多个表,数据量巨大。如果可以在这种情况下使用云数据流(CDF),请告诉我吗?任何替代品?

提前致谢!

此致,库马尔

google-cloud-platform google-bigquery google-cloud-dataflow google-cloud-dataproc
1个回答
0
投票

根据您所拥有的时间尺度,有多种解决方案,但其中任何一个或全部将涉及使用gsutil将数据从HDFS(到本地文件系统)复制到GCS。或者,您也可以使用MySQL备份开发解决方案并将其还原到GCP上

© www.soinside.com 2019 - 2024. All rights reserved.