我们需要定期(每小时/每天/任何)将数据从Hive表(Hadoop)移动到GCP(Google Cloud Platform)BigQuery。有多个表,数据量巨大。如果可以在这种情况下使用云数据流(CDF),请告诉我吗?任何替代品?
提前致谢!
此致,库马尔
根据您所拥有的时间尺度,有多种解决方案,但其中任何一个或全部将涉及使用gsutil将数据从HDFS(到本地文件系统)复制到GCS。或者,您也可以使用MySQL备份开发解决方案并将其还原到GCP上