从gcs到bigquery的数据加载和转换

Question

我想在不使用任何 etl 工具的情况下将一些最大大小为 200gb 的非结构化 json 文件加载到 bigquery，我想要一个简单的解决方案将数据从 gcs 转换为正确的结构化 json 格式，并在加载到 bigquery 之前实现一些其他自定义转换逻辑。挑战在于如何在不使用任何高计算资源和 etl 工具的情况下实现这一目标

Answer 1

这个想法是将200GB分成更小的部分，然后使用Cloud函数，我认为你可以通过部署Cloud Run（它的内存上限为16GB）来分割它或手动打破它。然后，使用 Cloud Function 转换数据，以便将其加载到 BigQuery。