使用 bq 命令将 csv 从 GCS 导入 BigQuery，文件较小，速度较慢

Question

我使用的命令如下：

bq load --skip_leading_rows=1 --source_format=CSV --preserve_ascii_control_characters=true --allow_quoted_newlines=true dataset.test_middle  $gcspath

奇怪的是，上传 50GB 的 csv 需要 20 秒，上传 3GB 的 csv 需要 200 秒。呃，有谁知道这是为什么以及如何加快速度？

谢谢！！

Answer 1

如果您的带宽较低，您的物理能力将会受到限制。

建议在发送之前对文件进行 gzip 压缩。文本文件具有高压缩率（高达 100 倍），您可以将 gzip 文件直接提取到 BigQuery 中，而无需解压它们。