BigQuery非常慢的CSV上传

Question

对于CSV上传，BigQuery突然将2019-02-26 16:00 UTC放慢了约10倍，以通过API替换现有表。

什么会导致上传时间突然上升？曾经花了30分钟，现在花了6个小时。

Answer 1

既然你的问题很普遍，那么让我给你一些如何继续的指导。 您可以在结果附近的webUI中找到执行计划，也可以从左上角的“作业历史记录”中找到执行计划，请参阅下面的图片，了解如何打开查询的执行计划。

重要笔记：

1. 您会看到显示执行生命周期的4个颜色阶段，如果等待阶段是彩色的而不是灰色，则意味着您正在等待资源
2. 一个阶段的输出是第二阶段的输入，所以如果你的输出很大，这可能意味着下一步工作很难完成，围绕这个的几个最佳实践可以根据具体问题来描述

3. 您还可以扩展该步骤并查看更多有趣的细节，例如：随机播放，广播，排序等，它们可以帮助您获得有关引擎盖下发生的更多信息

4. 这是BigQuery URL，其中包含有关执行计划的更多详细信息（请查看Job.get API以通过API获取执行计划）
5. 这是BigQuery Limit的信息