我如何在数据实验室中使用BigQuery的数据集

Question

我在BigQuery中有一些数据集，我想知道是否有一种方法可以在Data Lab中使用相同的数据集？由于数据集很大，因此我无法下载它并将其重新加载到Data Lab中。

非常感谢。

Answer 1

BigQuery Python客户端库支持查询存储在BigQuery中的数据。要从客户端库加载命令，请将以下代码粘贴到笔记本的第一个单元格中：

%load_ext google.cloud.bigquery

%load_ext是许多Jupyter内置魔术命令之一。

BigQuery客户端库提供了%%bigquery单元，该单元运行SQL查询并将结果作为Pandas DataFrame返回。

您可以从公共数据集或项目中的数据集查询数据：

%%bigquery 

SELECT *  

FROM `MY_PROJECT.MY_DATASET.MY_TABLE`  

LIMIT 50 

我能够成功地从数据集中获取数据而没有任何问题。

您可以遵循此tutorial。希望对您有所帮助。