如何使用Python通过Cloud Dataflow将CSV文件导入Cloud Bigtable？

Question

描述我正在做的最简单的方法基本上是遵循本教程：Import a CSV file into a Cloud Bigtable table，但是在他们启动Dataflow作业的部分中，他们使用Java：

mvn package exec:exec \
    -DCsvImport \
    -Dbigtable.projectID=YOUR_PROJECT_ID \
    -Dbigtable.instanceID=YOUR_INSTANCE_ID \
    -Dbigtable.table="YOUR_TABLE_ID" \
    -DinputFile="YOUR_FILE" \
    -Dheaders="YOUR_HEADERS"

有没有办法在python中执行此特定步骤？我能找到的最接近的是apache_beam.examples.wordcount示例here，但最终我想看到一些代码，我可以使用Python在Dataflow作业中添加一些自定义。

Answer 1

有a connector for writing to Cloud Bigtable，您可以将其用作导入CSV文件的起点。

Answer 2

Google Dataflow没有BigTable的Python连接器。

以下是Java和Python的Apache Beam连接器的链接：

Built-in I/O Transforms

Answer 3

我建议做这样的事情。

DataFrame.to_gbq(destination_table, project_id, chunksize=10000, verbose=True, reauth=False, if_exists='fail', private_key=None)

您可以在下面的链接中找到所有参数和每个参数的说明。

https://pandas.pydata.org/pandas-docs/version/0.21/generated/pandas.DataFrame.to_gbq.html#pandas.DataFrame.to_gbq