从 Google 表格管理大查询表

Question

我有很多表 ETL 使用从谷歌表到大查询的气流，这些表使用写截断方法

我有一个问题。这些表格用于每周的财务报告，其中在一周开始时有中断

我如何管理它，以便将来查看时发送给财务的数据不会改变，而在 google 表格上输入的数据经常改变

Answer 1

需要考虑的一些事情：

• 最明显的：不使用write truncate，而是使用write append方法向现有表添加新数据，而不会覆盖之前的数据。这需要更改您当前的查询和报告。
• 为过去几周的财务报告创建一张新表，每周使用write append方法向这张表中添加数据。这可能比前者更容易，因为您可以在附加最近报告的周时引入“报告周”压头。
• 使用像 Apache Airflow 这样的调度工具来自动化 ETL 过程并将数据从 Google 表格加载到 BigQuery（即避免人工干预和/或错误）
• 设置权限和访问控制以确保只有授权人员才能查看或修改数据——并维护此安全模型以确保数据完整性