使用 Matillion ETL 将 GA4 表从 BigQuery 移动到 Snowflake

Question

我正在尝试使用 Matillion ETL 将两个网站的 GA4 数据从 BigQuery 移动到 Snowflake 表。 BigQuery 表的命名格式为 events_YYYYMMDD。我在 Matillion BigQuery 编排作业中使用的查询如下：

    select * from events_* WHERE _table_suffix = FORMAT_DATE('%Y%m%d', DATE_SUB(CURRENT_DATE(), INTERVAL 2 day));

我必须每天多次运行此作业，因为 GA4 数据在 BigQuery 中可用的时间无法预测。此外，我将拥有多个网站，这些网站的数据在不均匀的时间到达同一个 Bigquery 帐户。我需要将所有这些数据捕获到 Snowflake。

但是多次运行此作业会导致 Snowflake 表中出现重复记录。如何确保仅将唯一记录从 BigQuery 移至 Snowflake？

Answer 1

您使用什么连接方法从 GA4 获取数据？