使用 Matillion ETL 将 GA4 表从 BigQuery 移动到 Snowflake

问题描述 投票:0回答:1

我正在尝试使用 Matillion ETL 将两个网站的 GA4 数据从 BigQuery 移动到 Snowflake 表。 BigQuery 表的命名格式为 events_YYYYMMDD。我在 Matillion BigQuery 编排作业中使用的查询如下:

    select * from events_* WHERE _table_suffix = FORMAT_DATE('%Y%m%d', DATE_SUB(CURRENT_DATE(), INTERVAL 2 day));

enter image description here

我必须每天多次运行此作业,因为 GA4 数据在 BigQuery 中可用的时间无法预测。此外,我将拥有多个网站,这些网站的数据在不均匀的时间到达同一个 Bigquery 帐户。我需要将所有这些数据捕获到 Snowflake。

但是多次运行此作业会导致 Snowflake 表中出现重复记录。如何确保仅将唯一记录从 BigQuery 移至 Snowflake?

google-bigquery snowflake-cloud-data-platform matillion
1个回答
0
投票

您使用什么连接方法从 GA4 获取数据?

© www.soinside.com 2019 - 2024. All rights reserved.