从内部谷歌网站到bigquery的ETL

问题描述 投票:0回答:1

我正在内部 Google 网站上工作,以托管我公司的所有产品、项目和客户相关内容,以便销售和支持团队能够访问。 - 数据根据所有客户的不同区域进行托管 - 每个客户都有自己的子页面。 - 所有页面均基于一个模板。我们谈论的是 1500-3000 个这样的页面。 - 页面上的某些数据是通过 html 嵌入功能呈现的,我在其中定义了常量来填充 html 表。 - 这些表中的数据将根据未来的迭代不断变化。例如,当客户的 spoc 详细信息发生变化时,团队成员将在网站页面中更新相同的信息。

我找不到可行的方法来实现的是:

- Export the data from site pages to google bigquery (ETL Pipeline)

需要从iframe中提取的示例代码:

<body>
    <script>
        // Define values for heading1 section in the constant
        const heading1 = {
            clientName: "<clientName>",             //values
            clientType: "<clientType>",
            goLiveDate: "<goLiveDate>",
            product: "<product>",
        };

        // Define values for heading2 section
        const heading2 = [
            "<value1>", 
            "<value2>", 
            "<value3>", 
        ];
    </script>

我找到了多个关于将 bigquery 的分析数据集成到网站的论坛、博客和视频教程,但反之则不然,这让我来这里寻求帮助。

如果有这方面的建议那就太好了

[google-bigquery] [google-sites]

尝试使用应用脚本在工作表中导出并创建 ETL,但导出到工作表有其自身的一系列问题。

google-bigquery google-sites
1个回答
0
投票

页面本身的内容没有直接的 API 或内置导出功能,尤其是在 HTML 嵌入小工具中呈现时。

不要直接嵌入 HTML 表格,而是将数据存储在 Google 表格中。使用 Apps 脚本将此数据动态拉入您的 Google 协作平台页面。将数据以 JSON 形式嵌入页面上的标签内。然后,您可以使用 Apps 脚本 Web 应用来抓取您的网站页面、解析 JSON,并将其发送到 BigQuery。

© www.soinside.com 2019 - 2024. All rights reserved.