google-bigquery 相关问题

Google BigQuery是一款Google Cloud Platform产品,可使用SQL提供无人值守数据集的无服务器查询。 BigQuery提供多个读写流水线,并支持数据分析,从而改变企业分析数据的方式。

网站刷新时 BigQuery 连接器数据透视表数据丢失

[错误] 1我们将数据与 BQ 连接到 google 表格以进行分析。但是,从昨天开始,当我们刷新 gsheet 链接时,数据连接器按预期工作,但从...创建的数据透视表

回答 1 投票 0

我可以防止bigquery中的重复数据吗?

我正在使用 BQ,我创建了一个表并插入了一些数据。我重新插入它并创建了重复项。我确信我错过了一些东西,但是如果数据......

回答 2 投票 0

导入到 Vertex AI Retail 时 BigQuery 中出现时间戳问题

我正在尝试将我的产品数据导入 Vertex AI 的目录中。我尝试遵循此处给出的模式。它说发布时间应该采用时间戳格式(例如 “2014-10-02...

回答 1 投票 0

如何在 BigQuery 中将不同行的数据连接成一行

我想连接不同行中特定列的数据。 数据是这样的: ID 姓名 1 杰克、约翰 2 约翰 3 约翰、朱莉 4 杰克 5 杰克、朱莉 我...

回答 2 投票 0

运行时错误:NotImplementedError [运行'BatchElements(messages)']同时使用to_dataframe运行流式apache beam管道

您好,我仍处于 Apache Beam 的学习阶段,下面是我编写的脚本。它从 pub-sub 读取并写入 BigQuery。但是我收到错误 RuntimeError: NotImplementedError [在运行 '

回答 1 投票 0

此项目尚未启用计费

我昨晚启用了免费试用,但仍然无法创建数据集以将查询保存到表中。有谁知道为什么吗?

回答 6 投票 0

DBT 合并分区修剪

这是我第一次与dbt合作!我已经使用 #db-bigquery 和以下配置成功实现了增量模型,如下所示 {{ 配置( 物化='增量', 别名='

回答 1 投票 0

将多个本地 parquet 文件上传到 bq

我有大约 100 个本地 parquet 文件,必须将它们作为单个表加载到 bigquery。 所有文件都位于一个目录中并且具有相同的架构。 我尝试过以下方法 然后在本地合并...

回答 1 投票 0

BigQuery 中的 IS NULL 函数问题

我正在写一篇新的后续文章,呼应上一篇文章中提出的问题。 目前,我正在使用一个数据集来过滤掉单元格内记录有空白的值。具体...

回答 2 投票 0

使用 Matillion ETL 将 GA4 表从 BigQuery 移动到 Snowflake

我正在尝试使用 Matillion ETL 将两个网站的 GA4 数据从 BigQuery 移动到 Snowflake 表。 BigQuery 表的命名格式为 events_YYYYMMDD。我在 Matillion BigQ 中使用的查询...

回答 1 投票 0

在大查询中以采样率选择一段时间范围内的行数

我有时间戳行,我想在时间间隔 [t1,t2] 上查询,其中 t2-t1 可以是几个小时的跨度。我想计算此范围内的行数,但我希望输出说明行的位置...

回答 1 投票 0

出现错误:AttributeError:'MySchemaClassName'对象在使用 apache_beam to_dataframe 模块时没有属性“..type '”

你好,我正在学习 apache_beam。下面是我编写的脚本的一部分,旨在从 pub/sub 订阅中选取流数据,对其进行转换并将最终结果写入

回答 1 投票 0

将数据从 Google Sheets 获取到 BigQuery

我需要将数据从 Google Sheet 提取到 BigQuery 中。到目前为止,我已经使用 CSV 选项在 BQ 中创建了一个表,并且所有数据都导入得很好。但现在我需要自动更新 BQ 表...

回答 3 投票 0

BigQuery IAM - 我可以只插入吗?

我正在尝试为数据摄取管道配置 IAM 权限。 不幸的是,据我所知,摄取 IAM 密钥将需要表上的 updateData。这将允许截断/更新

回答 1 投票 0

BigQuery:将重复字段与无重复字段连接

给定 BigQuery 表: |编号 |额外字段 |字段1 |字段2 | | --| ----------- | ------ | ------ | | 1 |第 1 行 |一个 | [b,c] | | 2 |第 2 行 | x| [y,z] | | 2 |第3行...

回答 1 投票 0

将 Big 对象转换为原始数据类型?

我刚开始使用 BigQuery 和 NodeJS。 我使用此命令 npm install --save @google-cloud/bigquery 安装了客户端库。然后我设置我的凭据和 API 密钥。然后我做了一个...

回答 2 投票 0

使用 BigQuery DML 时如何更新所有列

我有一个 Bigquery 表,我想定期使用新数据进行更新。 我正在考虑使用另一个表和 UPDATE 查询,但似乎我必须指定我想要更新的所有列。 ...

回答 1 投票 0

如何使用 BigQuery .NET 一次性更新插入列表?

我为 BigQuery 编写了代码。我希望能够通过发送列表来更新插入所有列表元素。为了不因查询成本和过多的请求而被 BigQuery 阻止,我正在尝试这样做

回答 1 投票 0

为 GCP 选择区域或多区域?

我正在考虑我们的 GCP 项目的最佳位置:区域与多区域。 我们公司是一家位于北欧的代理机构,拥有多个客户。我们目前使用 BigQuery、Vertex Noteboo...

回答 1 投票 0

生成 3 列:一名患者受试者、第一个事件的日期、第二个事件的日期

在试验期间与患者一起探访。他们计划在特定情况下进入,访问 ID-安全访问周期 01 天 01...周期 2 天 01.. 等等。我还有一个学习小组助理...

回答 1 投票 0

© www.soinside.com 2019 - 2024. All rights reserved.