google-bigquery 相关问题

Google BigQuery是一款Google Cloud Platform产品,可使用SQL提供无人值守数据集的无服务器查询。 BigQuery提供多个读写流水线,并支持数据分析,从而改变企业分析数据的方式。

递归 CTE 删除重复项

我正在寻找清理特定日期恰好有“重复”行的事件数据。我想根据下一天的上下文删除一天中具有多个状态的行...

回答 1 投票 0

我希望基于 BigQuery SQL 创建自定义指标

需求是监控具有ingest_timestamp列的表customer。 如果过去 24 小时内没有数据到达,我想向用户发送警报。 chatGPT 为我提供了这个

回答 1 投票 0

表的值不会被拉入 BigQuery

我在 BigQuery 数据集中创建了一个表并从我的文件上传它,但是在检查表时我发现值存在差异(参见图像),特别是以下变量,TimeAct,

回答 1 投票 0

将bigquery外部表转换为普通表

嘿,我有一个非常简单的工作流程,我使用谷歌驱动器源将谷歌表格连接到bigquery,查询已创建并正在运行。但现在我想让这个外部表上交...

回答 1 投票 0

基于输入参数且仅使用一个查询的 SQL 查询行为

假设我有一个包含 3 列的 biq 查询表 customer_id、名称和类型。 另外,在我的查询中,where 子句肯定总是有 customer_id 。但在某些情况下,我想获取所有行...

回答 1 投票 0

使用 liquibase 的 bigquery 架构部署因 400 错误请求而失败

尝试使用 Liquibase 部署 bigquery 架构时出现以下错误。 严重 [liquibase.integration] [Simba][BigQueryJDBCDriver](100032) 执行查询作业时出错。消息:语法错误:缺少

回答 1 投票 0

在 BigQuery 中创建多个表

我有一个数据库,正在尝试将其从 SQL Server 迁移到 BigQuery。在这个数据库中,我有 286 个表,我正在尝试找出将它们一次性全部上传的最佳方法。这是吗

回答 1 投票 0

BigQuery Storage Write API C# 如何强制发送/序列化默认值

我正在使用 BigQuery Storage Write API (C# net6)。 BigQuery Storage Write API 使用 grpc/protobuf 协议将数据发送到 BigQuery。 Protobuf(默认情况下)不会序列化/发送默认值(例如 0 表示

回答 2 投票 0

如何修复我的 AWS S3 到 BigQuery 数据传输?

我正在尝试将 csv 数据从 AWS S3 存储桶传输到 BigQuery 中进行分析和查询。我遇到的问题是,存储桶中只有大约一半的数据正在传输。数据中

回答 1 投票 0

Google 定期将 CSV 引入 BigQuery

我想将 Google Drive 与 BigQuery 集成,以便每周自动将新的 CSV 文件加载到数据库中。这些 CSV 文件将具有相同的结构,并且应添加到 BigQuery 中而不需要

回答 1 投票 0

您可以在 BigQuery 中创建临时表作为目标表吗?

在 BigQuery 中,您可以使用 bq 命令行工具从命令行运行查询。但是,大型查询必须有目标表,并且不能直接转储结果。 有没有办法指定...

回答 1 投票 0

包含不同结构的Array_agg

我正在尝试创建一个具有不同结构的数组作为列的值,如下所示 选择 array_agg(distinct struct(field_a, field_b)) as c FROM 表 ... 这可能吗?

回答 2 投票 0

进行 jobs.insert 调用时处理 503 错误

在 Bigquery 的文档中,503 backendError 的故障排除部分指出: 如果您在调用 jobs.insert 时收到此错误,则不清楚作业是否成功。在这种情况下...

回答 1 投票 0

使用具有空字段的数据流进行 Bigquery 流式插入

我们使用预定义的 Dataflow 作业模板将 Bigquery 流式插入与 Dataflow 结合使用。 当我将其与可为空和重复的字段一起使用时,我遇到了一些特殊情况。 例如,wi...

回答 2 投票 0

使用 Go API 时出现 Google BigQuery 权限错误

使用 Google 帐户对 Google BigQuery 进行身份验证后,在使用 BigQuery 控制台时,我可以运行我的查询。这些查询创建一个作业(在弹出窗口中可见)。 但是在执行相同的操作时...

回答 1 投票 0

如何在 BigQuery 中取消透视?

不确定要调用什么函数,但转置是我能想到的最接近的函数。 我在 BigQuery 中有一个表,配置如下: 但我想查询一个配置如下的表...

回答 5 投票 0

错误:标量子查询产生多个元素

我们刚刚开始将查询从旧版迁移到标准 SQL,因此我们现在正在学习如何处理嵌套数据和数组。 基本上我们想要做的是从 ga_sessions 选项卡中检索...

回答 1 投票 0

Apache_beam 写入大查询 json 负载错误

在 Dataflow 中编写一个管道,将流拆分为由数据中的 event_name 和 event_date 动态命名的表。 正在创建表,名称正确,但数据是

回答 1 投票 0

Apoache_beam 写入大查询 json 负载错误

在 Dataflow 中编写一个管道,将流拆分为由数据中的 event_name 和 event_date 动态命名的表。 正在创建表,名称正确,但数据是

回答 1 投票 0

GCP 数据流的 Python 脚本在 GitHub 操作流中失败

当我尝试将数据从 Pub/Sub 写入 BigQuery 时,我遇到了 GitHub 操作工作流程上的 GCP Dataflow 的 python 脚本问题。 它返回与写入 Big Query 相关的错误。 蟒蛇

回答 1 投票 0

© www.soinside.com 2019 - 2024. All rights reserved.