google-bigquery 相关问题

Google BigQuery是一款Google Cloud Platform产品,可使用SQL提供无人值守数据集的无服务器查询。 BigQuery提供多个读写流水线,并支持数据分析,从而改变企业分析数据的方式。

从 BigQuery 到时态表的查询视图,以便存储 API 可以使用

我想使用存储 API 从 bigQuery 的视图中读取大量行。 我正在使用 Java:) Storage API 有一个限制,它不能从视图中消费。 (https://cloud.google.com/bigquery/docs/

回答 1 投票 0

如何使用gcp数据流将apache beam中的数据写入bigquery表?

我正在尝试在 GCP Dataflow 上使用 Apache Beam 运行以下程序。该程序应该读取 CSV 文件,进行一些转换,如求和、最大值和连接。然后写入BQ表。 直到第 4 步我得到了

回答 1 投票 0

如何按数据表单例程对 BigQuery 作业进行分类

我的 BigQuery 中有一个作业表(来自 INFORMATION_SCHEMA 的 JOBS_BY_PROJECT)。我想根据执行这些作业的 DataForm 例程对这些作业进行区分和分类。是否

回答 1 投票 0

BigQuery 中是否可以为 splat 指定别名?

我有一个 BigQuery RECORD user_details,其中保存了他们的详细信息,如地址、电子邮件等。我有几条这样的记录,每条记录下面都有几个字段,它们会随着时间的推移而改变....

回答 1 投票 0

如何用数据库中的递归树结构计算单价

我正在使用一个有两个关键列的数据库: 菜谱:列出所有菜谱和子菜谱, name_article:包含与每个菜谱或子菜谱相关的文章(成分)。 我...

回答 1 投票 0

BigQuery 从 5.7 升级到 8.0 后无法连接到 MySQL Cloud SQL

我在这里遇到了类似的问题 https://www.googlecloudcommunity.com/gc/Data-Analytics/Big-Query-can-t-connect-to-Cloud-SQL/m-p/551813 ,但是那里的建议似乎不起作用。当

回答 1 投票 0

从 gcs 加载数据到 bigquery 时进行重复数据删除

我们有一个管道,它将发送在 cosmos db 上发生的所有更改,并将其作为 .json 文件(存储桶)存储在 gcs 中,从那里我想通过删除重复项加载到 bigquery 中

回答 1 投票 0

使用传输服务命令复制大查询数据集的自动化 shell 脚本

我想编写一个shell脚本,通过传输命令行将源数据集复制到目标数据集。 注意:复制应该发生在数据集级别,因为我们在 bigquery 中有数千个数据集。

回答 2 投票 0

BigQuery 父级和子级的平均值

我正在尝试获取子项目的平均数量。 我有一张如下表 父 ID|儿童 ID |类型 1 | 11 | 11一个 1 | 11 | 11乙 1 | 12 | 12一个 1 | 12 ...

回答 1 投票 0

如何对唯一列值SQL进行排序和限制

如果我在 sql (bigquery googleSQL) 中运行以下查询,它将为我提供当前日期每个国家/地区的销售额列表 选择 日期, 产品, 国家, sum(total_sales) 作为total_sa...

回答 1 投票 0

如何使用DocumentAI提取数据并使用BQML将结果带到BQ?

我在 Document AI 中构建了一个自定义提取器。 部署版本:pretrained-foundation-model-v1.3-2024-08-31 # 创建一个远程模型以在 BigQuery 中注册您的 Doc AI 处理器。 创建或替换

回答 1 投票 0

在 BigQuery 中获取临时表的列

在 BigQuery 中,可以使用列视图 INFORMATION_SCHEMA 获取列列表。此处记录了这一点。不幸的是,这似乎只包含数据集中的表。 我需要得到

回答 1 投票 0

带声明的大查询多语句

我正在尝试合并所有请求(按季度一个请求)。 我想将此请求保存为视图,但我不能,因为日期数组的声明返回第一个结果,所以我有多个语句(我

回答 1 投票 0

GCP - 查询错误:相关子查询 - UDF 中的 BigQuery 限制

我正在尝试在 BigQuery 中创建一个函数,该函数使用我们的一些业务逻辑/计算。但更重要的是,有一张由我们的工作人员定期更新的表格。 该表包含 da...

回答 1 投票 0

如何将权限映射到角色

权限被拒绝。请获得组织级别的 bigquery.jobs.listExecutionMetadata 或 bigquery.jobs.listAll 权限才能访问管理资源图表。 我在尝试时遇到上述错误...

回答 1 投票 0

匹配 2 列,但在 SQL 中循环匹配所有替代项

我的数据如下所示 Col_X Col_Y 一个 乙 乙 c c d d e f 克 t y y r q w n 米 米 k 米 z 我的最终目标簇表应该是这样的: 簇 ABCDE 弗格 纳米克兹 qw 提尔 我的伪数据

回答 1 投票 0

在 BigQuery 中计算总计

我有下表: 时间 销售量 2020年1月1日 30 2020年2月2日 50 2021 年 1 月 1 日 100 2021 年 2 月 2 日 200 我需要减去前一年的最实际年份,例如: 时间 销售差异 202 年 1 月 1 日...

回答 1 投票 0

BigQuery API:从 Google Sheets 创建表

我手动创建了一个电子表格,其中包含一些数据。在 bigquery 控制台中,我可以执行以下操作: 创建或替换外部表 \`PROJECT.DATASET.TABLE\` 选项 ( 格式 = 'GOOGLE_SHEETS', 你...

回答 1 投票 0

容器以非零退出代码 143 退出。被外部信号杀死

我使用以下代码将模型的输出保存为来自 dataproc 集群的 google big 查询中的表: 规则.write \ .format(“bigquery”) \ .option("表","...

回答 1 投票 0

表名称中存在语法错误

我从以下查询中收到语法错误: 选择 * 来自natural-engine-438716-p4.babynames.names_2014 我是 SQL 查询的新手,我不确定如何解析包含的表位置...

回答 1 投票 0

© www.soinside.com 2019 - 2024. All rights reserved.