google-cloud-dataflow 相关问题

Google Cloud Dataflow是一种完全托管的云服务，可用于大规模创建和评估数据处理管道。数据流管道基于Apache Beam编程模型，可以在批处理和流模式下运行。 Cloud Dataflow是Google云端平台的一部分。

读取 apache beam 数据帧中的压缩 json 文件

beam dataframe 看起来支持读取压缩的 json 文件 apache_beam.dataframe.io.read_json 但是，当我尝试通过代码读取文件时：从 apache_beam.dataframe.io 导入

google-cloud-dataflow apache-beam apache-beam-io

回答 0 投票 0

无法在数据流中安装诗歌

运行任何诗歌可执行文件时出现此错误追溯（最近一次通话）：中的文件“/root/.local/bin/poetry”，第 5 行来自 poetry.console.applicat...

python google-cloud-dataflow python-poetry

回答 1 投票 0

将列转换为 Azure Dataflow 中另一列的 JSON 对象

我有以下格式的数据，我正在使用数据流将记录格式化为 JSON 格式，并将其存储到数据的另一列中。输入想要使用 Dataflow 转换为以下格式：输出

azure azure-data-factory google-cloud-dataflow

回答 1 投票 0

如何使用LoggerFactory在数据流Apache Beam应用中获取日志？

我正在 Google DataFlow 上运行 Beam 应用程序，但我无法在数据流中看到信息日志。公开课 Abc { private static final Logger LOG = LoggerFactory.getLogger(Abc.cla...

logging google-cloud-dataflow apache-beam loggerfactory

回答 0 投票 0

将 DataFrame 加载到 BigQuery 表时出错（pyarrow.lib.ArrowTypeError：<class 'str'> 类型的对象无法转换为 int）

我正在尝试将数据从 SQL SERVER 加载到 GCP Bigquery uisng Dataflow。运行管道时出现以下错误：将 DataFrame 加载到 BigQuery 表时出错（pyarrow.lib.ArrowTypeErr ...

python-3.x pandas google-cloud-platform google-bigquery google-cloud-dataflow

回答 0 投票 0

谷歌云数据流错误NoSuchMethodException：没有这样的功能

我正在使用数据流函数将 pubsub 消息以 json 的形式转换为字符串，以提交到具有正确模式的 bigquery 表中。我使用以下 UDF 函数

javascript google-cloud-platform google-cloud-dataflow user-defined-functions nashorn

回答 0 投票 0

在 ssis 中合并两个不同数据源中的信息

我有两个不同的数据源。假设 A 包含有关客户的信息：名称，城市，分区（GUID），一个数据源 B 包含一列 namedivision（GUID）。我的第一个数据源是

merge ssis google-cloud-dataflow

回答 0 投票 0

用于将 csv 文件加载到 bigquery 的 python 脚本

我是数据流初学者，使用这个通用脚本使用数据流将 csv 文件加载到 bigquery。导入 argparse 导入 csv 导入日志将 apache_beam 导入为光束来自 apache_beam.options.

python google-cloud-platform google-cloud-dataflow apache-beam

回答 1 投票 0

选中的combobox项在数据源中被删除了怎么办

使用数据库中的数据源的组合框有问题：用户选择一个值，然后点击提交按钮将数据保存到数据库中。用于填充组合框的列表...

forms google-cloud-dataflow

回答 0 投票 0

跨多个环境的 GCP 数据流作业中异常的内存使用模式

我目前正在处理 4 个数据流作业，每个作业都在 3 个独立的环境中进行复制。在过去的 3 个月中，所有 12 个实例都已成功运行。但是，我观察到...

performance debugging memory-management google-cloud-dataflow apache-beam

回答 0 投票 0

为什么 Apache Beam 似乎在单个 worker 上并行化元素？

我正在使用 Google Cloud Dataflow 运行程序测试一个非常简单的 Apache Beam 管道，该运行程序从 Pub/Sub 读取音频元素，通过 Tensorflow 模型运行元素，并将结果写入 Pub...

google-cloud-dataflow apache-beam

回答 1 投票 0

逆向数据流：不能通过 props 将函数从父级传递给子级

我正在尝试创建一个 pokedex 应用程序。在我的 app.js 中，我使用 useEffect 进行 API 调用，然后使用子组件详细说明每张卡片。我想做的是当用户点击卡片时，应用程序...

javascript reactjs components google-cloud-dataflow react-props

回答 2 投票 0

pubsub 消息何时在 Dataflow 管道中被确认？

这里的医生说 Dataflow runner 的 PubsubIO 实现在消息被第一个融合阶段成功处理后自动确认消息以及该阶段的副作用

google-cloud-dataflow apache-beam

回答 0 投票 0

MYSQL 的 DataProc 作业 Bigquery 需要很长时间

我有以下代码将数据从 Bigquery 复制到 MYSQL 这里是我的 pyspark 代码 spark = SparkSession.builder.appName('MySQL Data Loader').getOrCreate() dataframe = spark.read.format("...

google-cloud-platform pyspark google-bigquery google-cloud-dataflow

回答 0 投票 0

如何在 dialogFlow CX 中多次更新和插入意图？

对于ES版本，我们使用googleapis模块中的batchUpdate方法进行批量更新。但是，对于 CX 版本，我们使用的是 @google-cloud/dialogflow-cx 模块，并且...

google-cloud-dataflow

回答 0 投票 0

Kotlin - 未知的“runner”指定了“DataflowRunner”

我在运行这个时遇到了一些问题：导入 com.google.api.services.bigquery.model.TableRow 导入 com.google.cloud.bigquery.* 导入 org.apache.beam.runners.dataflow.DataflowRunner 导入 org.apa...

java kotlin google-cloud-dataflow

回答 0 投票 0

使用特定 SA 通过 Cloud Build 部署数据流管道

我正在竭尽全力地尝试使用特定的 SA（而不是默认的 Cloud Build SA）从 Cloud Build 部署 Dataflow 管道，但到目前为止没有成功。我遵循了这个过程 - https://cloud.

google-cloud-platform google-cloud-dataflow continuous-deployment google-cloud-build google-cloud-iam

回答 1 投票 0

使用 Java Google 云数据存储 API 将 com.google.cloud.datastore.Key 对象转换为 com.google.datastore.v1.Key 对象

是否有人尝试使用 Java API 将 com.google.cloud.datastore.Key 对象转换为 com.google.datastore.v1.Key 对象。问题是我用 com.google.cloud.datast 执行了一个查询...

google-cloud-platform google-cloud-datastore google-cloud-dataflow apache-beam

回答 0 投票 0

Azure 数据流从表中随机擦除数据

请索取有助于回答此问题的任何其他信息。我正在编辑一个以前工作完美的数据流，新的要求是让它仍然像以前那样运行......