Google Cloud Dataflow是一种完全托管的云服务，可用于大规模创建和评估数据处理管道。数据流管道基于Apache Beam编程模型，可以在批处理和流模式下运行。 Cloud Dataflow是Google云端平台的一部分。
我正在尝试在本地计算机上从 Google 运行此示例。我正在使用 PubSub 模拟器和 Beam 2.60.0，通过 --runner=DirectRunner 执行。 ... 选项.setStreaming(true); 选项.setPubsubRoot...
在 Dataflow 中编写一个管道，将流拆分为由数据中的 event_name 和 event_date 动态命名的表。 正在创建表，名称正确，但数据是
在 Dataflow 中编写一个管道，将流拆分为由数据中的 event_name 和 event_date 动态命名的表。 正在创建表，名称正确，但数据是
GCP 数据流的 Python 脚本在 GitHub 操作流中失败
当我尝试将数据从 Pub/Sub 写入 BigQuery 时，我遇到了 GitHub 操作工作流程上的 GCP Dataflow 的 python 脚本问题。 它返回与写入 Big Query 相关的错误。 蟒蛇
模块“apache_beam.io.gcp.internal.clients.bigquery”没有属性“TableFieldSchema”？
我正在尝试从 json 文件解析架构，该文件包含 bigquery 表的架构文件。 我正在使用以下代码。 导入 apache_beam 作为光束 从 apache_beam.io.gcp.bigquery 导入
使用 Python 的 Apache Beam。尝试验证 Apache Kafka SASL_SSL OAUTHBEARER 时出错
我正在使用 Python 3.8 在 Apache Beam 2.45.0 中开发管道。 我需要使用 ReadfromKafka 方法从 Apache Kafka 读取数据。 Apache Kafka 服务器通过 SASL_SSL 协议进行安全保护，使用
我有一个以 BigQuery 表作为接收器的管道。我需要在数据写入 BigQuery 后执行一些步骤。这些步骤包括对该表执行查询、从 i 读取数据...
我的任务是在数据流运行程序中比较 apache beam 中的两个数据集并输出三个阶段，一个在数据集 1 中常见，另一个仅在数据集 1 中，然后仅在数据集 2 中。 我尝试使用 CoGroupByKey
我正在尝试使用 Google 数据流模板将数据从 Bigtable 导出到 Google Cloud Storage (GCS)。我在此处关注 gcloud 命令详细信息。但是，运行时我收到警告并且
使用 Apache Beam 写入 Dataflow 管道上的 BigQuery 表时“TypeError: isinstance() arg 2 必须是类型、类型元组或联合”
我正在 Pthon 中使用 apache-beam==2.57.0 和 google-cloud-bigquery==3.26.0 开发数据流管道，从 Cloud SQL 数据库读取数据并将其写入 BigQuery 表。脚本运行 int...
为什么 BeamRunPythonPipelineOperator 无法跟踪数据流作业状态，一直等到作业结束而不返回数据流日志？
我正在 Cloud Composer (composer-2.9.8-airflow-2.9.3) 上的 Airflow 中使用 BeamRunPythonPipelineOperator() 触发数据流管道。作业已成功提交到 Dataflow，但是
运行时错误：NotImplementedError [运行'BatchElements(messages)']同时使用to_dataframe运行流式apache beam管道
您好，我仍处于 Apache Beam 的学习阶段，下面是我编写的脚本。它从 pub-sub 读取并写入 BigQuery。但是我收到错误 RuntimeError: NotImplementedError [在运行 '
我想覆盖数据流工作人员使用的默认 SA，例如 [email protected]，如果您未指定任何内容，则默认创建和使用该 SA。但我想要自己的
我们有一个批处理 GCP Dataflow 作业在 Reshuffle() 步骤上失败，并出现以下错误： ValueError：使用编码器 WindowedValueCoder[TupleCoder[LengthPrefixCoder[
出现错误：AttributeError：'MySchemaClassName'对象在使用 apache_beam to_dataframe 模块时没有属性“..type '”
你好，我正在学习 apache_beam。下面是我编写的脚本的一部分，旨在从 pub/sub 订阅中选取流数据，对其进行转换并将最终结果写入
Apache Beam：使用计时器时组件数量与编码器数量不匹配
我的问题和这个很相似 我正在尝试添加一些计时器来稍后处理一些数据，但出现以下错误 来自工作人员的错误消息：generic::unknown: Traceback（最推荐...
每次使用 Fabric 中的不同 URL 迭代连接到 OData API
我正在尝试从 Fabric 连接到 OData API，我想调用动态传递到 OData 的不同 URL，结果我们收到了表。其中我们想选择几个...
我在使用用 Kotlin 编写并部署到从 KafkaIO 源读取的 GCP Dataflow 的 Beam (v2.58.1) 管道时遇到问题。无论我尝试什么，管道总是表现出相同的
Apache Beam：修复数据流管道中的“PBegin 对象没有属性窗口”错误
我正在从事 Apache Beam Dataflow 作业，以在 Firestore 中存储丰富的流数据。如果处理过程中丢失任何事件数据，我会将这些记录推送到 BigQuery 表中。下面，我分享了...
如何使用gcp数据流将apache beam中的数据写入bigquery表？
我正在尝试在 GCP Dataflow 上使用 Apache Beam 运行以下程序。该程序应该读取 CSV 文件，进行一些转换，如求和、最大值和连接。然后写入BQ表。 直到第 4 步我得到了