google-cloud-dataflow 相关问题

Google Cloud Dataflow是一种完全托管的云服务，可用于大规模创建和评估数据处理管道。数据流管道基于Apache Beam编程模型，可以在批处理和流模式下运行。 Cloud Dataflow是Google云端平台的一部分。

常规Apache Beam连接器与管理I/O？

Python

google-cloud-dataflow apache-beam apache-beam-io

回答 1 投票 0

STETTINGSDK_CONTAINER_IMAGE在Flex模板中

google-cloud-dataflow

回答 2 投票 0

如何从云存储中读取读取操作的数据流量

我正在尝试了解Google Cloud DataFlow在阅读文件时如何成本。从我的理解来看，每次从Google Cloud Bucket中读取某些东西时，都会收取每1000次操作的费用。但是，我试图理解，如果我假设我在文件中有100亿行（或许多小排，但其中很多），这会以数百万美元的价格收取简单过滤的费用，或者只需向DataFlow提供费用单个请求将目标文件分为“免费”环境（或以某种方式批处理？）？

google-cloud-dataflow apache-beam cost-management

回答 1 投票 0

DataflowScio：无法将字符串结果作为本地语言

，但我的问题是我从解密功能获得结果时。它无法显示泰语。（它像“？”一样），我注意到如果在使用SCIO之前调用此功能。它可以正确显示。我不确定这是根本原因以及如何修复它。任何人都可以建议吗？非常感谢

java scala apache-spark google-cloud-dataflow spotify-scio

回答 1 投票 0

创建登台数据集[Project-ID]：Scio_bigquery_staging_europe_west3

或者

scala google-cloud-dataflow apache-beam spotify-scio

回答 1 投票 0

通过gcp_pubsub输入benthos工作未被确认的消息未被确定 benthos如何处理PubSub消息的确认？我们如何根据自定义if-else条件管理ACK/UNACK？这是我试图实现的情况：我写了班恩蒂斯...

我正在尝试实现的情况：我写了一份Benthos作业，该作业从酒吧/子订阅者中摘下消息，使用该数据调用两个API，并为每个故障发送Slack警报。最后，如果在调用两个API时遇到任何错误，则该消息未被确认。

etl google-cloud-dataflow google-cloud-pubsub benthos redpanda-connect

回答 1 投票 0

GCP批处理数据流 - 插入BigQuery

IM使用GCP批处理数据流来处理我从表中选择的数据。这里的输入是表数据 - 其中IM使用Java中的查询获取数据。处理后，当我试图插入...

java google-bigquery google-cloud-dataflow apache-beam batch-processing

回答 1 投票 0

<code>WriteToBigtable</code>

Unable to perform SDK-split for work-id: 5193980908353266575 due to error: INTERNAL: Empty split returned. [type.googleapis.com/util.MessageSetPayload='[dist_proc.dax.internal.TrailProto] { trail_point { source_file_loc { filepath: "dist_proc/dax/workflow/worker/fnapi_operators.cc" line: 2738 } } }'] === Source Location Trace: === dist_proc/dax/internal/status_utils.cc:236 And could not Checkpoint reader due to error: OUT_OF_RANGE: Cannot checkpoint when range tracker is finished. [type.googleapis.com/util.MessageSetPayload='[dist_proc.dax.internal.TrailProto] { trail_point { source_file_loc { filepath: "dist_proc/dax/workflow/worker/operator.cc" line: 340 } } }'] === Source Location Trace: === dist_proc/dax/io/dax_reader_driver.cc:253 dist_proc/dax/workflow/worker/operator.cc:340

google-cloud-dataflow apache-beam

回答 0 投票 0

将字符串放在Azure DataFlow中的JSON对象上

parsing azure-data-factory google-cloud-dataflow azure-synapse

回答 1 投票 0

数据库IAM身份验证失败了Google DataFlow实例

I有一个基于Python的应用程序，该应用程序正在批处理模式下使用Apache Beam，而Google DataFlow则是一个工人。管道的第一步是将数据库表中的数据读取为输入PCollection。 ...

google-cloud-platform google-cloud-dataflow apache-beam

回答 1 投票 0

我们如何优化云数据流动作业以最大程度地减少启动时间？

google-cloud-platform google-cloud-dataflow apache-beam

回答 1 投票 0