google-cloud-dataflow 相关问题

Google Cloud Dataflow是一种完全托管的云服务，可用于大规模创建和评估数据处理管道。数据流管道基于Apache Beam编程模型，可以在批处理和流模式下运行。 Cloud Dataflow是Google云端平台的一部分。

我正在使用gcloud cli调用数据流作业。我的命令如下所示； gcloud数据流作业运行avrojob4 \ --gcs-location = gs：// dataflow-templates / latest / Cloud_Bigtable_to_GCS_Avro \ --region = ...

google-cloud-storage google-cloud-dataflow gcloud

回答 1 投票 0

无法传递FileIO.Write / WriteFiles / WriteShardedBundlesToTempFiles / GroupIntoShards

我实现了从Pub / Sub读取包含JSON的管道，该JSON包含AWS S3密钥；并下载包含换行符分隔的JSON（NDJson）的S3对象；然后，将NDJson写入...

java google-cloud-platform google-cloud-dataflow apache-beam

回答 1 投票 0

致谢Kafka制片人Apache Beam

我如何获取在Apache Beam KafkaIO中收到确认的记录？基本上，我希望所有没有得到任何确认的记录都进入bigquery表，以便可以...

apache-kafka google-cloud-dataflow apache-beam apache-beam-io

回答 1 投票 0

并行运行相同的DF模板会产生奇怪的结果

我有一个数据流作业，可以从Cloud SQL中提取数据并将其加载到Cloud Storage中。我们已经将作业配置为接受参数，因此我们可以使用相同的代码来提取多个表。 ...

google-cloud-dataflow

回答 1 投票 0

将变量从数据流中的管道外部传递给ParDo

如何将变量从管道外部传递给ParDo函数，然后传递给Dataflow作业。下面是一个示例，我试图在创建管道之前派生fileDate并将其传递给...

java google-cloud-platform google-cloud-dataflow apache-beam

回答 2 投票 0

当写入接收器时必须保留事件时间顺序时，apache-beam是一个不错的选择吗？

我正在考虑使用Apache Beam编写流传输管道，以应用变异流，以事件时间的顺序将事件从源数据库复制到目标数据库。 ...

google-cloud-dataflow apache-beam

回答 1 投票 0

Bigquery如何从数据流中删除记录

我需要从数据流中更新和删除BigQuery中的记录。数据来自Pubsub，并带有标识操作Insert，Update，Delete（I，U，D）的标志。插入不是问题。...

google-bigquery google-cloud-dataflow apache-beam

回答 1 投票 0

[使用Apache Beam / Dataflow从BigQuery读取时使用fastavro

我的项目在Google Dataflow上使用Apache Beam 2.19运行Python 2.7（是的，我知道...）。我们将以Apache Beam教程中指定的相同方式连接到BigQuery： '获取数据...

google-bigquery google-cloud-dataflow apache-beam

回答 1 投票 0

Apache Beam中的顺序执行-Java SDK 2.18.0

[嗨，我有几个查询，我想使用Apache Beam依次运行并保存结果，我看到了一些类似的问题，但是找不到答案。我习惯于设计...

google-cloud-dataflow apache-beam apache-beam-io

回答 1 投票 0

数据流：在以前的beam.combiners的结果上使用beam.combiners

python google-cloud-dataflow apache-beam

回答 1 投票 0

侧面输入的有效ParDo设置或start_bundle

列表A：25M哈希列表B：175K哈希我想检查列表B中的每个哈希是否存在于列表A中。为此，我有一个ParDo函数，当它不匹配时就产生。这是一个重复数据删除...

python google-cloud-dataflow apache-beam

回答 1 投票 0

使用Kafka运行Apache Beam时出现依赖性错误

[当我使用Direct Runner运行Apache Beam代码时，出现以下错误：引起原因：java.lang.NoSuchMethodError：org.slf4j.helpers.MessageFormatter.arrayFormat（Ljava / lang / String; [Ljava / lang /。 ..

maven google-cloud-dataflow apache-beam

回答 1 投票 0

Apache Beam / Dataflow ReShuffle已过时，请改用什么？

[Apache Beam的改组已在2017年5月被标记为已弃用，并带有仅供内部使用的注释；没有向后兼容性保证。此外，DataflowRunner还安装了...

java google-cloud-dataflow apache-beam

回答 1 投票 0

我如何编写支持模式演变的流数据流管道？

我正在建立一些数据流传输管道，这些管道可以使用Google Cloud Dataflow从Kafka读取并写入各种接收器。管道看起来像这样（简化）。 //示例管道，......>

kotlin google-cloud-platform google-cloud-dataflow apache-beam

回答 1 投票 4

Google Dataflow流式插入到BigQuery达到命中率限制

[我正在尝试使用数据流流处理来使用Python将记录插入到BigQuery中。从PubSub读取存储桶中已更改的文件，然后读取，转换和插入文件...