apache-flink 相关问题

Apache Flink是一个用于可扩展批处理和流数据处理的开源平台。 Flink在一个系统中支持批量和流分析。分析程序可以用Java和Scala中简洁优雅的API编写。

Flink 中如何让两个接收器在一个事务中工作

我有一个 Flink 管道,它有两个接收器,一个接收器用于将消息发布到 Kafka,另一个接收器用于更新数据库中的状态。我使用 Kafka 事务和 XA 遵循一次语义...

回答 1 投票 0

新的 hiveCof() 初始化错误“java.lang.ClassNotFoundException:org.apache.hadoop.mapred.JobConf”

我在使用Flink写带有hive目录的Paimon表时遇到了异常。 java.lang.ClassNotFoundException:org.apache.hadoop.mapred.JobConf 在 java.net.URLClassLoader.findClass(

回答 1 投票 0

如何使用 AWS Managed Apache Flink 运行 Python Apache Beam?

我正在尝试弄清楚如何使用 AWS Managed Apache Flink 作为运行程序来使用 Python 运行简单的 Apache Beam 由于以下异常,应用程序甚至无法启动,而还有...

回答 1 投票 0

apache-flink 中 JVM 元空间利用率不断增加

需求:Flink集群(包括JobManager和TaskManager)需要24/7不间断运行,保证Flink作业不间断的提交和运行。 问题:JVM

回答 1 投票 0

PyFlink 中 Datastream API 的用例

我在Python中使用Flink来处理来自Kafka的流数据。但是,在使用 Datastream API 而不是 Table API 的所有脚本中,我可以看到正在实现的原始 Python 代码,参见此示例...

回答 1 投票 0

Flink webUI - GC 时间

在 flink web ui 中,在任务管理器--> 高级部分下。给出了垃圾收集的详细信息。 我假设垃圾收集时间以毫秒为单位。但我在flink文档中找不到它。 ...

回答 1 投票 0

Upsert Kafka 连接器消费者从哪里开始?

我正在尝试以更新插入模式从卡夫卡读取。一切正常。但我注意到不支持 scan.startup.mode 。 我的假设是否正确,在 upsert 模式下,kafka 连接器会读取整个内容

回答 1 投票 0

在flink、Java中在Event上启动定时器并在定时器之后触发另一个事件

我想知道Flink中是否有定时器以及在这种情况下我将如何实现它。目前我正在接收来自车辆的包含地理位置、速度等的数据。对于e...

回答 1 投票 0

Apache Flink - 重新启动后在同一 JobManager 上重新启动作业

在 Apache Flink 上没有设置 HA 的情况下是否可以执行以下场景? 开始工作 重新启动作业管理器 作业管理器根据检查点重新启动之前启动的作业 我试图设置各种

回答 1 投票 0

Flink独立模式启动时间太长

我正在使用 Flink 1.18.1 和 Flink Operator 1.7。 启动时间(从 Pod 创建到 RUNNING 状态)约为 3 分钟。如果我有 2 个 JM 并且领导者被杀死/重新启动,那么工作就会结束......

回答 1 投票 0

如何从 Flink Table API 获取 PostgreSQL 的 Text 列

当我尝试从 PostgreSQL 中的表中获取文本列时,出现以下异常。怎么解决呢。 表架构: 数据快照: 表结果Table = tenv.sqlQuery( ...

回答 1 投票 0

Apache Flink 1.18 Mongo 接收器连接器。 SSL配置问题

我正在尝试使用 MongoSink 将消息写入 Mongodb 集合。如果集群没有启用 SSL/TLS,它可以正常工作。如果我启用了 TLS/SSL,接收器将无法工作,因为它不...

回答 1 投票 0

限制flink中的状态大小

我有一个 Flink 作业,其中包含 RMQ 源、过滤器、窗口(翻滚窗口每 2 秒触发一次并使用处理时间)、聚合函数、接收器。具有增量检查点的 RockDB 状态后端是 e...

回答 1 投票 0

Flink 如何处理 Kafka 连接器故障?

在 Apache Flink 中,如何捕获 Kafka Source Connector 抛出的异常? 我有一个用例,我在 flink 应用程序中连接的 kafka 集群之一变得不可用。如果...

回答 1 投票 0

Flink Java MongoSink 设置动态集合名称

我是 Apache Flink 的新手。我在文档的帮助下用 Java 编写了以下代码,该代码从 Kafka 主题读取 json 数据。 我可以使用以下代码将数据放入 M...

回答 1 投票 0

Elasticsearch 8.x Flink Connector 使用建议

我一直在尝试使用 Elasticsearch 8.x 连接器,根据 Apache Flink JIRA 中的相关票证,该连接器似乎已在几个月前完成。 不过,我目前不...

回答 1 投票 0

静态数据加入Kafka Stream时如何避免PyFlink中出现重复记录?

我正在使用 PyFlink,并遇到了一个问题,尽管我的 SQL 查询已经过测试并且在 SQL 中正常工作,但我的最终输出包含重复的记录。我的设置包括 Kafka

回答 1 投票 0

Flink 1.16.1 中 WatermarkStrategy 立即触发 CEP 事件问题

我正在使用与包含字符串“fail”的单个事件匹配的模式来测试 Flink CEP。我只发送一个事件并期望立即得到结果。在下面的代码中,我使用了两种方法...

回答 1 投票 0

通过 Scheduler 使用 Flink 作业从数据库加载数据

客户对使用CDC/kafka方法从数据库加载数据不感兴趣,而是要求使用调度程序方法。 有一个 fromCollection api 来创建 DataStream,它接受 loa...

回答 1 投票 0

在 Flink 中将带水印的流与另一个不带水印的流连接

我在Flink中有流A和流B。 A 有水印和时间戳 B 是我通过定期调用 API 获得的一些来源,它没有水印/时间戳 我想连接流 A 和

回答 1 投票 0

© www.soinside.com 2019 - 2024. All rights reserved.