Apache Flink是一个用于可扩展批处理和流数据处理的开源平台。 Flink在一个系统中支持批量和流分析。分析程序可以用Java和Scala中简洁优雅的API编写。
ClassNotFoundException: org.apache.flink.client.CliFrontend 使用 flink 运行 jar 文件时
我已经在 Microsoft Windows 上下载了 Apache Flink 并运行了 start-local.sh。它有效，我可以通过导航到 http://localhost:8081/ 成功访问 Web 界面。 但当我尝试...
在 Flink 文档中，我们被警告：“广播状态中的事件顺序可能因任务而异”。 如何实现跨任务具有一致广播状态的应用程序，
如何使用带有检查点的 Flink 来使用 S3 存储桶中的文件以进行故障恢复
我有一个用例来使用给定 S3 存储桶中存在的文件。 问题是我想确保 Flink 作业仅处理文件的每一行一次，以防作业重新启动。 如果是的话...
应用程序停止时如何从数据库流中的最后一个快照ID启动Flink应用程序
我正在 Java 中创建一个从 Iceberg 流式传输的 AWS Flink 应用程序，想知道 Flink 是否具有提供从成功的最后一个快照 ID 重新启动流的可能性的机制
Flink 作业提交到多虚拟机 Flink 集群失败，并出现 JobSubmissionException、CompletionException 和 Connection Refused 错误
我可以在笔记本电脑上使用 1 个作业管理器和 3 个任务管理器启动 Flink 集群（版本 1.17.x）。集群启动，作业可以在本地主机（我的笔记本电脑）上正确提交。 下一步是...
使用 GCP PubSub 源时在 Flink 作业上获取 DEADLINE_EXCEEDED
在我正在使用的 Flink 作业中使用 Pub/Sub 源时，以下错误每 15 秒就会重复一次。 https://nightlies.apache.org/flink/flink-docs-master/docs/connectors/datastream/pubsub/ 苏...
在 Flink 应用程序中从 AWS S3 存储桶读取 ORC 文件
我们正在使用 Flink 版本 1.13.5 并尝试从 AWS S3 位置读取 ORC 文件。而且，我们正在将应用程序部署在自我管理的 Flink 集群中。请查找以下代码以了解更多信息...
根据文档“No RocksDB state backend”到广播状态。 这是否意味着每次失败（任务级别或整个 JVM）时，新重新启动的任务都会...
为什么 Flink 在每次调用测试工具中的 processElement 后都会重置我的状态？
我正在使用 Flink 的 KeyedOneInputStreamOperatorTestHarness 并调用 processElement 两次。 processElement 将更新状态以计算所看到的元素数量。 在这种情况下，拨打电话后
将相同的方法引用传递给 apache flink 中的过滤器会抛出 classcastException
以下代码抛出 ClasscastException (java.lang.ClassCastException: class java.lang.Integer无法转换为 class java.lang.String ) 最终数据流源 st1 =
Flink 与 Kafka Source 和 Iceberg Sink 不写
使用Flink我尝试从Kafka读取数据，将Protobuf事件转换为Json字符串并将其写入Iceberg中的表中。 我按照官方文档编写了代码，但我必须有
我有 Flink 流处理应用程序，它从 Pulsar Topic 读取消息流，处理它们并将文件存储在 S3 中。它执行以下操作。 每隔一段时间阅读 Pulsar 主题的消息...
Flink SQL Streaming - 如何在记录更改不确定的情况下有效地连接表
卡卡主题（输入：table1,table2，输出：table3） Flink SQL 流作业 创建临时视图distinct_table1 AS 选择 * 从（选择*， ROW_NUMBER() OVER（按 id 分区，按change_date d 排序...
我只是想表达我对 BoundedOutOfOrder Watermarks 在 FLINK 以及任何流处理框架中如何工作的理解。 事件处理顺序： 11:00 11:01 11:0...
在PyFlink中使用SourceFunction和SinkFunction
我是 PyFlink 的新手。我已经用Java完成了官方培训练习：https://github.com/apache/flink-training 然而，我正在进行的项目必须使用Python作为编程语言。我...
MetricQueryService - 某些指标将不会被报告
升级Flink v.1.16.1（从v.1.13.2）后，我看到以下日志： 2023-03-06 INFO org.apache.flink.runtime.metrics.dump.MetricQueryService [] - 某些指标将不会被报告...
Jobmanager重启后Flink无法从checkpoint恢复
我正在 Docker-compose 上运行 flink 集群，其中包含 1 个 jobmanager 和 1 个 taskmanager。我通过重启Jobmanager的容器来测试checkpoint的机制。但我发现状态没有恢复
我们有多个Flink流应用程序。这些应用程序每 30 秒左右向 Kafka 提交一次偏移量。我们看到 Flink 根本没有向 Kafka 提交偏移量。这会导致不匹配...
我们如何配置 Flink 应用程序以仅启动/重新启动崩溃的 Pod/（子）任务，而不是重新启动整个作业，即重新启动作业/管道中的所有任务/子任务，包括...
Apache Flink dataStream.sinkTo() 不接受 KafkaSink<String> 作为参数。正在等待Sink<String, ?, ?, ?>
我是 Apache Flink 的新手。我正在尝试从 Kafka 流式传输数据，在 Flink 上执行某些操作并将数据发布到 Kafka 中的其他某个主题。 下面是添加的依赖项 ...