Apache Flink是一个用于可扩展批处理和流数据处理的开源平台。 Flink在一个系统中支持批量和流分析。分析程序可以用Java和Scala中简洁优雅的API编写。
我有一个 Flink 管道,它有两个接收器,一个接收器用于将消息发布到 Kafka,另一个接收器用于更新数据库中的状态。我使用 Kafka 事务和 XA 遵循一次语义...
新的 hiveCof() 初始化错误“java.lang.ClassNotFoundException:org.apache.hadoop.mapred.JobConf”
我在使用Flink写带有hive目录的Paimon表时遇到了异常。 java.lang.ClassNotFoundException:org.apache.hadoop.mapred.JobConf 在 java.net.URLClassLoader.findClass(
如何使用 AWS Managed Apache Flink 运行 Python Apache Beam?
我正在尝试弄清楚如何使用 AWS Managed Apache Flink 作为运行程序来使用 Python 运行简单的 Apache Beam 由于以下异常,应用程序甚至无法启动,而还有...
需求:Flink集群(包括JobManager和TaskManager)需要24/7不间断运行,保证Flink作业不间断的提交和运行。 问题:JVM
我在Python中使用Flink来处理来自Kafka的流数据。但是,在使用 Datastream API 而不是 Table API 的所有脚本中,我可以看到正在实现的原始 Python 代码,参见此示例...
在 flink web ui 中,在任务管理器--> 高级部分下。给出了垃圾收集的详细信息。 我假设垃圾收集时间以毫秒为单位。但我在flink文档中找不到它。 ...
我正在尝试以更新插入模式从卡夫卡读取。一切正常。但我注意到不支持 scan.startup.mode 。 我的假设是否正确,在 upsert 模式下,kafka 连接器会读取整个内容
在flink、Java中在Event上启动定时器并在定时器之后触发另一个事件
我想知道Flink中是否有定时器以及在这种情况下我将如何实现它。目前我正在接收来自车辆的包含地理位置、速度等的数据。对于e...
Apache Flink - 重新启动后在同一 JobManager 上重新启动作业
在 Apache Flink 上没有设置 HA 的情况下是否可以执行以下场景? 开始工作 重新启动作业管理器 作业管理器根据检查点重新启动之前启动的作业 我试图设置各种
我正在使用 Flink 1.18.1 和 Flink Operator 1.7。 启动时间(从 Pod 创建到 RUNNING 状态)约为 3 分钟。如果我有 2 个 JM 并且领导者被杀死/重新启动,那么工作就会结束......
如何从 Flink Table API 获取 PostgreSQL 的 Text 列
当我尝试从 PostgreSQL 中的表中获取文本列时,出现以下异常。怎么解决呢。 表架构: 数据快照: 表结果Table = tenv.sqlQuery( ...
Apache Flink 1.18 Mongo 接收器连接器。 SSL配置问题
我正在尝试使用 MongoSink 将消息写入 Mongodb 集合。如果集群没有启用 SSL/TLS,它可以正常工作。如果我启用了 TLS/SSL,接收器将无法工作,因为它不...
我有一个 Flink 作业,其中包含 RMQ 源、过滤器、窗口(翻滚窗口每 2 秒触发一次并使用处理时间)、聚合函数、接收器。具有增量检查点的 RockDB 状态后端是 e...
在 Apache Flink 中,如何捕获 Kafka Source Connector 抛出的异常? 我有一个用例,我在 flink 应用程序中连接的 kafka 集群之一变得不可用。如果...
我是 Apache Flink 的新手。我在文档的帮助下用 Java 编写了以下代码,该代码从 Kafka 主题读取 json 数据。 我可以使用以下代码将数据放入 M...
Elasticsearch 8.x Flink Connector 使用建议
我一直在尝试使用 Elasticsearch 8.x 连接器,根据 Apache Flink JIRA 中的相关票证,该连接器似乎已在几个月前完成。 不过,我目前不...
静态数据加入Kafka Stream时如何避免PyFlink中出现重复记录?
我正在使用 PyFlink,并遇到了一个问题,尽管我的 SQL 查询已经过测试并且在 SQL 中正常工作,但我的最终输出包含重复的记录。我的设置包括 Kafka
Flink 1.16.1 中 WatermarkStrategy 立即触发 CEP 事件问题
我正在使用与包含字符串“fail”的单个事件匹配的模式来测试 Flink CEP。我只发送一个事件并期望立即得到结果。在下面的代码中,我使用了两种方法...
通过 Scheduler 使用 Flink 作业从数据库加载数据
客户对使用CDC/kafka方法从数据库加载数据不感兴趣,而是要求使用调度程序方法。 有一个 fromCollection api 来创建 DataStream,它接受 loa...
我在Flink中有流A和流B。 A 有水印和时间戳 B 是我通过定期调用 API 获得的一些来源,它没有水印/时间戳 我想连接流 A 和