Apache Flink是一个用于可扩展批处理和流数据处理的开源平台。 Flink在一个系统中支持批量和流分析。分析程序可以用Java和Scala中简洁优雅的API编写。
在 Flink 作业中使用 RocksDB 存储算子状态检查点与使用 RocksDB 作为缓存(而不是像 Redis 这样的缓存)有什么区别?我需要存储处理过的数据...
在 Flink 中使用自己的 jackson 版本会导致VerifyError
我将 Apache Flink (v1.11) 与 Scala 结合使用,并为 Kafka 连接器添加了自己的 DeserializationSchema。因此我想使用我自己的软件包和 Jackson 版本(v2.12.0)。 但我得到了
我有一个配置了检查点的 Pyflink 程序。然而,检查点有时会卡住或超时。 我主要是检查Flink仪表板,有些子任务没有确认...
我需要读取并缓存 HDFS 中的 parquet 表(该表在另一个 Spark 作业中每天更新一次)。我想缓存它,以便稍后可以将它与我的 Kafka 主题一起加入(该主题在 str...
我有一个自定义的AggregateFunction,其签名如下: 公共类 CustomAggregateFunction 实现 AggregateFunction { 代码...} 我的
我想知道是否可以在Apache Flink滑动窗口中区分元素和偏移时间。让我更详细地解释一下。 我想从例如:13:00 到 13:59:59 中获取元素。
这是我的 pyflink 工作。无论我如何尝试,我都无法提前获得水印。 我看到的输出是: 事件:(1, 1000),当前水印:-9223372036854775808 事件:(2000 年 2 月),当前
MiniClusterWithClientResource 无法定位动态生成的代码
我有一个向客户端公开 GUI 的项目,客户端可以使用拖放功能并可以配置 Flink 源和接收器。 GUI 组件支持多种类型的源和接收器,如
Flink classLoader 不能为 null Kryo
我使用 Flink 1.18.1 Java 11。大约 30 分钟后,我的一个管道开始进入崩溃循环。在任务管理器中我可以看到日志: 线程“Thread-21”java.lang 中出现异常。
Flink 文档说“在结果元素上设置的唯一相关信息是元素时间戳 [...],它[设置为]结束时间戳 - 1 [...]” 万一我必须
具有窗口 CoGroup 和未对齐检查点的 Flink 状态处理器 API
如何使用 Flink State Processor API 处理窗口 CoGroup(或 Join)函数的状态?文档没有给出这样的例子。 有没有办法使用 Flink State Pro...
包含元组列表的 POJO 的 Apache Flink 类型信息错误
[已编辑:这次添加了正确的错误日志] 我无法创建包含元组列表数据类型的 POJO 类型类。也许我没有正确提供它的类型信息?
从流媒体源消费时, 我们使用 Groupby 窗口聚合: .group_by(col('name'))) (参见此处) 并有一个包含所有可能的名称值的表(在下面的示例中 ['Alice', 'Bob...
我正在尝试将站状态数据与 Flink SQL 中的天气更新结合起来。目标是: 计算 1 分钟窗口内每个站的平均状态指标 加入基于
我正在努力在 scala flink 应用程序上编写单元测试。 例如,我有一个如下所示的异步映射器。它需要一个带有 id 的 User 对象,并随着年龄的增长而丰富: 案例类用户(id:字符串)...
如何修复 MobaXterm 上不正确指定的虚拟机选项“maxmetaspacesize”
我正在尝试使用 mobaXTerm 启动本地集群。我正在使用: 弗林克 1.15.3 MobaXterm 23.6 jdk 11或jdk 8(是相同的错误) Windows 10 我正确注册了所有环境变量,但是...
我有3个Kafka主题:optionsTopic、stocksTopic和referencesTopic。所有内容均以 Kraft 模式本地部署在单个 Kafka (v7.7.1) 实例上。为了降低复杂性,我设置了一个分区...
使用 kafka 连接器运行 flink 时出现 NoClassDefFoundError
我正在尝试使用flink从kafka流式传输数据。我的代码编译没有错误,但在运行时出现以下错误: 错误:发生 JNI 错误,请检查您的安装并尝试
使用 Python 在 AWS EMR 上执行 Flink 作业失败并出现“NoClassDefFoundError”
我正在尝试使用 Python 3.9 和 Apache Flink 以及 PyFlink 在 AWS EMR 集群 (v7.3.0) 上运行 Flink 作业。我的作业从 AWS Kinesis 流中读取数据并将流数据打印到控制台。然而,...
我在 Scala/flink 中为以下方法编写了自己的 processwindow 函数,但由于某种原因,我在 IDE 中收到此错误: 类型不匹配。 必需:ProcessWindowFunction[(String, String, I...