flink-streaming 相关问题

Apache Flink是一个用于可扩展批处理和流数据处理的开源平台。 Flink在一个系统中支持批量和流分析。分析程序可以用Java和Scala中简洁优雅的API编写。

使用 RocksDB 的 Flink 状态

在 Flink 作业中使用 RocksDB 存储算子状态检查点与使用 RocksDB 作为缓存(而不是像 Redis 这样的缓存)有什么区别?我需要存储处理过的数据...

回答 2 投票 0

在 Flink 中使用自己的 jackson 版本会导致VerifyError

我将 Apache Flink (v1.11) 与 Scala 结合使用,并为 Kafka 连接器添加了自己的 DeserializationSchema。因此我想使用我自己的软件包和 Jackson 版本(v2.12.0)。 但我得到了

回答 1 投票 0

Flink 检查点缓慢/卡住

我有一个配置了检查点的 Pyflink 程序。然而,检查点有时会卡住或超时。 我主要是检查Flink仪表板,有些子任务没有确认...

回答 1 投票 0

在 Apache Flink 中缓存 HDFS 表

我需要读取并缓存 HDFS 中的 parquet 表(该表在另一个 Spark 作业中每天更新一次)。我想缓存它,以便稍后可以将它与我的 Kafka 主题一起加入(该主题在 str...

回答 1 投票 0

给Flink类型信息来序列化累加器对象,无需Kryo

我有一个自定义的AggregateFunction,其签名如下: 公共类 CustomAggregateFunction 实现 AggregateFunction { 代码...} 我的

回答 1 投票 0

滑动窗口中如何区分元素和偏移时间?

我想知道是否可以在Apache Flink滑动窗口中区分元素和偏移时间。让我更详细地解释一下。 我想从例如:13:00 到 13:59:59 中获取元素。

回答 1 投票 0

Pyflink 水印卡住了

这是我的 pyflink 工作。无论我如何尝试,我都无法提前获得水印。 我看到的输出是: 事件:(1, 1000),当前水印:-9223372036854775808 事件:(2000 年 2 月),当前

回答 1 投票 0

MiniClusterWithClientResource 无法定位动态生成的代码

我有一个向客户端公开 GUI 的项目,客户端可以使用拖放功能并可以配置 Flink 源和接收器。 GUI 组件支持多种类型的源和接收器,如

回答 1 投票 0

Flink classLoader 不能为 null Kryo

我使用 Flink 1.18.1 Java 11。大约 30 分钟后,我的一个管道开始进入崩溃循环。在任务管理器中我可以看到日志: 线程“Thread-21”java.lang 中出现异常。

回答 1 投票 0

Apache Flink 中窗口函数结果元素的时间戳

Flink 文档说“在结果元素上设置的唯一相关信息是元素时间戳 [...],它[设置为]结束时间戳 - 1 [...]” 万一我必须

回答 1 投票 0

具有窗口 CoGroup 和未对齐检查点的 Flink 状态处理器 API

如何使用 Flink State Processor API 处理窗口 CoGroup(或 Join)函数的状态?文档没有给出这样的例子。 有没有办法使用 Flink State Pro...

回答 1 投票 0

包含元组列表的 POJO 的 Apache Flink 类型信息错误

[已编辑:这次添加了正确的错误日志] 我无法创建包含元组列表数据类型的 POJO 类型类。也许我没有正确提供它的类型信息?

回答 1 投票 0

GroupBy 窗口聚合:处理空窗口

从流媒体源消费时, 我们使用 Groupby 窗口聚合: .group_by(col('name'))) (参见此处) 并有一个包含所有可能的名称值的表(在下面的示例中 ['Alice', 'Bob...

回答 1 投票 0

使用基于地理空间邻近度的滚动窗口聚合来连接时态表

我正在尝试将站状态数据与 Flink SQL 中的天气更新结合起来。目标是: 计算 1 分钟窗口内每个站的平均状态指标 加入基于

回答 1 投票 0

Flink Scala 无法序列化模拟对象

我正在努力在 scala flink 应用程序上编写单元测试。 例如,我有一个如下所示的异步映射器。它需要一个带有 id 的 User 对象,并随着年龄的增长而丰富: 案例类用户(id:字符串)...

回答 1 投票 0

如何修复 MobaXterm 上不正确指定的虚拟机选项“maxmetaspacesize”

我正在尝试使用 mobaXTerm 启动本地集群。我正在使用: 弗林克 1.15.3 MobaXterm 23.6 jdk 11或jdk 8(是相同的错误) Windows 10 我正确注册了所有环境变量,但是...

回答 1 投票 0

Flink 时间连接不一致

我有3个Kafka主题:optionsTopic、stocksTopic和referencesTopic。所有内容均以 Kraft 模式本地部署在单个 Kafka (v7.7.1) 实例上。为了降低复杂性,我设置了一个分区...

回答 1 投票 0

使用 kafka 连接器运行 flink 时出现 NoClassDefFoundError

我正在尝试使用flink从kafka流式传输数据。我的代码编译没有错误,但在运行时出现以下错误: 错误:发生 JNI 错误,请检查您的安装并尝试

回答 6 投票 0

使用 Python 在 AWS EMR 上执行 Flink 作业失败并出现“NoClassDefFoundError”

我正在尝试使用 Python 3.9 和 Apache Flink 以及 PyFlink 在 AWS EMR 集群 (v7.3.0) 上运行 Flink 作业。我的作业从 AWS Kinesis 流中读取数据并将流数据打印到控制台。然而,...

回答 1 投票 0

.process 方法不接受自定义流程窗口类

我在 Scala/flink 中为以下方法编写了自己的 processwindow 函数,但由于某种原因,我在 IDE 中收到此错误: 类型不匹配。 必需:ProcessWindowFunction[(String, String, I...

回答 1 投票 0

© www.soinside.com 2019 - 2024. All rights reserved.