apache-flink 相关问题

Apache Flink是一个用于可扩展批处理和流数据处理的开源平台。 Flink在一个系统中支持批量和流分析。分析程序可以用Java和Scala中简洁优雅的API编写。

无法解析 Apache Flink 导入

我目前正在使用Flink进行开发,但无法解析RowData导入。 导入 org.apache.flink.table.data.RowData; 我的 pom.xml 文件包括: org.apa...

回答 1 投票 0

Flink Kubernetes S3 状态支持

一直在查看 Flink Kubernetes Operator v1.10 的文档,有没有办法预先配置集群,以便所有提交的作业都将使用带有一些预定义 s3 路径的 RocksDB 状态?

回答 1 投票 0

来自 Kafka 数据源的 Apache Flink 和状态存储

当 Kafka 作为数据源时,我对 Apache Flink 如何使用提交偏移量感到有点困惑。 我已经配置了我的消费者组并正常消费消息,然后提交它(因为我...

回答 1 投票 0

java.lang.ClassNotFoundException:org.apache.flink.connector.base.source.reader.RecordEmitter

我一直在尝试从 Apache flink 的字数统计文档中运行示例 Flink 作业,但现在已经收到此错误一段时间了,似乎是一个依赖性问题,但尝试更改 POM 文件,

回答 1 投票 0

对FLINK任务槽感到困惑

我知道任务管理器可以有多个任务槽。 但是,什么是任务槽? JVM 进程还是内存中的对象还是线程?

回答 6 投票 0

Apache Flink 的自定义 Prometheus 接收器?

我有一个由Apache Flink处理的时间序列日志,我想绘制grafana的数据,首先将其导出到Prometheus。 java中有没有任何例子或方法可以做到这一点?像令状之类的东西...

回答 2 投票 0

Apache Flink 作业尝试通过 cdc 源连接器从 Mongo 读取结果导致 MongoTimeoutException

我正在尝试使用 Mongo CDC 连接器作为我的 Flink 作业中的 DataStream 源的源。我使用与[根据文档][1]相同的示例代码。 这是我的代码: MongoDBSource mongoSourc...

回答 1 投票 0

Apache Flink 集群重启后出现 No FileSystem for schema "file" 错误

我在 docker 容器中设置了 Apache Flink。检查点存储设置为 abfs。当我提交任务时,它工作得很好。它将检查点保存在我的天蓝色存储中。当我重新启动我的conta时...

回答 1 投票 0

Flink 单元测试

我需要对基于数据流的 flink 管道进行单元测试。我有一个 rmq 源、丰富器、过滤器、聚合器,然后是滚动窗口。我犯规了,我们可以通过两种方式进行测试...

回答 1 投票 0

我是 Apache Flink 的新手,在 in_streaming_mode() 处收到错误 FileNotFoundError: [WinError 2] 系统找不到指定的文件

我只是运行一个简单的代码,并安装了java 21,使用flink版本1.19.0 从 pyflink.table 导入环境设置,表环境 设置 = 环境设置。

回答 1 投票 0

Flink 升级到 1.18 时单元测试失败

我正在将应用程序从 Flink 1.15.2 更新到 1.20,但在此过程中遇到了障碍。我有一个简单的单元测试,它创建数据流(长值),应用地图乐趣......

回答 1 投票 0

如何在flink应用程序中组织SQL代码

在开始进行 flink 开发时,我想知道每个人都是如何组织他们的 SQL 代码的。 大多数示例看起来都很基础,只是将 SQL 代码保存在以下形式的变量中 ...

回答 1 投票 0

如何在使用检查点时重置 Flink 作业重启时的键控操作员状态?

我正在开发一个启用检查点的 Flink 应用程序,但我有一个特殊要求:我需要确保每次作业重新启动时我的一个键控运算符都以空状态开始,...

回答 1 投票 0

如何通过 Flink 的 RichAsyncFunction 使用指标?

在 Flink 文档中,建议使用 RichAsyncFunction 来调用具有异步客户端的外部系统(api、数据库等)。然而,我们可以从

回答 1 投票 0

Flink sql管道打印?

我对 Flink SQL 还很陌生,正在尝试将其与 kafka 集成。我有一个类似于下面的管道。 我确实在我的 out.topic 上看到了输出,但我想添加打印以进行调试,但做不到...

回答 1 投票 0

'org.apache.flink.formats.avro.AvroDeserializationSchema org.apache.flink.formats.avro.AvroDeserializationSchema.forGeneric(org.apache.avro.Schema)'

嘿,我在这里遇到了同样的问题,使用 avro 和模式注册表让 flink 从 kafka 读取数据。我可以使用 flink 尝试从服务器读取数据来查看 schema-registry 上的日志,但是......

回答 1 投票 0

Flink 作业(64 个任务)将记录路由到 1 个任务

我有一个 AWS 托管的 flink 作业写入 Kafka。我似乎无法弄清楚为什么我的大部分记录都被路由到单个任务,尽管有 64 个并行度。 下游kafka主题有16部分...

回答 1 投票 0

Flink:java.lang.NoSuchMethodError:AvroSchemaConverter

我正在尝试连接到 Kafka。当我运行一个简单的 JAR 文件时,出现以下错误: java.lang.NoSuchMethodError: org.apache.flink.formats.avro.typeutils.AvroSchemaConverter.convertToSchema(Lorg/

回答 3 投票 0

Flink Job with Iceberg Sink重启后数据丢失:如何保证写入一致?

我正在运行一个 Flink 作业,它从 Kafka 读取数据,将其处理为 Flink Row 对象,然后将其写入 Iceberg Sink。为了部署新的代码更改,我从最新的保存点重新启动作业,...

回答 1 投票 0

Flink 中未对齐的检查点除了额外的 I/O 之外还有其他缺点吗?它是否会影响端到端的一次性语义?

我试图了解在 Apache Flink 中使用未对齐检查点的权衡。虽然我知道未对齐的检查点可以通过跳过

回答 1 投票 0

© www.soinside.com 2019 - 2024. All rights reserved.