apache-flink 相关问题

Apache Flink是一个用于可扩展批处理和流数据处理的开源平台。 Flink在一个系统中支持批量和流分析。分析程序可以用Java和Scala中简洁优雅的API编写。

使用 RocksDB 的 Flink 状态

在 Flink 作业中使用 RocksDB 存储算子状态检查点与使用 RocksDB 作为缓存(而不是像 Redis 这样的缓存)有什么区别?我需要存储处理过的数据...

回答 2 投票 0

如何在Apache Flink中配置进程功能

我想配置流程功能并传递自定义配置,例如数据库主机名等。 我知道我可以创建一个配置文件,然后将其放在全局配置中。有了这个,我就可以

回答 1 投票 0

在 Flink 中使用自己的 jackson 版本会导致VerifyError

我将 Apache Flink (v1.11) 与 Scala 结合使用,并为 Kafka 连接器添加了自己的 DeserializationSchema。因此我想使用我自己的软件包和 Jackson 版本(v2.12.0)。 但我得到了

回答 1 投票 0

构建 REST 客户端时 Terraform 部署失败

目前正在 GCP 上部署 Flink 的 kubernetes Operator,遇到一个问题,由于没有客户端配置,terraform 无法构建 Rest 客户端。 ╷ │ 错误:失败

回答 1 投票 0

Flink SQL Timestamp 到以毫秒为单位的时间 hh:mm:sss

如何在flink sql中将时间戳转换为hh:mm:sss格式?

回答 1 投票 0

Flink 检查点缓慢/卡住

我有一个配置了检查点的 Pyflink 程序。然而,检查点有时会卡住或超时。 我主要是检查Flink仪表板,有些子任务没有确认...

回答 1 投票 0

在 Apache Flink 中缓存 HDFS 表

我需要读取并缓存 HDFS 中的 parquet 表(该表在另一个 Spark 作业中每天更新一次)。我想缓存它,以便稍后可以将它与我的 Kafka 主题一起加入(该主题在 str...

回答 1 投票 0

Flink-SQL 依赖项:如何在 Marven Repo 中查找

我是apache平台和flink的初学者。我正在尝试查询下面的 Flint-SQL 代码。我有 2 个问题 1 - 我需要找到连接器“文件系统”(在 Maven 存储库或其他地方......

回答 1 投票 0

给Flink类型信息来序列化累加器对象,无需Kryo

我有一个自定义的AggregateFunction,其签名如下: 公共类 CustomAggregateFunction 实现 AggregateFunction { 代码...} 我的

回答 1 投票 0

滑动窗口中如何区分元素和偏移时间?

我想知道是否可以在Apache Flink滑动窗口中区分元素和偏移时间。让我更详细地解释一下。 我想从例如:13:00 到 13:59:59 中获取元素。

回答 1 投票 0

使用 kubernetes 运算符通过 Flink SQL 向 kafka 主题插入数据

我正在尝试运行以下代码: 如果不存在则创建表 some_source_table ( myField1 VARCHAR, myField2 VARCHAR ) 和 ( '连接器' = '卡夫卡', '主题' = '演示', ...

回答 1 投票 0

Pyflink 水印卡住了

这是我的 pyflink 工作。无论我如何尝试,我都无法提前获得水印。 我看到的输出是: 事件:(1, 1000),当前水印:-9223372036854775808 事件:(2000 年 2 月),当前

回答 1 投票 0

MiniClusterWithClientResource 无法定位动态生成的代码

我有一个向客户端公开 GUI 的项目,客户端可以使用拖放功能并可以配置 Flink 源和接收器。 GUI 组件支持多种类型的源和接收器,如

回答 1 投票 0

Flink 1.19.0。在类路径中找不到实现“org.apache.flink.table.delegation.ParserFactory”的标识符“hive”的任何工厂

在 flink 中创建了小型 sql 应用程序。 从kafka读取数据并写入hive。 当应用程序启动时,它会创建与kafka的连接,创建目录,设置hive方言并在h中执行创建表...

回答 1 投票 0

重新启动时无法使用保存点停止 Flink 作业

我使用的是flink 1.19。当其中一位操作员产生异常时(例如,由于某种原因接收器不可用),作业将开始循环重新启动。我希望有机会取消这份工作...

回答 1 投票 0

flink HA by Kubernetes 异常:无法在 configmap 上完成操作;对象已被修改

我部署了flink并通过Kubernetes提供了jobmanager高可用性,但它有时会重新启动。这是我的设置和日志 jobmanager.rpc.地址:flink-jobmanager 高可用性.类型:

回答 1 投票 0

Flink classLoader 不能为 null Kryo

我使用 Flink 1.18.1 Java 11。大约 30 分钟后,我的一个管道开始进入崩溃循环。在任务管理器中我可以看到日志: 线程“Thread-21”java.lang 中出现异常。

回答 1 投票 0

使用 Table API 和 DataStream API 进行数据丰富的复杂 Flink 作业

我构建了一个复杂的 Flink 作业来丰富数据。该作业通过 Kafka 使用来自外部系统的消息,目标是使用 PostgreSQL 中存储的参考数据来丰富这些消息

回答 1 投票 0

Apache Flink 中窗口函数结果元素的时间戳

Flink 文档说“在结果元素上设置的唯一相关信息是元素时间戳 [...],它[设置为]结束时间戳 - 1 [...]” 万一我必须

回答 1 投票 0

具有窗口 CoGroup 和未对齐检查点的 Flink 状态处理器 API

如何使用 Flink State Processor API 处理窗口 CoGroup(或 Join)函数的状态?文档没有给出这样的例子。 有没有办法使用 Flink State Pro...

回答 1 投票 0

© www.soinside.com 2019 - 2024. All rights reserved.