flink-streaming 相关问题

Apache Flink是一个用于可扩展批处理和流数据处理的开源平台。 Flink在一个系统中支持批量和流分析。分析程序可以用Java和Scala中简洁优雅的API编写。

Flink:Table-API 和 DataStream-API 之间的性能差异

让我们假设我有两个操作,我可以使用 PyFlink 中的两个 API 轻松编写这两个操作(例如 TumblingWindow 上的列的总和)。当我使用

回答 1 投票 0

Flink Streaming API FileSink 将每条记录写入 parquet 文件

我使用的是旧的 Flink 1.71,但我认为这与版本无关。我使用 Streaming API FinkSink 将 Arvo GenericRecord 写入镶木地板文件。 它有效,但我得到了 4 条记录的每 4 个文件,尽管

回答 1 投票 0

Apache Flink:带有 ProcessWindowFunction 的 SlidingProcessingTimeWindows 未产生预期输出

所以我有一个非常简单的流管道设置,使用apache flink,从kinesis流数据,我认为这并不重要,但我正在使用AWS的托管Flink环境,也就是说h...

回答 1 投票 0

Apache Flink - 高 promethues 指标基数

在我们的组织中,我们有许多系统在 flink 1.16 上运行。 我们使用 PrometheusReporterFactory。 将我们的指标暴露给 promethues scrape。 由于 flink 的动态标签定义

回答 1 投票 0

Flink java.util.Set 序列化

我遇到了与java.util.List和java.util.Map的Flink序列化所描述的相同的问题,但对于java.util.Set。 我有一个 POJO 类,其中包含列表字段和设置字段。我已经能够...

回答 1 投票 0

由于本机库问题导致 java.lang.NoClassDefFoundError?

我正在尝试在我的 Flink java 作业中使用时区查找服务(https://github.com/dustin-johnson/timezonemap)。 它在本地机器中运行良好,最初在 Flink 服务器中运行良好,但是......

回答 1 投票 0

Flink:无法在类路径中找到实现“org.apache.flink.table.factories.CatalogFactory”的标识符“kafka”的任何工厂

我正在尝试将Kafka连接到Flink并通过sql-client.sh运行。但是,无论我如何处理 .yaml 和库,我都会不断收到错误: 线程“main”org.apache.flink 中出现异常。

回答 2 投票 0

java.util.HashMap 和 java.time.Duration 不是 Flink 的有效 POJO 类型

我的 Flink 1.15 应用程序的日志中有“java.time.Duration”和“java.util.HashMap”的提示: 类 class <*> 不能用作 POJO 类型,因为并非所有字段都是有效的 POJO fie...

回答 1 投票 0

Flink Operator 卡在 100% 繁忙状态,如何解决?

我已将 Flink 集群部署为纱线应用程序。作为纱线配置的一部分,我将 32 个 vCore 关联到每个任务管理器。我还为每个任务管理器分配了 2 个插槽。 工作管道:Kafka

回答 1 投票 0

同一个算子的Bootstrap广播状态和keyed状态

我正在尝试使用 Flink 的状态 API 引导我的操作员广播状态和键控状态,以便创建一个保存点来初始化我的作业。 据我所知,我可以创建一个转换...

回答 1 投票 0

Flink:想在Flink中按顺序创建Pipeline

团队, 我正在研究 Flink。这是我的要求 从 Kafka 读取事件 对事件应用转换 沉入 MongoDB 向 Kafka 生成原子事件 在这里,我面临问题

回答 1 投票 0

如何使用flink运行多个复杂规则

这是我们的用例: 我们计划在 flink 之上构建一个具有大量规则(1000 条)的基于规则的引擎。规则可以是无状态的或有状态的。 无状态规则示例为:A.id = 3 &...

回答 3 投票 0

Flink 间歇性高延迟

我正在使用一个从 Kafka 读取数据流的 Apache Flink 应用程序。应用程序处理流,从数据创建对象并通过标记计算处理时间...

回答 1 投票 0

短期 Flink 作业的指标

我正在启动一个作业(自动检测为批处理),该作业读取 csv(3 条记录)并将相同的内容输出到 Kafka。这项工作大约需要 3 秒才能运行,在结束时,我需要满足一些...

回答 1 投票 0

Flink 中 KeyedCoProcessFunction 的 processElement 函数在连接的 keyed 流上的执行顺序

我们正在使用 Java 创建一个 Flink 应用程序,我们从两个不同的 kafka 主题读取两个数据流,并使用 KeyedCoProcessFunction 找出其中一个流中存在的记录,并且

回答 1 投票 0

Flink - 如何将表结果转换为Datastream

我试图查询一个postgresql表,并将其转换为dataStream: StreamExecutionEnvironment bsEnv = StreamExecutionEnvironment.getExecutionEnvironment(); 流表环境 tEnv =

回答 1 投票 0

flink 为 SlidingWindows 存储什么状态?

当我在 SlidingWindow 上使用聚合函数时,flink 在状态中存储什么? 例如,如果我对大小为 1 小时、滑动时间为 5 分钟的滑动窗口进行聚合计数。这是不是意味着……

回答 1 投票 0

flink 中的水印没有增加

所以我尝试使用未加密的 processFunctions 创建自己的窗口方案。我正在使用来源并想使用水印。我目前的水印实现如下

回答 1 投票 0

如何为Flink kubernetes Operator部署CRD添加标签?

我部署了 Flink kubernetes Operator,在为“FlinkDeployment”部署自定义资源时,我需要向部署规范添加一些元数据标签,因为我们的组织承认我们...

回答 2 投票 0

AWS 管理的 apache flink。 “<someuuid>pyflink/bin/pyflink-udf-runner.sh”:错误=13,权限被拒绝“不使用udfs

我正在尝试在AWS-flink中运行一个非常简单的应用程序。 阿帕奇弗林克 1.18 运动连接器 1.18 Python apache flink == 1.18 使用 pom.xml 为 flink-connector-kin 收集 jar 依赖项...

回答 1 投票 0

© www.soinside.com 2019 - 2024. All rights reserved.