flink-streaming 相关问题

在Flink中使用相同的滑动窗口加入两个以上的流

我应该将3个流A，B和C合并为一个流，因此将其称为ABC并对其进行一些操作。重要的是，我要使用X大小的滑动窗口和Y大小的滑动窗口，其中Y <= ...

如何将FlatMap映射到Apache Flink中的数据库？

我正在使用Apache Flink尝试将JSON记录从Kafka获取到InfluxDB，然后在处理过程中将它们从一个JSON记录拆分为多个InfluxDB点。我发现了flatMap转换，感觉...

Flink连接的带退出者的流中的不同输出

我正在尝试通过在本地联接两个DataStream来通过Flink运行基本联接。源流的数据类型相同（Tuple4（String，String，Long，Long））。运行下面提到的...

在Flink中解析JSON时如何处理异常

我正在使用flink 1.4.2从Kafka读取数据，并使用JSONDeserializationSchema将其解析为ObjectNode。如果传入记录不是有效的JSON，则我的Flink作业将失败。我想跳过...

使用Flink SQL优化的Top-N查询

我正在尝试使用Flink SQL运行流式top-n查询，但无法获得Flink文档中概述的“优化版本”。设置如下：我有一个Kafka主题，其中每条记录...

可以使用输入流中的时间戳在Flink中创建翻滚窗口。如果是，那么如何？

我一直在尝试在Flink-Kafka使用者上使用翻转窗口。 Flink将以Json格式从KafkaStream接收输入：> {“ eventGroup”：“ 1121212”，“ eventTime”：“ 2020-01-02T13：43：43”}> {...

Flink程序中涉及矩阵运算的错误

flink程序在本地正常运行，但是打包后总是无法上传到服务器，并显示以下消息：java.lang.NoClassDefFoundError：org / netlib / blas / Dgemm ...

Flink检查点/保存点类变量吗？

如果Flink应用程序在故障后启动或更新，是否持久存在那些不是KeyedState或OperatorState的一部分的类变量？例如，...

使用Flink在DynamoDB表中汇总电影租借信息

大家节日快乐！ tl; dr：我需要聚合存储在一个DynamoDB表中的电影租赁信息，并将聚合的运行总计存储在另一张表中。如何确保...

Flink SQL实时数据和历史数据

我正在开发一个应用程序，该应用程序要在输入流源（Kafka）和历史数据上运行Flink SQL。我最初的想法是将流媒体源中的所有消息都存储在状态...

合并会话和翻滚窗口：与每个键的第一个事件对齐的时间窗口

我在这里了解了flink的窗口分配器：https://ci.apache.org/projects/flink/flink-docs-stable/dev/stream/operators/windows.html#window-assigners，但我不能找到解决我问题的方法。...

合并会话和翻滚窗口：与每个键的第一个事件对齐的时间窗口

我在这里了解了flink的窗口分配器：https://ci.apache.org/projects/flink/flink-docs-stable/dev/stream/operators/windows.html#window-assigners，但我不能找到解决我问题的方法。...

合并会话和翻滚窗口

我在这里了解了flink的窗口分配器：https://ci.apache.org/projects/flink/flink-docs-stable/dev/stream/operators/windows.html#window-assigners，但我不能找到解决我问题的方法。...

如何使用Flink对乱序事件时间流进行排序

此问题涵盖了如何使用Flink SQL对无序流进行排序，但是我宁愿使用DataStream API。一种解决方案是使用使用PriorityQueue缓冲...的ProcessFunction来实现此目的...

在Flink流传输期间删除插槽后是否可以恢复

我有一个独立的群集，其中有一个带有1小时事件时间窗口的Flink流作业。运行2-3小时后，作业死于“ org.apache.flink.util.FlinkException：分配的插槽...

如何动态地添加一个钩子而没有太多的开销？

假设我具有这样的processElement函数：class InputProcessor {public void processElement（T element）{nextOperator.processElement（element）; }}现在，我想添加...

如何在Flink中使用ListState用于BroadcastProcessFunction

我们有一个包含交易的非密钥数据流和一个包含规则的广播流。实际上，我们希望基于最后看到的规则处理交易。如果我们最后一次看到的规则是...

Flink：为流的每个传入元素评估窗口

我有以下形式的Booking元素流：Booking（id = B1，driverId = D1，time = t1，location = l1）Booking（id = B2，driverId = D2，time = t2，location = l2）我需要按位置查找...

是否存在一些良好的开源连接器，可以实现从InfluxDB到Flink的数据传输

当我们尝试构建自己的时态数据库系统时，我的团队遇到了一些问题。从头开始，我们尝试了解influx DB和Flink之间的数据传输过程。我们的...

如何在Flink流中在进程级缓存局部变量？

在Flink任务实例内部，当事件到来时我需要访问远程Web服务以获取一些数据，但是我不想每次事件到来时都访问远程Web服务，所以我需要...]]