Apache Flink是一个用于可扩展批处理和流数据处理的开源平台。 Flink在一个系统中支持批量和流分析。分析程序可以用Java和Scala中简洁优雅的API编写。
我已成功使用flink-json工件中的JsonRowSerializationSchema来创建TableSink 并使用ROW从SQL输出json。它适用于发送平面数据:INSERT ...
我试图在Flink(版本1.4.2)上使用可查询状态但不幸的是我一直收到以下错误:INFO my.test.flink.QueryableState - Params是a96438fa12879b7598c9cf32684e2669,...
现在我们在Flink中使用带有花式窗口的SQL,我试图将“衰减移动平均值”称为“未来Flink版本中Table API和SQL的可能性。”来自他们......
我最近无法将任何jar上传到我的Flink集群,在AWS EMR上的YARN下运行。有一个长期运行的流应用程序运行了26天。看起来像临时......
我试图使用Flink 2.1.0从mysql日志表中读取流数据,但是,它只读取一次然后它将停止进程。如果有传入的数据,我希望它能继续读取...
我的应用程序使用一个由时间戳函数键入的键控窗口。这意味着一旦特定窗口被触发并处理,就没有用来保持该键处于活动状态,因为......
假设有一个有限的DataStream(例如来自数据库源),其中包含事件a1,a2,...,an。如何将另外一个事件b附加到此流以获取a1,a2,...,an,b(即输出...
我一直在研究flink。我对flink中的内存管理有疑问。如何在flink中管理内存。在flink中是否有类似“火花中的块”的类似功能?请让 ...
阅读Flink教程示例,我想知道Flink如何将DAG节点分配给Flink集群中的不同任务槽。任何指针都将非常感激。 val windowCounts = text ...
Flink如何处理IterativeStream中的检查点和状态?
我可以在文档中看到:Flink目前只为没有迭代的作业提供处理保证。在迭代作业上启用检查点会导致异常。为了 ...
自定义FileInputFormat始终将一个filesplit分配给一个插槽
我一直在为我们的s3桶编写protobuf记录。我想用flink数据集api从中读取。所以我实现了一个自定义的FileInputFormat来实现这一点。代码如下。上市 ...
我有一个有趣的用例,我想用Flink测试。我有一个传入的消息流,通过PASS或FAIL。现在,如果消息是FAIL类型,我有一个下游......
在Flink中的聚合原语中具有等效于HOP_START的功能
我试图在Flink SQL的跳跃窗口上做一个指数衰减的移动平均值。我需要访问窗口的一个边框,HOP_START如下:SELECT ...
我们正在考虑在过去5到10分钟内使用Flink SQL对实时kafka数据进行临时分析。为了实现这一点,我们似乎需要扩展Kafka连接器才能让它只读...
我正在尝试使用Flink进行从CSV文件加载的(已排序)时间戳事件的基本聚合。我告诉Flink使用事件时间:env.setStreamTimeCharacteristic(TimeCharacteristic.EventTime)然后......
我们正在尝试构建一个用例,其中来自流的数据通过计算公式运行,但公式本身也应该(很少)可更新。从阅读文档,似乎......
Flink Streaming:TriggerResult.FIRE和TriggerResult.FIRE_AND_PURGE之间的差异
我是Flink的新手。我有一个Flink流媒体程序,在10秒会话窗口中计算kafka的内容。这是我的问题:会话窗口默认触发器是FIRE。请Flink流媒体......
这是一个后续问题:状态到期时触发我正在存储流中每个传入元素的状态,并且在定时器关闭后,我删除状态。这是我可以阻止...
尽管Flink有一些内置的工具来处理迟到的数据,比如允许迟到,但我想自己处理后期数据。例如,我想监视迟到的事件或只是将它们保存到...
该文件称Bucketer将根据当前系统时间分配给桶。我想知道如果我可以根据事件时间分配存储桶?