flink-streaming 相关问题

Apache Flink是一个用于可扩展批处理和流数据处理的开源平台。 Flink在一个系统中支持批量和流分析。分析程序可以用Java和Scala中简洁优雅的API编写。

使用ROW()进行嵌套数据结构

我已成功使用flink-json工件中的JsonRowSerializationSchema来创建TableSink 并使用ROW从SQL输出json。它适用于发送平面数据:INSERT ...

回答 1 投票 1

Flink可查询状态错误

我试图在Flink(版本1.4.2)上使用可查询状态但不幸的是我一直收到以下错误:INFO my.test.flink.QueryableState - Params是a96438fa12879b7598c9cf32684e2669,...

回答 1 投票 0

Flink SQL中跳跃窗口的指数衰减移动平均值:转换时间

现在我们在Flink中使用带有花式窗口的SQL,我试图将“衰减移动平均值”称为“未来Flink版本中Table API和SQL的可能性。”来自他们......

回答 1 投票 0

Flink Temp Jar上传目录已删除

我最近无法将任何jar上传到我的Flink集群,在AWS EMR上的YARN下运行。有一个长期运行的流应用程序运行了26天。看起来像临时......

回答 1 投票 0

Flink 1.2.0 jdbc从Mysql读取流数据

我试图使用Flink 2.1.0从mysql日志表中读取流数据,但是,它只读取一次然后它将停止进程。如果有传入的数据,我希望它能继续读取...

回答 1 投票 2

如何在处理键控窗口后立即清除状态?

我的应用程序使用一个由时间戳函数键入的键控窗口。这意味着一旦特定窗口被触发并处理,就没有用来保持该键处于活动状态,因为......

回答 1 投票 0

Flink:将事件附加到有限DataStream的末尾

假设有一个有限的DataStream(例如来自数据库源),其中包含事件a1,a2,...,an。如何将另外一个事件b附加到此流以获取a1,a2,...,an,b(即输出...

回答 2 投票 0

Apache flink乐谱

我一直在研究flink。我对flink中的内存管理有疑问。如何在flink中管理内存。在flink中是否有类似“火花中的块”的类似功能?请让 ...

回答 1 投票 0

Flink如何将DAG节点分配给不同的任务槽?

阅读Flink教程示例,我想知道Flink如何将DAG节点分配给Flink集群中的不同任务槽。任何指针都将非常感激。 val windowCounts = text ...

回答 1 投票 0

Flink如何处理IterativeStream中的检查点和状态?

我可以在文档中看到:Flink目前只为没有迭代的作业提供处理保证。在迭代作业上启用检查点会导致异常。为了 ...

回答 1 投票 0

自定义FileInputFormat始终将一个filesplit分配给一个插槽

我一直在为我们的s3桶编写protobuf记录。我想用flink数据集api从中读取。所以我实现了一个自定义的FileInputFormat来实现这一点。代码如下。上市 ...

回答 1 投票 0

状态到期时Flink触发

我有一个有趣的用例,我想用Flink测试。我有一个传入的消息流,通过PASS或FAIL。现在,如果消息是FAIL类型,我有一个下游......

回答 1 投票 0

在Flink中的聚合原语中具有等效于HOP_START的功能

我试图在Flink SQL的跳跃窗口上做一个指数衰减的移动平均值。我需要访问窗口的一个边框,HOP_START如下:SELECT ...

回答 1 投票 0

使用Flink在过去10分钟内处理kafka消息?

我们正在考虑在过去5到10分钟内使用Flink SQL对实时kafka数据进行临时分析。为了实现这一点,我们似乎需要扩展Kafka连接器才能让它只读...

回答 1 投票 0

timeWindow没有考虑事件时间

我正在尝试使用Flink进行从CSV文件加载的(已排序)时间戳事件的基本聚合。我告诉Flink使用事件时间:env.setStreamTimeCharacteristic(TimeCharacteristic.EventTime)然后......

回答 1 投票 0

如何初始化Flink广播状态?

我们正在尝试构建一个用例,其中来自流的数据通过计算公式运行,但公式本身也应该(很少)可更新。从阅读文档,似乎......

回答 1 投票 0

Flink Streaming:TriggerResult.FIRE和TriggerResult.FIRE_AND_PURGE之间的差异

我是Flink的新手。我有一个Flink流媒体程序,在10秒会话窗口中计算kafka的内容。这是我的问题:会话窗口默认触发器是FIRE。请Flink流媒体......

回答 1 投票 1

Flink计时器未按时执行

这是一个后续问题:状态到期时触发我正在存储流中每个传入元素的状态,并且在定时器关闭后,我删除状态。这是我可以阻止...

回答 1 投票 0

Apache Flink:如何将自定义逻辑应用于延迟事件?

尽管Flink有一些内置的工具来处理迟到的数据,比如允许迟到,但我想自己处理后期数据。例如,我想监视迟到的事件或只是将它们保存到...

回答 2 投票 1

铲斗水槽是否有可能在活动时间创建桶?

该文件称Bucketer将根据当前系统时间分配给桶。我想知道如果我可以根据事件时间分配存储桶?

回答 1 投票 0

© www.soinside.com 2019 - 2024. All rights reserved.