flink-streaming 相关问题

Apache Flink是一个用于可扩展批处理和流数据处理的开源平台。 Flink在一个系统中支持批量和流分析。分析程序可以用Java和Scala中简洁优雅的API编写。

检查点恢复过程如何工作?

我正在尝试了解检查点恢复的过程,到目前为止,我只发现了有关增量检查点机制如何工作的信息。通常,当你谈论备份时......

回答 1 投票 1

在Flink中处理偏斜数据的其他选项有哪些?

我正在研究Flink中的数据偏斜处理以及如何更改物理分区的低级控制以便对元组进行均匀处理。我创建了合成偏斜数据源......

回答 1 投票 0

国家后端的澄清

我一直在阅读Flink文档,我需要一些澄清。希望有人可以帮助我。状态后端 - 这基本上是指我的操作数据所在的位置......

回答 1 投票 1

除了脂肪罐之外的所有东西都在dockerized flink cluster中失败了

我有一个容器化的flink集群,有一个独立的JobManager和2个任务管理器。当我提交一个只需要我需要的连接器和我的代码的胖罐子时,一切都运行正常,但只有我的......

回答 1 投票 0

Flink:如何仅在第一个元素上启动CustomTrigger中的处理时间计时器?

我正在为我的应用程序使用GlobalWindow和自定义Trigger。根据要求,在Trigger函数中,我只需要在窗口的第一个元素上启动一个处理时间计时器。一世 ...

回答 1 投票 0

在WindowedStream中查找计数 - 快速

我在Streams的世界里很新,我在第一次尝试时遇到了一些问题。更具体地说,我试图使用Flink在滑动窗口中实现count和groupBy功能。一世 '...

回答 2 投票 0

Apache Flink:IDE执行中的作业恢复无法按预期工作

我有一个用Flink(Scala)编写的示例流式WordCount示例。在其中,我想使用外化检查点来恢复以防失败。但它没有按预期工作。我的代码是......

回答 1 投票 0

一个流中几个不同字段的平均值

我还没有选择流媒体框架,但我现在正在搞乱Flink。但是,我愿意使用Beam,Spark Streaming,无论我想出什么都适合我的用例。你会怎么做......

回答 1 投票 0

用于flink中事件时间特征的滑动窗口

我是Flink的新手,需要帮助。我有时间粒度为5分钟的事件流。我想通过使用最近1小时数据的历史事件调用rest API来获取事件的元数据...

回答 1 投票 0

Flink如何为运营商保存状态?

我在我的Flink作业中有检查点设置,它有2个滑动窗口(这些不是连接)和1个翻滚窗口连接。我的想法是,我真的不需要为连接本身保存状态......

回答 2 投票 0

如何从flink中的本地套接字消费,在端口号后面有“/ *”,其中*是源的其余部分?

我是apache-flink的新手,我需要处理来自akka本地scoket的一些数据,这些数据正在流式传输到'ws:// localhost:9000 / ws'在flink API中,我只能找到一个名为'socketTextStream'的函数...

回答 1 投票 0

flink如何将特征反序列化为大小写

我正在使用Flink的(1.7.2)kafka消费者。如何反序列化扩展相同特征的几个案例类?例如import spray.json。{DefaultJsonProtocol,RootJsonFormat} trait Foo case class Boo(...

回答 1 投票 0

如何从选定的源(不一定是最后一个检查点)重启后恢复状态

我一直试图从以前的检查点重新启动我的Apache Flink而没有太多运气。我已将代码上传到GitHub,这是主要的类:https://github.com/edu05/wordcount/blob/restart/src / ...

回答 1 投票 0

Flink SQL是否支持Java Map类型?

我正在尝试使用Flink的SQL API从地图访问密钥。它在线程“main”中出现错误异常org.apache.flink.table.api.TableException:不支持类型:ANY请告知如何...

回答 2 投票 1

Flink:无法在类路径中为'org.apache.flink.table.factories.DeserializationSchemaFactory'找到合适的表工厂

我正在使用flink的表api,我从kafka接收数据,然后将其注册为表,然后我使用sql语句进行处理,最后将结果转换回流,写入目录,...

回答 2 投票 0

当制作人(kafka)不产生新行时,如何让Flink刷新最后一行

当我的Flink程序处于事件时间模式时,接收器将不会获得最后一行(比如A行)。如果我将新线(线B)馈送到Flink,我将获得A线,但我仍然无法得到线b。 val env = ...

回答 2 投票 0

每次都不能从processElement函数中使用BroadCastState

我想第一次使用BroadCastState。我按照文档中的一个小例子测试了它。我使用KeyedBroadcastProcessFunction并从...更新Map状态

回答 1 投票 0

Flink 1.7.0仪表板不显示任务统计信息

我使用Flink 1.7仪表板并选择流媒体作业。这应该向我展示一些指标,但它仍然需要加载。我在Flink 1.5集群中部署了相同的工作,我可以查看指标。 Flink是......

回答 1 投票 1

FLINK中的KeyBy(key1或key2)可以吗?

在Flink中有没有办法使用keyby(key1或key2)(ORing键)我不是指keyBy(0,1)我需要将带有key1的元素或带有key2的元素转发到同一节点。

回答 1 投票 0

Apache Flink:如何实现SourceFunction?

我已经实现了一个从URL中获取数据(String)的SourceFunction。然后我正在执行该数据的keyBy()并应用一个10分钟的窗口。现在SourceFunction只被调用一次而且......

回答 1 投票 1

© www.soinside.com 2019 - 2024. All rights reserved.