Apache Flink是一个用于可扩展批处理和流数据处理的开源平台。 Flink在一个系统中支持批量和流分析。分析程序可以用Java和Scala中简洁优雅的API编写。
Flink MapState在TTL清除过程中清除映射键的所有值
我要求每个键的最后25秒值都保持在flink映射状态,但是TTL会在25秒后立即删除所有值。请参阅我的代码,在代码列表中包含...
我正在kubernetes(会话群集)上部署一个flink集群,我想知道是否有任何配置(在flink-conf.yaml上),我会将外部jar加载到该集群。据我所知...
如果给flink的keyBy运算符提供不同的键,然后再滚动窗口,会发生什么
我的flink作业具有keyBy运算符,它以date〜clientId(date为yyyymmddhhMM,MM为分钟,5分钟后会改变)作为键。该运算符后面跟随5分钟的滚动窗口。我们有kafka ...
我正在尝试使用flink创建单词计数示例。这是单词数据的链接(这是flink的github帐户的示例)当我用简单的Java程序计算单词时:public static ...
我的流媒体flink作业的检查点时间平均为2-3s(15-20%的时间)和3-4分钟(8-12%的时间),平均2分钟。我们有两个有状态的运算符。首先是kafka消费者作为来源(...
我已经通过Windows终端中的start-cluster.bat启动了Flink群集。使用一个JobManager进程和一个TaskManager进程启动本地集群。您可以终止进程...
如何加入流和数据集?我有一个流,并且文件中有一个静态数据。我想使用文件中的数据来丰富流的数据。示例:在流中,我获取机场代码,在...
假设我有一个事件数据流,我想将其广播到链接到另一个(丰富)地图操作符(map2)的(丰富)地图操作符(map1)。两张地图的平行度相同。什么...
flink-1.2.0]#./bin/flink运行/streaming/mvn-flinkstreaming-scala/mvn-flinkstreaming-scala-1.0.jar群集配置:具有JobManager的独立群集位于localhost / 127.0.0.1:6123使用地址...
Flink:如何配置Flink,以便任务管理器在发生故障后自动重新启动?
[如何配置Flink,以便任务管理器在发生故障后自动重新启动?
对于我们的Flink作业之一,我们发现了导致状态泄漏的状态。要解决此问题,我们需要向导致泄漏的状态添加一个TTL,但是,我们希望保留现有状态(保存点)。如果我们添加一个...
我有一个Flink流应用程序,它在Kyro.copy中花费了大约20%的CPU时间。我可以通过打开对象重用模式来避免这种情况,但是我有一个小问题:我想修改输入...
未在Kubernetes(副本)中的多个TaskManager上调度Apache Flink作业
我有一个简单的Flink作业,它从ActiveMQ源和接收器读取到数据库并打印。我在Kubernetes中使用2个TaskManager部署了该作业,每个TaskManager的任务槽均为10(taskmanager ....
Flink没有向Elasticsearch添加任何数据,但没有错误
[伙计,我对所有这些数据流处理过程都是陌生的,但是我能够构建并提交Flink作业,该作业将从Kafka读取一些CSV数据并将其聚合,然后将其放入Elasticsearch。我能够...
Apache Flink-作业部署期间重复的消息处理,以ActiveMQ为源
给出,我有一个Flink作业,该作业从ActiveMQ源读取并写入mysql数据库-键入标识符。我每隔一秒钟就为此工作启用检查点。我指出了检查点...
我是Flink的新手,我需要从Kafka读取数据,使用某些API有条件地充实这些数据(如果记录属于X类),并写入S3。我打了个世界...
我的程序想在没有Flink窗口的情况下加入两个流。我连接两个流并定义一个类A扩展RichCoFlatMapFunction来处理它们。在A类中,我使用番石榴缓存来保存所有...
Flink DataStream是否具有像mapPartition这样的api?
我想在stream.map()中使用不可序列化的对象,例如stream.map {i => val obj = new SomeUnserializableClass()obj.doSomething(i)}这效率很低,因为我创建了许多.. 。
我有以下非常简单的Apache Flink管道,我想通过Apache Flink仪表板获取一些度量,如Apache Flink文档中所述:import org.apache ....
使用flink将hdfs中的kafka数据存储为拼花格式,我正在尝试使用不起作用的fink文档。我找不到任何适当的文档来将其存储为实木复合地板文件...