flink-streaming 相关问题

Apache Flink是一个用于可扩展批处理和流数据处理的开源平台。 Flink在一个系统中支持批量和流分析。分析程序可以用Java和Scala中简洁优雅的API编写。

Flink MapState在TTL清除过程中清除映射键的所有值

我要求每个键的最后25秒值都保持在flink映射状态,但是TTL会在25秒后立即删除所有值。请参阅我的代码,在代码列表中包含...

回答 1 投票 0

kubernetes上的flink将外部jar加载到集群中

我正在kubernetes(会话群集)上部署一个flink集群,我想知道是否有任何配置(在flink-conf.yaml上),我会将外部jar加载到该集群。据我所知...

回答 1 投票 0

如果给flink的keyBy运算符提供不同的键,然后再滚动窗口,会发生什么

我的flink作业具有keyBy运算符,它以date〜clientId(date为yyyymmddhhMM,MM为分钟,5分钟后会改变)作为键。该运算符后面跟随5分钟的滚动窗口。我们有kafka ...

回答 1 投票 0

使用Flink时,字数始终在变化

我正在尝试使用flink创建单词计数示例。这是单词数据的链接(这是flink的github帐户的示例)当我用简单的Java程序计算单词时:public static ...

回答 1 投票 0

flink检查点时间与缓冲区对齐大小或对齐时间有何关系?

我的流媒体flink作业的检查点时间平均为2-3s(15-20%的时间)和3-4分钟(8-12%的时间),平均2分钟。我们有两个有状态的运算符。首先是kafka消费者作为来源(...

回答 1 投票 0

Apache Flink:可用任务插槽0

我已经通过Windows终端中的start-cluster.bat启动了Flink群集。使用一个JobManager进程和一个TaskManager进程启动本地集群。您可以终止进程...

回答 1 投票 0

如何加入流和数据集?

如何加入流和数据集?我有一个流,并且文件中有一个静态数据。我想使用文件中的数据来丰富流的数据。示例:在流中,我获取机场代码,在...

回答 1 投票 0

Flink:广播运营商链接

假设我有一个事件数据流,我想将其广播到链接到另一个(丰富)地图操作符(map2)的(丰富)地图操作符(map1)。两张地图的平行度相同。什么...

回答 1 投票 0

flink scala流媒体错误java.lang.NoSuchMethodError:org.apache.flink.util.PropertiesUtil.getBoolean(Ljava / util / Properties; Ljava / lang / String; Z)Z

flink-1.2.0]#./bin/flink运行/streaming/mvn-flinkstreaming-scala/mvn-flinkstreaming-scala-1.0.jar群集配置:具有JobManager的独立群集位于localhost / 127.0.0.1:6123使用地址...

回答 1 投票 0

Flink:如何配置Flink,以便任务管理器在发生故障后自动重新启动?

[如何配置Flink,以便任务管理器在发生故障后自动重新启动?

回答 1 投票 -1

Flink将TTL添加到现有值状态

对于我们的Flink作业之一,我们发现了导致状态泄漏的状态。要解决此问题,我们需要向导致泄漏的状态添加一个TTL,但是,我们希望保留现有状态(保存点)。如果我们添加一个...

回答 1 投票 1

Flink对象重用:修改输入对象?

我有一个Flink流应用程序,它在Kyro.copy中花费了大约20%的CPU时间。我可以通过打开对象重用模式来避免这种情况,但是我有一个小问题:我想修改输入...

回答 1 投票 1

未在Kubernetes(副本)中的多个TaskManager上调度Apache Flink作业

我有一个简单的Flink作业,它从ActiveMQ源和接收器读取到数据库并打印。我在Kubernetes中使用2个TaskManager部署了该作业,每个TaskManager的任务槽均为10(taskmanager ....

回答 1 投票 0

Flink没有向Elasticsearch添加任何数据,但没有错误

[伙计,我对所有这些数据流处理过程都是陌生的,但是我能够构建并提交Flink作业,该作业将从Kafka读取一些CSV数据并将其聚合,然后将其放入Elasticsearch。我能够...

回答 1 投票 0

Apache Flink-作业部署期间重复的消息处理,以ActiveMQ为源

给出,我有一个Flink作业,该作业从ActiveMQ源读取并写入mysql数据库-键入标识符。我每隔一秒钟就为此工作启用检查点。我指出了检查点...

回答 1 投票 1

将kafka链接到S3,然后重试

我是Flink的新手,我需要从Kafka读取数据,使用某些API有条件地充实这些数据(如果记录属于X类),并写入S3。我打了个世界...

回答 1 投票 0

Flink1.5.4例外:数据流损坏,找到的标记:105

我的程序想在没有Flink窗口的情况下加入两个流。我连接两个流并定义一个类A扩展RichCoFlatMapFunction来处理它们。在A类中,我使用番石榴缓存来保存所有...

回答 1 投票 0

Flink DataStream是否具有像mapPartition这样的api?

我想在stream.map()中使用不可序列化的对象,例如stream.map {i => val obj = new SomeUnserializableClass()obj.doSomething(i)}这效率很低,因为我创建了许多.. 。

回答 1 投票 1

Apache Flink仪表板未显示指标

我有以下非常简单的Apache Flink管道,我想通过Apache Flink仪表板获取一些度量,如Apache Flink文档中所述:import org.apache ....

回答 1 投票 2

使用flink将hdfs中的kafka数据存储为拼花格式?

使用flink将hdfs中的kafka数据存储为拼花格式,我正在尝试使用不起作用的fink文档。我找不到任何适当的文档来将其存储为实木复合地板文件...

回答 1 投票 0

© www.soinside.com 2019 - 2024. All rights reserved.