apache-flink 相关问题

Apache Flink是一个用于可扩展批处理和流数据处理的开源平台。 Flink在一个系统中支持批量和流分析。分析程序可以用Java和Scala中简洁优雅的API编写。

Flink在EMR上写入S3

我正在尝试使用带有Flink的EMR将一些输出写入S3。我使用的是Scala 2.11.7,Flink 1.3.2和EMR 5.11。但是,我收到以下错误:java.lang.NoSuchMethodError:org.apache.hadoop ....

回答 1 投票 1

如何正确处理自定义MapFunction中的错误?

我为Apache Flink流程实现了MapFunction。它正在解析传入的元素并将它们转换为其他格式,但有时会出现错误(即传入的数据无效)。我看到两个......

回答 2 投票 7

Apache flink如何在节点之间分配数据?

我已经设置了一个2节点的独立Apache Flink集群。对于少量数据(70 MB),2的并行性需要更多的时间(2分30秒)来处理,因为1的并行性只需要18 ...

回答 1 投票 0

Flink的CoProcessFunction不会触发onTimer

我尝试聚合两个流,如val joinedStream = finishResultStream.keyBy(_。searchId).connect(startResultStream.keyBy(_。searchId))。process(new SomeCoProcessFunction)然后......

回答 2 投票 0

实质+卡夫卡:getHostnamePort

我想从flink包Toletum.pruebas中读一个kafka主题; import org.apache.flink.api.common.functions.MapFunction; import org.apache.flink.api.java.utils.ParameterTool; ...

回答 2 投票 4

Apache Flink:无法将Table对象转换为DataSet对象

我在Flink 1.4.0上使用Table API。我有一些Table对象要转换为Row类型的DataSet。该项目使用Maven构建并在IntelliJ上导入。我有以下代码和......

回答 2 投票 0

“有状态”和“无国籍”系统有什么区别?

Apache Spark认为其运营商(节点)是“无状态的”。这使得Spark的架构可以使用更简单的协议来处理恢复,负载平衡和处理落后者等问题。在...上

回答 1 投票 3

排序后的Flink join运算符似乎是组字段(Scala)

我使用Flink实现了一个简单的Scala对象来使用连接运算符。之后我把连接运算符显示我的结果我决定按第一个字段对输出进行排序。好像......

回答 1 投票 0

Apache Flink中的TimeCharacteristics和TimerService

我目前正在编写关于Apache Flink中的流处理的本教程,并且对于StreamEnvironment的TimeCharacteristics如何影响数据值的顺序有点困惑...

回答 1 投票 0

命名Flink运算符

我正在使用Flink v.1.4.0。我希望能够在Flink UI中命名运算符。我知道要这样做我只需要在DataSet或DataStream上使用.name()方法。例如, ...

回答 2 投票 2

在Flink中检查事件时间水印

我们正在接受一个号码的活动。独立数据源,因此,到达我们的Flink拓扑(通过Kafka)的数据将是无序的。我们正在创建1分钟的活动时间窗...

回答 1 投票 2

为什么Flink使用Yarn?

我正在深入研究Flink,看看我如何在项目中使用它并对创建者/高级思考者提出问题...为什么Flink使用Yarn作为默认资源管理器?是......

回答 1 投票 2

FLINK:如何使用相同的StreamExecutionEnvironment从多个kafka集群中读取

我想从FLINK中的多个KAFKA集群中读取数据。但结果是kafkaMessageStream只从第一个Kafka读取。只有我有2个才能从两个Kafka集群中读取...

回答 1 投票 2

如何从Apache Flink写入Elasticsearch

我正在尝试将Flink连接到Elasticsearch,当我运行Maven项目时,我有这个错误:或者另一种方法,我使用这个例子:https://github.com/keiraqz/KafkaFlinkElastic

回答 1 投票 2

Apache Flink:如何删除选择查询中的重复项?

如何使用Apache fFlink删除SELECT查询中的重复项?我的表是:我想删除ID中的重复项以保持最大范围

回答 1 投票 1

在Flink中广播HashMap

我正在使用Flink v.1.4.0。我正在使用DataSet API,我想尝试的一件事与Apache Spark中广播变量的使用方式非常相似。实际上,我想申请......

回答 1 投票 1

java.lang.NoSuchMethodError在flink进程中使用Java反射的异常

我正在尝试使用谷歌反射库扩展flink过程的业务逻辑。我在运行时遇到了这个异常。有人试验过同样的问题。我怀疑是maven冲突......

回答 1 投票 1

如何连接到flink elasticsearch版本6.2.2到flink 1.4.1

我使用elasticsearch 6.2.2作为flink中的接收器,但是在阅读apache flink文档时,我可以看到elasticserver版本5.x的连接器,但没有提到6.x的连接器。眨眼......

回答 2 投票 0

HTTP内容长度超过10485760字节 - Flink 1.5-SNAPSHOT

当我尝试向Flink 1.5-SNAPSHOT提交作业时,它会抛出异常org.apache.flink.shaded.netty4.io.netty.handler.codec.TooLongFrameException:HTTP内容长度超过10485760字节。一世 ...

回答 1 投票 -2

无法在flink应用程序中的主节点和工作节点之间进行通信

我试图在多节点群集上运行flink应用程序。我发现slave节点找不到/root/miniconda2/bin/python2.7:无法打开文件'/ root / ranjan / logs / flink-dist-cache-3fc26a73 -...

回答 1 投票 0

© www.soinside.com 2019 - 2024. All rights reserved.