apache-flink 相关问题

Apache Flink是一个用于可扩展批处理和流数据处理的开源平台。 Flink在一个系统中支持批量和流分析。分析程序可以用Java和Scala中简洁优雅的API编写。

Flink是否以有效的方式创建渠道?

我正在检查如何创建连接客户端的apache Flink代码:https://github.com/apache/flink/blob/master/flink-runtime/src/main/java/org/apache/flink/runtime/io/network /网状/ ...

回答 1 投票 0

尝试升级到flink 1.3.1时出现异常

我尝试将我的群集中的flink版本升级到1.3.1(以及1.3.2)并且我的任务管理器中出现以下异常:2018-02-28 12:57:27,120 ERROR org.apache.flink。 streaming.runtime ....

回答 1 投票 4

Flink:在Flink集群上执行Jar文件

我在2个不同的物理节点上使用flink集群和9个任务管理器。当我将罐子提交给Flink的Jobmanager(Master)时,罐子究竟发生了什么。我的意思是,罐子得到了......

回答 1 投票 1

如何使用flink流式传输json?

我实际上正在处理一个流,收到一堆字符串,需要计算所有字符串。总和是加重的,这意味着第二个记录的总和被添加到前一天...

回答 1 投票 1

Flink BucketingSink与NoClassDefFoundError崩溃:Lorg / apache / hadoop / fs / FileSystem

尝试使用flink的版本:1.4.0,1.4.1,1.4.2当我尝试使用这个简单的flink应用程序时,我需要使用val env:StreamExecutionEnvironment = StreamExecutionEnvironment.getExecutionEnvironment env ....

回答 1 投票 2

无法让cURL命令在Postman中工作

我无法让我的cURL命令在Postman中工作。我迷失了Expect标头的工作原理。删除expect标头时,我的cURL命令中断。我甚至没有提供该标题的值?...

回答 1 投票 0

为Yarn Cluster中的Flink Job设置Flink Checkpoint的路径动态

我正在使用Yarn来运行Flink作业。对于每个Flink工作,我正在创建一个检查点。我提交了一个在我的Yarn集群中运行的Flink作业。我有一个民意调查工作,检查工作是否在纱线上失败...

回答 1 投票 0

如何使用Apache Flink阅读Cassandra?

我的flink程序应该对每个输入记录进行Cassandra查找,并根据结果进行一些进一步的处理。但我目前仍在阅读Cassandra的数据。这是......

回答 1 投票 0

任务不可序列化Flink

我试图在flink中进行pagerank基本示例,只需稍加修改(仅在读取输入文件时,其他一切都是相同的)我得到错误,因为任务不可序列化和...

回答 1 投票 4

Flink如何处理不适合内存的窗口和分区?

在阅读了Flink如何管理内存之后,传递给DataSet#mapPartitions或KeyedWindowedStream #process的输入是否是一个惰性集合仍然不明显。有......

回答 1 投票 0

Apache Flink - kafka生产者将消息传递给kafka主题,但在不同的分区上

现在我的flink代码正在处理一个文件并使用1分区将kafka主题上的数据下沉。现在我有一个带有2分区的主题,我希望flink代码在这两个分区上使用...

回答 1 投票 0

Flink:SocketWindowCount示例的结果不是我的预期

我是陌生人。我按照flink网站上的快速入门,在一台机器上部署flink。在我执行“./bin/flink run examples / streaming / SocketWindowWordCount.jar --port 9000”后输入...

回答 1 投票 0

我可以使用group by的自定义分区程序吗?

假设我知道我的数据集是不平衡的,我知道密钥的分布。我想利用它来编写自定义分区器以充分利用运算符实例。我知道 ...

回答 1 投票 1

Flink Twitter Streaming示例不适用于自定义端点

我正在扩展github上的flink连接器以获取自定义URL的twitter流,尽管我能够获得示例代码中给出的随机推文,但是当我给出自定义URL时,推文...

回答 1 投票 1

Apache flink:使用keyBy / connect维护流中的消息输入顺序

介绍我正在使用apache flink构建一个相当复杂的数据流网络。这个想法是,用flink实现规则引擎。作为应用程序的基本描述,它是如何...

回答 1 投票 1

使用Flink和Gelly无法实现高CPU利用率

我已经尝试使用Flink流媒体一段时间,使用雅虎流媒体基准测试等基准:https://github.com/yahoo/streaming-benchmarks应该给系统带来压力,但......

回答 1 投票 3

Flink中的java.lang.NoSuchMethodError

我尝试使用以下命令读取文件:final ExecutionEnvironment env = ExecutionEnvironment.getExecutionEnvironment();数据集 line = env.readTextFile(“file:///pathtofile/myfile.txt”);一世 ...

回答 6 投票 1

集成 - Apache Flink + Spring Boot

我正在测试Apache Flink和Spring Boot之间的集成,在IDE上运行它们很好,但是当我尝试在Apache Flink Cluster上运行时,我遇到了一个与ClassLoader相关的异常。课程......

回答 1 投票 3

无法在Google Cloud Dataproc上启动Apache Flink 1.7

我使用Hadoop 2.9.2启动了Dataproc集群,下载了Flink 1.7.2并尝试使用以下命令启动它:./ bin / yarn-session.sh -n 2此操作失败并显示以下错误消息:...

回答 2 投票 0

Flink,检查点的基本规则?

我有两个关于Flink检查点策略的问题,我知道检查点与状态有关(对吗?),所以如果我没有在我的工作代码中明确使用状态(ValueState类型的东西),那么我...

回答 1 投票 0

© www.soinside.com 2019 - 2024. All rights reserved.