Apache Flink是一个用于可扩展批处理和流数据处理的开源平台。 Flink在一个系统中支持批量和流分析。分析程序可以用Java和Scala中简洁优雅的API编写。
我正在检查如何创建连接客户端的apache Flink代码:https://github.com/apache/flink/blob/master/flink-runtime/src/main/java/org/apache/flink/runtime/io/network /网状/ ...
我尝试将我的群集中的flink版本升级到1.3.1(以及1.3.2)并且我的任务管理器中出现以下异常:2018-02-28 12:57:27,120 ERROR org.apache.flink。 streaming.runtime ....
我在2个不同的物理节点上使用flink集群和9个任务管理器。当我将罐子提交给Flink的Jobmanager(Master)时,罐子究竟发生了什么。我的意思是,罐子得到了......
我实际上正在处理一个流,收到一堆字符串,需要计算所有字符串。总和是加重的,这意味着第二个记录的总和被添加到前一天...
Flink BucketingSink与NoClassDefFoundError崩溃:Lorg / apache / hadoop / fs / FileSystem
尝试使用flink的版本:1.4.0,1.4.1,1.4.2当我尝试使用这个简单的flink应用程序时,我需要使用val env:StreamExecutionEnvironment = StreamExecutionEnvironment.getExecutionEnvironment env ....
我无法让我的cURL命令在Postman中工作。我迷失了Expect标头的工作原理。删除expect标头时,我的cURL命令中断。我甚至没有提供该标题的值?...
为Yarn Cluster中的Flink Job设置Flink Checkpoint的路径动态
我正在使用Yarn来运行Flink作业。对于每个Flink工作,我正在创建一个检查点。我提交了一个在我的Yarn集群中运行的Flink作业。我有一个民意调查工作,检查工作是否在纱线上失败...
我的flink程序应该对每个输入记录进行Cassandra查找,并根据结果进行一些进一步的处理。但我目前仍在阅读Cassandra的数据。这是......
我试图在flink中进行pagerank基本示例,只需稍加修改(仅在读取输入文件时,其他一切都是相同的)我得到错误,因为任务不可序列化和...
在阅读了Flink如何管理内存之后,传递给DataSet#mapPartitions或KeyedWindowedStream #process的输入是否是一个惰性集合仍然不明显。有......
Apache Flink - kafka生产者将消息传递给kafka主题,但在不同的分区上
现在我的flink代码正在处理一个文件并使用1分区将kafka主题上的数据下沉。现在我有一个带有2分区的主题,我希望flink代码在这两个分区上使用...
Flink:SocketWindowCount示例的结果不是我的预期
我是陌生人。我按照flink网站上的快速入门,在一台机器上部署flink。在我执行“./bin/flink run examples / streaming / SocketWindowWordCount.jar --port 9000”后输入...
假设我知道我的数据集是不平衡的,我知道密钥的分布。我想利用它来编写自定义分区器以充分利用运算符实例。我知道 ...
Flink Twitter Streaming示例不适用于自定义端点
我正在扩展github上的flink连接器以获取自定义URL的twitter流,尽管我能够获得示例代码中给出的随机推文,但是当我给出自定义URL时,推文...
Apache flink:使用keyBy / connect维护流中的消息输入顺序
介绍我正在使用apache flink构建一个相当复杂的数据流网络。这个想法是,用flink实现规则引擎。作为应用程序的基本描述,它是如何...
我已经尝试使用Flink流媒体一段时间,使用雅虎流媒体基准测试等基准:https://github.com/yahoo/streaming-benchmarks应该给系统带来压力,但......
Flink中的java.lang.NoSuchMethodError
我尝试使用以下命令读取文件:final ExecutionEnvironment env = ExecutionEnvironment.getExecutionEnvironment();数据集 line = env.readTextFile(“file:///pathtofile/myfile.txt”);一世 ...
集成 - Apache Flink + Spring Boot
我正在测试Apache Flink和Spring Boot之间的集成,在IDE上运行它们很好,但是当我尝试在Apache Flink Cluster上运行时,我遇到了一个与ClassLoader相关的异常。课程......
无法在Google Cloud Dataproc上启动Apache Flink 1.7
我使用Hadoop 2.9.2启动了Dataproc集群,下载了Flink 1.7.2并尝试使用以下命令启动它:./ bin / yarn-session.sh -n 2此操作失败并显示以下错误消息:...
我有两个关于Flink检查点策略的问题,我知道检查点与状态有关(对吗?),所以如果我没有在我的工作代码中明确使用状态(ValueState类型的东西),那么我...