Apache Flink是一个用于可扩展批处理和流数据处理的开源平台。 Flink在一个系统中支持批量和流分析。分析程序可以用Java和Scala中简洁优雅的API编写。
Apache Flink:像Spark一样推断CSV文件的模式
在Spark中,我们可以使用推断模式从文件中动态读取模式,例如:df = sqlContext.read.format('com.databricks.spark.csv')。options(delimiter ='|',header ='true',inferschema = '真')。负载(“汽车....
我正在关注Flink的快速启动示例:监控维基百科编辑流。这个例子是用Java编写的,我在Scala中实现它,如下所示:/ ** * Wikipedia Edit Monitoring * / ...
在1.4 Apache Flink DataStream上是否有相同的foldLeft运算符
我有这样的流设置使用Apache Flink 1.4启动DataStream然后keyBy然后窗口然后聚合聚合操作的输出是...
使用Apache Beam时,无法使用Flink的CLI或Web-UI设置并行性
我正在使用在Docker上运行的Flink 1.2.1,任务管理器作为Docker Swarm的一部分分布在不同的VM上。使用Flink Web UI上传Apache Beam应用程序并尝试设置...
Flink Table API和SQL以及地图类型(Scala)
我在流式环境中使用Flink的Table API和/或Flink的SQL支持(Flink 1.3.1,Scala 2.11)。我从一个DataStream [Person]开始,Person是一个案例类,看起来像......
Apache Flink:使用TableFunction的LEFT JOIN不会返回预期的结果
Flink版本:1.3.1我创建了两个表,一个是来自内存,另一个是来自UDTF。当我测试join并离开join时,他们返回了相同的结果。我所期待的是离开加入的行多于......
Apache Flink表1.4:表上的外部SQL执行可能吗?
是否可以在外部查询现有的StreamTable,而无需上传.jar获取执行环境并检索表环境?我等了Apache Flink Table 1.4发布,......
我无法在网上找到有关此内容的更多信息。我想知道是否有可能构建一个Flink应用程序,可以动态消耗匹配正则表达式模式的所有主题并同步这些...
Flink以什么格式保持运营商的管理状态(用于检查点或逻辑运算符之间的通信(即沿着作业图的边缘)?文档读取......
Flink抛出java.io.NotSerializableException
我做了自定义KeyedDeserializationSchema来反序列化kafka消息并使用它如下所示:object Job {case class KafkaMsg [K,V](key:K,value:V,topic:String,partiton:Int,offset:...
从Flink文档中,我知道可以使用迭代运算符实现循环。由于Flink代码被延迟评估,因此无法使用while循环评估终止条件。 ...
我正在运行一个基于EventTime测试窗口的简单示例。我可以使用处理时间生成输出,但是当我使用EventTime时,没有输出。请帮我理解我...
我正在做一个Flink项目。该项目的主要思想是读取JSON的数据流(网络日志),关联它们,并生成一个新的JSON,它是不同JSON的组合......
我有一个类在我的Flink流作业中扩展了RichFlatmapFunction。我在open()方法中创建一个Jedis实例并在close()方法中关闭它(jedis.close()),以便所有记录......
Apache Flink:如何将源中的模式应用到另一个数据流?
我有一个事件的数据流,以及另一个模式的数据流。用户在运行时提供模式,他们需要通过Kafka主题。我需要在...上应用每个模式
使用WindowStream.apply()函数无法应用WindowFunction
我使用Apache Flink和Scala相对较新,我只是掌握了一些基本功能。我试图实现自定义WindowFunction。问题是 ...
数据流被分区并分发到每个插槽以进行处理。现在我可以得到每个分区任务的结果。将某些函数应用于...的结果的最佳方法是什么?
Flink:Clustermanager失去的Cluster Execution错误
我在Flink上运行实时流媒体程序,有1名主人和2名工人。一个工作程序在单独的计算机上运行, 而另一个工作程序在主计算机上运行。我是 ...
寻找有关存储/访问Flink参考数据的位置的一些建议。这里的用例非常简单 - 我有一个包含国家列表的列文本文件。我正在播放Twitter数据,然后......
Flink CEP如何管理间歇性状态?它存放在哪里?它只是在内存中还是有支持状态的快速持久存储?文档没有提到这个......