apache-flink 相关问题

Apache Flink是一个用于可扩展批处理和流数据处理的开源平台。 Flink在一个系统中支持批量和流分析。分析程序可以用Java和Scala中简洁优雅的API编写。

Apache Flink:像Spark一样推断CSV文件的模式

在Spark中,我们可以使用推断模式从文件中动态读取模式,例如:df = sqlContext.read.format('com.databricks.spark.csv')。options(delimiter ='|',header ='true',inferschema = '真')。负载(“汽车....

回答 1 投票 1

Flink:如何将弃用字段转换为聚合?

我正在关注Flink的快速启动示例:监控维基百科编辑流。这个例子是用Java编写的,我在Scala中实现它,如下所示:/ ** * Wikipedia Edit Monitoring * / ...

回答 2 投票 4

在1.4 Apache Flink DataStream上是否有相同的foldLeft运算符

我有这样的流设置使用Apache Flink 1.4启动DataStream然后keyBy然后窗口然后聚合聚合操作的输出是...

回答 1 投票 2

使用Apache Beam时,无法使用Flink的CLI或Web-UI设置并行性

我正在使用在Docker上运行的Flink 1.2.1,任务管理器作为Docker Swarm的一部分分布在不同的VM上。使用Flink Web UI上传Apache Beam应用程序并尝试设置...

回答 1 投票 0

Flink Table API和SQL以及地图类型(Scala)

我在流式环境中使用Flink的Table API和/或Flink的SQL支持(Flink 1.3.1,Scala 2.11)。我从一个DataStream [Person]开始,Person是一个案例类,看起来像......

回答 1 投票 1

Apache Flink:使用TableFunction的LEFT JOIN不会返回预期的结果

Flink版本:1.3.1我创建了两个表,一个是来自内存,另一个是来自UDTF。当我测试join并离开join时,他们返回了相同的结果。我所期待的是离开加入的行多于......

回答 1 投票 0

Apache Flink表1.4:表上的外部SQL执行可能吗?

是否可以在外部查询现有的StreamTable,而无需上传.jar获取执行环境并检索表环境?我等了Apache Flink Table 1.4发布,......

回答 1 投票 1

使用Flink动态消费和接收Kafka主题

我无法在网上找到有关此内容的更多信息。我想知道是否有可能构建一个Flink应用程序,可以动态消耗匹配正则表达式模式的所有主题并同步这些...

回答 2 投票 0

Flink如何处理托管状态的序列化?

Flink以什么格式保持运营商的管理状态(用于检查点或逻辑运算符之间的通信(即沿着作业图的边缘)?文档读取......

回答 1 投票 2

Flink抛出java.io.NotSerializableException

我做了自定义KeyedDeserializationSchema来反序列化kafka消息并使用它如下所示:object Job {case class KafkaMsg [K,V](key:K,value:V,topic:String,partiton:Int,offset:...

回答 1 投票 0

Flink的批量迭代运算符和while循环之间有什么区别?

从Flink文档中,我知道可以使用迭代运算符实现循环。由于Flink代码被延迟评估,因此无法使用while循环评估终止条件。 ...

回答 1 投票 1

Flink流媒体事件时间窗口

我正在运行一个基于EventTime测试窗口的简单示例。我可以使用处理时间生成输出,但是当我使用EventTime时,没有输出。请帮我理解我...

回答 1 投票 1

Flink在timeWindow上应用函数

我正在做一个Flink项目。该项目的主要思想是读取JSON的数据流(网络日志),关联它们,并生成一个新的JSON,它是不同JSON的组合......

回答 1 投票 0

Flink中的Redis连接重置

我有一个类在我的Flink流作业中扩展了RichFlatmapFunction。我在open()方法中创建一个Jedis实例并在close()方法中关闭它(jedis.close()),以便所有记录......

回答 1 投票 0

Apache Flink:如何将源中的模式应用到另一个数据流?

我有一个事件的数据流,以及另一个模式的数据流。用户在运行时提供模式,他们需要通过Kafka主题。我需要在...上应用每个模式

回答 1 投票 0

使用WindowStream.apply()函数无法应用WindowFunction

我使用Apache Flink和Scala相对较新,我只是掌握了一些基本功能。我试图实现自定义WindowFunction。问题是 ...

回答 1 投票 2

Flink:总结所有分区结果的最佳方法是什么

数据流被分区并分发到每个插槽以进行处理。现在我可以得到每个分区任务的结果。将某些函数应用于...的结果的最佳方法是什么?

回答 1 投票 1

Flink:Clustermanager失去的Cluster Execution错误

我在Flink上运行实时流媒体程序,有1名主人和2名工人。一个工作程序在单独的计算机上运行, 而另一个工作程序在主计算机上运行。我是 ...

回答 2 投票 1

Flink参考数据建议/最佳实践

寻找有关存储/访问Flink参考数据的位置的一些建议。这里的用例非常简单 - 我有一个包含国家列表的列文本文件。我正在播放Twitter数据,然后......

回答 1 投票 1

Flink CEP国营商店

Flink CEP如何管理间歇性状态?它存放在哪里?它只是在内存中还是有支持状态的快速持久存储?文档没有提到这个......

回答 1 投票 3

© www.soinside.com 2019 - 2024. All rights reserved.