Apache Flink是一个用于可扩展批处理和流数据处理的开源平台。 Flink在一个系统中支持批量和流分析。分析程序可以用Java和Scala中简洁优雅的API编写。
当 flink 中以批处理模式执行作业时,fileSink 按并行数生成多个文件,但我只想在一个文件中输出而不更改并行数 我该怎么办...
我正在使用一个从 Kafka 读取数据流的 Apache Flink 应用程序。应用程序处理流,从数据创建对象并通过标记计算处理时间...
尝试为 AWS EKS 上的 Flink 作业提供卷时出现 java.lang.IllegalStateException
我正在尝试使用 Apache Flink Kubernetes 运算符运行 Flink 作业。我可以轻松运行无状态作业,但是当我尝试运行有状态作业时,如示例中所示: https://
在 Flink 或 Spark 中订购批次的最佳方式是什么?
我正在 flink 中以批处理模式构建一个进程。我有一张包含 1 亿行的表,我需要按一个字段对所有表进行排序,所以我想知道什么是更好的技术来订购巨大的...
在 Flink 或 Spark 中排序批量的最佳方法是什么?
我正在 flink 中以批处理模式构建一个进程。我有一张包含 1 亿行的表,我需要按一个字段对所有表进行排序,所以我想知道什么是更好的技术来订购巨大的...
如何为Flink的批量执行模式实现BOUNDED Source?
我正在尝试执行 Flink (1.12.1) 批处理作业,步骤如下: 自定义 SourceFunction 以连接 MongoDB 做任何平面图和地图来转换一些数据 将其下沉到其他 MongoDB 中 我是...
Kubernetes Operator 1.9 部署的 Flink 的 HA 中是否可以运行多个 JobManger 实例
基本上,我们有一个较低的环境集群,用于多个环境[Dev、QA、STG]。 所以我在 Flink 命名空间中部署了 Flink Kubernetes Operator 1.8,然后是第一个
我正在启动一个作业(自动检测为批处理),该作业读取 csv(3 条记录)并将相同的内容输出到 Kafka。这项工作大约需要 3 秒才能运行,在结束时,我需要满足一些...
classNotFound Apache Flink in java
我正在尝试用java api编写最简单的flink应用程序。我已经尝试过使用 java 21 的 flink 1.19 并尝试使用 java 11 和 17 的 flink 1.8,但每次在相同的代码上都会遇到相同的错误:
我想将MySQL中的数据同步到PieCloudDB进行数据分析。 PieCloudDB 是否提供使用 Apache Flink 作为数据同步工具的原生支持?有没有具体的配置...
我试图查询一个postgresql表,并将其转换为dataStream: StreamExecutionEnvironment bsEnv = StreamExecutionEnvironment.getExecutionEnvironment(); 流表环境 tEnv =
在 Docker 设置中添加 Flink Job Jar 并通过 Flink Rest API 运行作业
我们在 Cluster Session 模式下运行 Flink,并自动在 Dockerfile 中添加 Jars: 添加 pipeline-fat.jar /opt/flink/usrlib/pipeline-fat.jar 这样我们就可以通过 Flink Rest API 运行这个 Jar
flink 为 SlidingWindows 存储什么状态?
当我在 SlidingWindow 上使用聚合函数时,flink 在状态中存储什么? 例如,如果我对大小为 1 小时、滑动时间为 5 分钟的滑动窗口进行聚合计数。这是不是意味着……
我想在 Pyflink 中设置一个数据流,我想从 S3 存储桶读取数据并对其进行一些处理,但我无法从我提供的最小代码片段的存储桶中读取文件...
我有一个flink应用程序,我想在其中监听检查点/保存点创建事件。我怎么做? 我找不到任何方法来挂钩 StreamExecutionEnvironment 中检查点的侦听器。
我有一个flink应用程序,我想在其中监听检查点/保存点创建事件。我怎么做? 我找不到任何方法来挂钩 StreamExecutionEnvironment 中检查点的侦听器。
所以我尝试使用未加密的 processFunctions 创建自己的窗口方案。我正在使用来源并想使用水印。我目前的水印实现如下
如何使用 Apache Flink 将 HTTP 请求与其相应的响应关联起来?
我正在寻找在 Apache Flink 流处理作业中关联请求及其相应响应的最佳实践。问题的关键属性是: 状况: 每个请求和
Apache Flink HA - 选择的领导者错误的 URL
拥有具有 HA 的 Flink 集群 1.19.0,询问 zk“leader/resource_manager/connection_info”,它显示领导者的 IP:既不是 localhost,也不是 127.0.0.1。这是网络可访问的IP值。
如何为Flink kubernetes Operator部署CRD添加标签?
我部署了 Flink kubernetes Operator,在为“FlinkDeployment”部署自定义资源时,我需要向部署规范添加一些元数据标签,因为我们的组织承认我们...