如何在Apache Flink中配置进程功能

问题描述 投票:0回答:1

我想配置流程功能并传递自定义配置,例如数据库主机名等。

我知道我可以创建一个配置文件,然后将其放在我的全局配置中。有了这个,我可以将它作为构造函数参数传递给流程函数。

还有其他方法可以将配置传递给流程函数吗?

有“open”方法,但我没有设法在那里传递参数。

configuration apache-flink
1个回答
0
投票

你是对的,通过函数的构造函数传递配置是最常见的方法,而

open()
方法的
Configuration
不适用于传入配置值。

使用函数的构造函数然后将其保存在非瞬态成员中的两个问题是(a)所有配置数据都必须可序列化,以及(b)此数据在由作业发送之前与您的作业图一起序列化作业管理器到所有任务管理器,如果它变大,可能会减慢速度。

对于较大的数据量,我只需将 S3 URL 传递给函数的构造函数,然后在

open()
调用中下载数据。

或者你可以使用Flink的广播状态

© www.soinside.com 2019 - 2024. All rights reserved.