我们正在评估 apache flink 用于部署流式机器学习应用程序。
apache flink 尤其是执行环境中的依赖管理是如何处理的?
想象一下具有不同依赖关系的Python任务应该提交到flink集群。
我们只看到flink任务管理器可以处理python虚拟环境的依赖管理。当每个任务都有不同的依赖关系时,我们是否应该为每个任务部署一个新的任务管理器?
通过容器设置,我们可以将每个任务部署在单独的 docker 映像中。
使用 apache flink 时通常如何处理?我们没有看到 flink 擅长处理需要特定依赖项的大量任务,但希望利用流处理器。
解决方案是使用更现代的 Python 原生替代方案: