apache flink 中的依赖管理和执行环境

问题描述 投票:0回答:1

我们正在评估 apache flink 用于部署流式机器学习应用程序。

apache flink 尤其是执行环境中的依赖管理是如何处理的?

想象一下具有不同依赖关系的Python任务应该提交到flink集群。

我们只看到flink任务管理器可以处理python虚拟环境的依赖管理。当每个任务都有不同的依赖关系时,我们是否应该为每个任务部署一个新的任务管理器?

通过容器设置,我们可以将每个任务部署在单独的 docker 映像中。

使用 apache flink 时通常如何处理?我们没有看到 flink 擅长处理需要特定依赖项的大量任务,但希望利用流处理器。

machine-learning apache-flink streaming dependency-management pyflink
1个回答
0
投票

解决方案是使用更现代的 Python 原生替代方案:

  • Pathway(商业源码许可证,Python + Rust)
  • Bytewax(开源,Python + Rust)
  • Quix(开源,Python + C#)
© www.soinside.com 2019 - 2024. All rights reserved.