对容器有点陌生。
想要运行一个无法在单个虚拟机上执行的 python 脚本，因为数据帧加载了一个大约 500 GB 的表，并且只有大约 128 GB 的可用 RAM。
我们能否通过 Kubernetes 来使用由 6 个 Linux 节点组成的集群，这些节点总共拥有 1 TB RAM，并部署一个可以使用集群上所有可用 RAM 的 Docker 容器？这还有可能吗？
基本上，仅仅尝试利用集群的力量，因为单节点是不够的。
有什么办法可以解决这个问题吗？
问候，
您可能正在寻找类似 EMR 集群的东西。 Elastic Map reduce 是一项旨在运行大数据应用程序的 AWS 服务。您可以定义一个工作节点集群并利用 Spark 的力量。