我想知道火花的主节点应该有多好。（机器类型）我看到人们谈论工作节点和执行器核心/实例，但找不到任何关于主节点的建议。我正在以群集模式运行应用程序。有什么建议？
它实际上取决于簇大小。 nanemode保留文件系统中所有文件的目录树，并跟踪整个集群中文件数据的保存位置。
因此，如果您有一个大型集群，则需要使用具有更多内存的主服务器。
例如，如果群集中有大约500台i3.8xlarge计算机，则可以将i3.8xlarge框作为主计算机。但是，如果你有大约1000多个这样的盒子，你真的需要使用R4内存优化主节点。
如果你有一个相对较小的集群，主节点真的无关紧要。如果使用群集模式运行spark作业，则spark驱动程序将从任何核心节点而非主节点启动。因此就主要问题而言，主节点并不重要。但是，对于管理大型集群主节点需要更大。