我的应用程序是通过使用Kerberos keytab和本指南的主体:https://spark.apache.org/docs/latest/running-on-yarn.html的纱线群集模式中的spark-submit从远程PC启动的。这种方法的优点是我在任何集群都拥有自己的spark版本。
是否可以通过运行带有HADOOP_CONF_DIR / YARN_CONF_DIR配置的bash脚本,自动将Ignite / Hazelcast / Accumulo / Kudu或其他NoSQL数据库自动部署到具有随机访问权限的读/写Hadoop YARN集群中而无需sftp / ssh?
在YARN集群上部署Hazelcast是可能的,也很容易,请查看https://github.com/hazelcast/hazelcast-yarn