初始工作没有接受任何资源;检查群集UI以确保工作人员已注册并具有足够的资源

Question

我正在尝试从Eclipse运行火花示例并得到这个通用错误：Initial job has not accepted any resources; check your cluster UI to ensure that workers are registered and have sufficient resources.

我的版本是spark-1.6.2-bin-hadoop2.6.我使用shell中的./sbin/start-master.sh命令启动spark，并设置我的sparkConf，如下所示：

SparkConf conf = new SparkConf().setAppName("Simple Application");
conf.setMaster("spark://My-Mac-mini.local:7077");

我没有在这里带任何其他代码，因为我正在运行的任何示例都会弹出此错误。该机器是Mac OSX，我很确定它有足够的资源来运行最简单的例子。

我错过了什么？

Answer 1

该错误表明您的集群没有足够的资源用于当前作业。因为您尚未启动奴隶，即工作人员。群集将没有任何资源分配给您的工作。启动奴隶会奏效。

`start-slave.sh <spark://master-ip:7077>`

Answer 2

解答你的答案

原因

1. Spark Master没有为工作节点或从节点分配执行Job的任何资源。

固定

2. 您必须通过连接主节点来启动从属节点，如/ SPARK_HOME / sbin> ./start-slave.sh spark：// localhost：7077（如果您的本地节点中的主节点）

结论

3. 在spark-submit期间启动主节点和从节点，这样您将获得足够的资源来执行作业。

复用方式

4. 您需要在spark-env.sh文件中进行必要的更改，这是不推荐的。

Answer 3

尝试使用“spark：//127.0.0.1：7077”作为主地址而不是* .local名称。有时java无法解析.local地址 - 原因我不明白。