Spark将本地目录添加到绝对路径

Question

我已经在集群模式下部署了简单的spark作业（spark 1.6，scala 2.10），可以读取和写入在Linux集群上运行的本地文件系统，但在尝试向运行Windows的集群启动作业时遇到路径问题Server 2012。

我尝试了各种路径组合（例如file：// C：/Users/file.txt，file：// C：//Users//file.txt，file：/// C：/ Users / file .txt，file：\ C：\ Users \ file.txt）没有成功。其中一个错误似乎是Spark将远程计算机上的本地路径预先设置为我打算使用集群的绝对路径。

即worker节点上的spark jar位于C：\ Users \ file.jar，但spark集群驱动程序上的错误是“java.io.FileNotFoundException：C：\ Users \ remote_home \ file：\ C：\ Users \ Administrator “

Answer 1

访问本地windows目录路径的一种解决方法：您可以将.txt文件放在任何eclipse /src/../ ..文件夹中（比如src / test / resources），然后将程序中的路径替换为：

JavaRDD<String> data1 = sc.textFile("C:/Users/XXX/XXX/src/test/resources/Text.txt");

Answer 2

通过在路径中仅使用正斜杠（“/”）来解决，例如（文件：/// C：/Users/file.txt）