执行HDFS cp命令时抛出CalledProcessError throw subprocess.check_output

Question

当我使用 subprocess.check_output 函数运行 HDFS cp 命令时，遇到了 CalledProcessError。以下是我的程序示例。

>>import subprocess
>>command = "hdfs dfs -cp -f /hdfs/path/temp/file.csv/part-* /hdfs/path/file.csv"
>>try:
>>    result = subprocess.check_output(command.split(), stderr=subprocess.STDOUT)
>>except subprocess.CalledProcessError as e:
>>    log("An error occurred: {}".format(e.output.decode()))

该命令在终端中运行良好，但在通过子进程执行时会抛出异常。

请协助我解决问题或提出执行上述 HDFS 命令的替代方法。

请备注： 版本：Python 2.7、Spark 2.4

Answer 1

您能提供完整的错误信息吗？ 并尝试检查 env 路径，您也可以尝试更新到 python 3.x