无法使用spark-submit从蜂巢中找到表格

Question

这是我的简单代码。

spark.sql("select * from default.some_table")

当在zeppelin或spark-shell中使用此代码时，它可以完美地工作。

但是，试试spark-submit命令

发生以下错误

diagnostics: User class threw exception: org.apache.spark.sql.AnalysisException: Table or view not found:: `default`.`some_table`; line 1 pos 14;

任何帮助？

这是我的spark submit命令

spark-submit --class com.any.any.App  --master yarn --deploy-mode cluster app.jar

感谢名单

Answer 1

---

解决了!!创建SparkSession时需要设置hive.metastore.warehouse.dir !!

val spark = SparkSession
  .builder()
  .appName("mbp stream layer on nuri cluster")
  .config("hive.metastore.warehouse.dir", warehouseLocation)
  .enableHiveSupport()
  .getOrCreate()