Spark版本:2.2.0.cloudera2
通常,我们以这种方式注册临时表:
dataframe.registerTempTable($table_name)
但是如果我想在SQL语句中创建一个表,就像这样:
CREATE TABLE test_table from select * from table1
Spark将创建一个永久表。有没有办法在SparkSQL语句中创建临时表?
您需要在SQL语句中添加TEMPORARY关键字,这将限制将记录写入该特定表的hive Metastore。
CREATE TEMPORARY TABLE test_table from select * from table1
参考:https://docs.databricks.com/spark/latest/spark-sql/language-manual/create-table.html