Dataframe 不会保存为任何内容 - 表、全局临时视图或临时视图

Question

数据框不会保存为表格，无论是永久的还是临时的 - 不会给出错误消息。

我已经尝试过：

df.createOrReplaceTempView("tmp_table")

# or

df.createGlobalTempView("tmp_table")

# or

df.writeTo("tmp_table")

我尝试使用以下方法检查表格：

spark.sql("SHOW TABLES like 'tmp_table'")

# or

spark.sql("SHOW TABLES like 'global_temp.tmp_table'") # for global view

什么也没有显示，没有这样的视图或表格。

PySpark 版本：3.1.2

你知道这里可能出了什么问题吗？

后来编辑：使用 Spark Streaming 时会发生此问题 - 它不会批量复制

稍后编辑：基于脚本中的一些逻辑更改，并且因为我需要处理 json 数据，如果我运行这个（我第一次在脚本中使用 Spark 上下文）

df_schema = spark.read.json(df.rdd.map(lambda x: x.data)).schema

createOrReplaceTempView 不起作用。

如果我不尝试执行架构逻辑，而是第一次使用 Spark 上下文运行

df = spark.read.json(another_df.rdd.map(lambda x: x.body))

视图已正确创建。 这可能是火花上下文的事情吗？ 谢谢

Answer 1

使用

show

功能查看来自

DataFrame

的结果或数据。就像下面这样。

spark.sql("SHOW TABLES like 'tmp_table'").show(10, False)

spark.sql("SHOW TABLES like 'global_temp.tmp_table'").show(10, False)