如何在顶部 csv 文件上创建临时视图

Question

如何在顶部 csv 文件上创建临时视图。我正在 Azure Data bricks 中执行此视图创建。帮助我如何创建视图和读取数据。 我的数据看起来像：

分隔符：~

“1”~“测试”~“123”~“达萨”~“东” “2”~“测试”~“123”~“达萨”~“东”

我想将此数据加载为正确的表格格式。

Answer 1

这是我的示例 CSV 文件数据：

ID~position~number~stage~direction "1"~"test"~"123"~"dasa"~"east" "2"~"test"~"123"~"dasa"~"east"

在上面的数据中，~是列分隔符，' '（空格）是行分隔符。因此，在读取 CSV 文件时请提及这些分隔符，如以下代码所示：

df = spark.read \
    .format("csv") \
    .option("delimiter", "~") \
    .option("linesep", " ") \
    .option("header", "true") \
    .load("<csvfileParh>")

使用以下代码创建一个 temp_view：

df.createOrReplaceTempView("temp_view")

使用以下代码查询临时视图：

result = spark.sql("SELECT * FROM temp_view")
result.show()

您将得到以下输出：

以下是完整代码供您参考：

df = spark.read \
    .format("csv") \
    .option("delimiter", "~") \
    .option("linesep", " ") \
    .option("header", "true") \
    .load("<csvfilePath>")
df.createOrReplaceTempView("temp_view")
result = spark.sql("SELECT * FROM temp_view")
result.show()