Databricks Autoloader 不保存数据

问题描述 投票:0回答:0

我是 Databricks 的新手

Autoloader
。我正在尝试摄取一个简单的
csv
文件,其中包含3条格式为[Fname,Lname,age]的记录。

以下代码在 Databricks 中成功运行,但未保存任何数据。我确定我遗漏了一些非常基本的东西。任何人都可以帮助我可能出错的地方。

df = spark.readStream.format("cloudFiles") \
  .option("cloudFiles.format", "csv") \
  .option("header", "true") \
  .option("cloudFiles.schemaEvolutionMode", "failOnNewColumns") \
  .option("cloudFiles.schemaLocation", "/dbfs/FileStore/temp/schema/") \
  .load("/dbfs/FileStore/inbound/dsi/data/") \
  .writeStream.trigger(once=True) \
  .option("checkpointLocation","/dbfs/FileStore/temp/_checkpoint") \
  .outputMode("append") \
  .start("/dbfs/FileStore/outbound/dsi/output/") \
  .awaitTermination()

数据是:

任何人都可以帮忙。

谢谢

pyspark databricks spark-streaming databricks-autoloader
© www.soinside.com 2019 - 2024. All rights reserved.