我是 Databricks 的新手
Autoloader
。我正在尝试摄取一个简单的csv
文件,其中包含3条格式为[Fname,Lname,age]的记录。
以下代码在 Databricks 中成功运行,但未保存任何数据。我确定我遗漏了一些非常基本的东西。任何人都可以帮助我可能出错的地方。
df = spark.readStream.format("cloudFiles") \
.option("cloudFiles.format", "csv") \
.option("header", "true") \
.option("cloudFiles.schemaEvolutionMode", "failOnNewColumns") \
.option("cloudFiles.schemaLocation", "/dbfs/FileStore/temp/schema/") \
.load("/dbfs/FileStore/inbound/dsi/data/") \
.writeStream.trigger(once=True) \
.option("checkpointLocation","/dbfs/FileStore/temp/_checkpoint") \
.outputMode("append") \
.start("/dbfs/FileStore/outbound/dsi/output/") \
.awaitTermination()
任何人都可以帮忙。
谢谢