autoloader检查重复项

Question

如果从另一个路径加载文件，则会在数据链球弹中再次加载同一文件？ 或者，如果一段时间后再次将文件放在同一目录中，它是否加载相同的文件？

Answer 1

再次将自动加载器在databricks中再次加载相同的文件

1. if the file is loaded from another path ?

如果提到的路径不同，即使是相同的文件，即使是同一文件，文件名，时间戳和其他其他元数据也会加载

if the file is added to the same directory after some time ?
2. yyes，只有更改了内容或/和文件名时，对文件的任何更改或修改再次加载

基本上，它使用文件指纹来避免相同文件的冗余加载，因此，当提供不同指纹的文件时，它会加载文件