如何在Databricks上读取压缩的TSV文件到数据框架?

问题描述 投票:0回答:1

我试图使用Databricks在SFTP上从压缩的TSV文件中读取数据,但是遇到了一些困难(试图使用pysftp和SQLContext来读取TSV)。有没有人有一些示例代码或资源视频链接,可以解释如何实现这一点?

谢谢你

python apache-spark pyspark databricks
1个回答
1
投票

最后还是解决了。

with ftp.open("TestFile.zip") as f:
    dfTest = pd.read_csv(f, compression='zip', sep='\t')
© www.soinside.com 2019 - 2024. All rights reserved.