打印结果在databricks笔记本中被截断

Question

为了获取 JSON 格式的模式，我使用了“print(df.schema.json())”命令。该架构太大并被截断。 有什么办法可以全部显示出来吗？

Answer 1

不可以，笔记本单元中的输出最大尺寸有限制。如果您需要存储架构，请将其输出到 DBFS 上的文件中，然后将文件复制到本地计算机，例如，使用 databricks-cli:

with open("/dbfs/FileStore/my-schema.json", "w") as f:
  f.write(df.schema.json())

Answer 2

您可以尝试使用 display() 来代替或调整 pandas 选项吗 Databricks display() 函数相当于或替代 Jupyter