我在这里使用 Databricks 官方文档中的第二个示例:使用工作区文件。但我收到以下错误:
问题:错误的原因可能是什么,我们如何解决它?
从 Spark 2.3 开始,当以下情况时,不允许从原始 JSON/CSV 文件进行查询: 引用的列仅包括内部损坏的记录列 (默认命名为_corrupt_record)
代码:
%sql
SELECT * FROM json.`file:/Workspace/Users/[email protected]/myJsonFile_in_Workspace.json`;
我的 Databricks 工作区中的 Json 文件:
{
"header": {
"platform": "atm",
"version": "2.0"
},
"details": [
{
"abc": "3",
"def": "4"
},
{
"abc": "5",
"def": "6"
}
]
}
要使此代码正常工作,您必须将缩小的 JSON 放在一行中。