从 Databricks 工作区读取 json 文件

问题描述 投票:0回答:1

我在这里使用 Databricks 官方文档中的第二个示例:使用工作区文件。但我收到以下错误:

问题:错误的原因可能是什么,我们如何解决它?

从 Spark 2.3 开始,当以下情况时,不允许从原始 JSON/CSV 文件进行查询: 引用的列仅包括内部损坏的记录列 (默认命名为_corrupt_record)

代码

%sql
SELECT * FROM json.`file:/Workspace/Users/[email protected]/myJsonFile_in_Workspace.json`;

我的 Databricks 工作区中的 Json 文件:

{
  "header": {
    "platform": "atm",
    "version": "2.0"
  },
  "details": [
    {
      "abc": "3",
      "def": "4"
    },
    {
      "abc": "5",
      "def": "6"
    }
  ]
}
apache-spark pyspark databricks databricks-sql
1个回答
0
投票

要使此代码正常工作,您必须将缩小的 JSON 放在一行中。

© www.soinside.com 2019 - 2024. All rights reserved.