由于 False 作为条目，pyspark 中 json 文件的记录已损坏

Question

我有一个如下所示的 json 文件：

test= {'kpiData': [{'date': '2020-06-03 10:05',
   'a': 'MINIMUMINTERVAL',
   'b': 0.0,
   'c': True},
  {'date': '2020-06-03 10:10',
   'a': 'MINIMUMINTERVAL',
   'b': 0.0,
   'c': True},
  {'date': '2020-06-03 10:15',
   'a': 'MINIMUMINTERVAL',
   'b': 0.0,
   'c': True},
  {'date': '2020-06-03 10:20',
   'a': 'MINIMUMINTERVAL',
   'b': 0.0,}
]}

我想将其传输到数据框对象，如下所示：

rdd = sc.parallelize([test])
jsonDF = spark.read.json(rdd)

这会导致记录损坏。据我了解，这样做的原因是，

True

和

False

不能是 Python 中的条目。所以我需要在

spark.read.json()

之前将这些条目转换为 TRUE、true 或“True”）。 test 是一个字典，rdd 是一个 pyspark.rdd.RDD 对象。对于数据帧对象，转换非常简单，但我没有找到这些对象的解决方案。

Answer 1

spark.read.json

需要 JSON 字符串的 RDD，而不是 Python 字典的 RDD。如果将字典转换为 JSON 字符串，您应该能够将其读入数据帧：

import json

df = spark.read.json(sc.parallelize([json.dumps(test)]))

另一种可能的方法是使用

spark.createDataFrame

:

在字典中阅读

df = spark.createDataFrame([test])

这将提供不同的模式，使用映射而不是结构。

Answer 2

感谢您的回答，它完美运行！ 你能解释一下为什么我们必须在 json.dumps(test) 周围放置“[”和“]”吗？ 这是我的错误。 是告诉spark该条目必须被视为数组吗？为什么？