PySpark 将 JSON 中的字段连接到数据帧

Question

我正在尝试将 JSONn 字符串中的一些字段提取到数据框中。我可以通过将每个字段放入数据帧中然后连接所有数据帧来实现此目的，如下所示。但有没有一些更简单的方法可以做到这一点？因为这只是一个简化的示例，我的项目中还有很多字段需要提取。

    from pyspark.sql import Row
    s = '{"job_id":"123","settings":{"task":[{"taskname":"task1"},{"taskname":"task2"}]}}'

    json_object = json.loads(s)

    # json_object

    job_id_l = [Row(job_id=json_object['job_id'])] 
    job_id_df = spark.createDataFrame(job_id_l) 
    # display(job_id_df)


    tasknames = []
    for t in json_object['settings']["task"]:
      tasknames.append(Row(taskname=t["taskname"]))

    tasknames_df = spark.createDataFrame(tasknames) 
    # display(tasknames_df)

    job_id_df.crossJoin(tasknames_df).display()

结果：

    job_id  taskname
    123 task1
    123 task2

Answer 1

最简单的方法是镜像架构并使用 from_json()，如下所示：

from pyspark.sql import SparkSession
from pyspark.sql.functions import from_json, col, explode

spark = SparkSession.builder.getOrCreate()

s = '{"job_id":"123","settings":{"task":[{"taskname":"task1"},{"taskname":"task2"}]}}'

schema = "struct<job_id:string, settings:struct<task:array<struct<taskname:string>>>>"

result_df = (
    spark.createDataFrame([s], "string")
    .select(from_json(col("value"), schema).alias("data"))
    .select("data.job_id", explode("data.settings.task.taskname").alias("taskname"))
)

result_df.show()

# +------+--------+
# |job_id|taskname|
# +------+--------+
# |   123|   task1|
# |   123|   task2|
# +------+--------+