在jupyter中访问数据框元素pyspark

Question

我是spark和pyspark的新手。我的DataFrame由几列组成，而在一些列中，则是数组或子数据帧。

df的printSchema在image below中

我的问题是如何访问"role" the "member"等元素谢谢你的帮助

Answer 1

您想要访问成员或其他cols吗？就这样做：

df.select("group_profile.group.id", 
          "group_profile.group.members",
          "group_profile.intro",
          "group_profile.link",
          "group_profile.role",
         )