我将pandas dataframe转换为引发数据框架，但是它失败了 不能合并类型<class 'pyspark.sql.types.StringType'>和<class 'pyspark.sql.types.DoubleType'> 我可以inf ...

Question

我可以推断模式并转换类型。但是我有数组类型，我不想推断数组类型。是否有一种方法可以单独推断特定的列（ID）来加倍并保持其他列未触及。

 |-- Id: string (nullable = true)
 |-- Field: array (nullable = true)
 |    |-- element: struct (containsNull = true)
 |    |    |-- key: string (nullable = true)
 |    |    |-- value: string (nullable = true)

将类型定义为

arraytype（maptype（stringType（），stringType（）））

解决了问题

schema = StructType([
    StructField('Id', StringType(), True), \
    StructField('Field', ArrayType(MapType(StringType(), StringType())), True))]

Answer 1