Pyspark在窗口上的集合地图

问题描述 投票:-2回答:0

我有一个数据框,其中一列是MapType。

我需要基于时间窗口对这一列执行一个和聚合。比如说对于过去三个时间步长的窗口。

我有 {'a':10, 'b': 0}, {'a':20, 'b':30}, {'a':15, 'b':10},

那我就要 {'a':45,'b':40} 在这个窗口上。

我不知道该怎么做,因为这似乎需要在一个有边界的窗口上使用一个用户定义的函数,而目前PySpark并没有提供这个函数。

apache-spark pyspark maps aggregate
© www.soinside.com 2019 - 2024. All rights reserved.