我有一个数据框,其中一列是MapType。
我需要基于时间窗口对这一列执行一个和聚合。比如说对于过去三个时间步长的窗口。
我有 {'a':10, 'b': 0}, {'a':20, 'b':30}, {'a':15, 'b':10},
{'a':10, 'b': 0}
{'a':20, 'b':30}
{'a':15, 'b':10}
那我就要 {'a':45,'b':40} 在这个窗口上。
{'a':45,'b':40}
我不知道该怎么做,因为这似乎需要在一个有边界的窗口上使用一个用户定义的函数,而目前PySpark并没有提供这个函数。