我需要能够从RDD返回(键,值)对的值列表,同时保持原始顺序。
我在下面列出了我的解决方法,但我希望能够一次性完成所有工作。
就像是:
myRDD = [(1, 2582), (3, 3222), (4, 4190), (5, 2502), (6, 2537)]
values = myRDD.<insert PySpark method(s)>
print values
>>>[2582, 3222, 4190, 2502, 2537]
我的解决方法:
myRDD = [(1, 2582), (3, 3222), (4, 4190), (5, 2502), (6, 2537)]
values = []
for item in myRDD.sortByKey(True).collect():
newlist.append(item[1])
print values
>>>[2582, 3222, 4190, 2502, 2537]
谢谢!
如果按“原始顺序”表示键的顺序,那么您只需要在排序后添加地图:
myRDD.sortByKey(ascending=True).map(lambda (k, v): v).collect()
或者调用values
方法:
myRDD.sortByKey(ascending=True).values().collect()
如果您参考用于创建初始RDD的结构中的值的顺序,那么在没有附加信息的情况下是不可能的。除非您明确应用sortBy
之类的转换,否则RDD是无序的。