如何并行累加器并将其保存为Spark中的文本文件

Question

我有模式累加器，我想要分开，我该怎么做？

val patternsAcc = sc.collectionAccumulator[List[Patern]]("Paterns Accumulator")
...
...
//can't parallelize
val result = sc.parallelize(patternsAcc.value)
//save to file

Answer 1

patternsAcc.value的类型是java.util.List[List[Patern]]，并且不被sc.parrallelize()方法接受。

简单的import scala.collection.JavaConversions._，你的代码应该工作，因为scala的隐式转换。