可以增加spark shell输出字符限制吗

Question

在 Spark shell 中运行代码时，直接在 shell 中打印小输出/样本通常比将输出放入文件中更方便。

默认情况下，shell 将在（相当小的）给定字符数后截断此类输出。有没有办法可以增加这个字符限制？我正在运行 Spark 1.2

感谢您的阅读

Answer 1

“输出”是什么意思？

如果您想打印 RDD 的

n

行，请使用

take()

:

myRDD.take(n).foreach(println)

根据 Spark 编程指南 1.2.0，此函数“返回包含数据集前 n 个元素的数组。请注意，当前不是并行执行的。相反，驱动程序会计算所有元素。”

Answer 2

spark.conf.set("spark.debug.maxToStringFields", "60000")