在天蓝色数据桶中减少由于GC分配失败导致的时间延迟的步骤

Question

我正在火花集群上的azure databricks python笔记本中执行打印“Hello World”作业。每次运行Job时，执行时间超过12秒，预计花费不到12秒，因为这是任何人都能想到的最简单的python代码。当我验证日志时，它显示GC分配失败，如下所示：

2019-02-15T15:47:27.551+0000: [GC (Allocation Failure) [PSYoungGen: 312512K->57563K(390144K)] 498744K->243803K(1409024K), 0.0153696 secs] [Times: user=0.05 sys=0.00, real=0.02 secs] 
2019-02-15T15:47:28.703+0000: [GC (Metadata GC Threshold) [PSYoungGen: 206668K->65267K(385024K)] 392909K->251515K(1403904K), 0.0187692 secs] [Times: user=0.06 sys=0.00, real=0.02 secs] 
2019-02-15T15:47:28.722+0000: [Full GC (Metadata GC Threshold) [PSYoungGen: 65267K->0K(385024K)] [ParOldGen: 186248K->244119K(1018880K)] 251515K->244119K(1403904K), [Metaspace: 110436K->110307K(1144832K)], 0.3198827 secs] [Times: user=0.64 sys=0.04, real=0.32 secs] 

想知道由于GC分配失败，作业延迟> 12秒？如果是，我该如何减少它？如果没有，延迟的另一个原因是什么以及如何纠正？

Answer 1

在群集上启动Spark作业会产生开销。如果处理PB级，那么开销很小，但这里很明显。 GC不是问题。