如何修复来自 apache-spark 的对等消息重置连接？

Question

我经常遇到以下异常，我想知道为什么会发生这种情况？经过研究，我发现我可以做到

.set("spark.submit.deployMode", "nio");

但这也不起作用，我正在使用 Spark 2.0.0

WARN TransportChannelHandler: Exception in connection from /172.31.3.245:46014
    java.io.IOException: Connection reset by peer
    at sun.nio.ch.FileDispatcherImpl.read0(Native Method)
    at sun.nio.ch.SocketDispatcher.read(SocketDispatcher.java:39)
    at sun.nio.ch.IOUtil.readIntoNativeBuffer(IOUtil.java:223)
    at sun.nio.ch.IOUtil.read(IOUtil.java:192)
    at sun.nio.ch.SocketChannelImpl.read(SocketChannelImpl.java:380)
    at io.netty.buffer.PooledUnsafeDirectByteBuf.setBytes(PooledUnsafeDirectByteBuf.java:221)
    at io.netty.buffer.AbstractByteBuf.writeBytes(AbstractByteBuf.java:898)
    at io.netty.channel.socket.nio.NioSocketChannel.doReadBytes(NioSocketChannel.java:242)
    at io.netty.channel.nio.AbstractNioByteChannel$NioByteUnsafe.read(AbstractNioByteChannel.java:119)
    at io.netty.channel.nio.NioEventLoop.processSelectedKey(NioEventLoop.java:511)
    at io.netty.channel.nio.NioEventLoop.processSelectedKeysOptimized(NioEventLoop.java:468)
    at io.netty.channel.nio.NioEventLoop.processSelectedKeys(NioEventLoop.java:382)
    at io.netty.channel.nio.NioEventLoop.run(NioEventLoop.java:354)
    at io.netty.util.concurrent.SingleThreadEventExecutor$2.run(SingleThreadEventExecutor.java:112)

Answer 1

即使我尝试了很多事情，我也会遇到同样的错误。我的工作过去常常在运行很长时间后抛出此错误。我尝试了一些解决方法，帮助我解决了这个问题。尽管如此，我仍然遇到同样的错误，至少我的工作运行良好。

1. 一个原因可能是执行者认为他们失去了与主人的连接而自杀。我在spark-defaults.conf文件中添加了以下配置。

   spark.network.timeout 10000000 Spark.executor.heartbeatInterval 10000000 基本上，我增加了网络超时和心跳间隔

2. 曾经卡住的特定步骤，我只是缓存了用于处理的数据帧（在曾经卡住的步骤中）

注意：- 这些是解决方法，我仍然在错误日志中看到相同的错误，但我的工作不会终止。

Answer 2

就我而言，我通过减少每个工作人员允许使用的内存量来解决这个问题。似乎是太接近物理内存限制导致了错误。