InvalidHttpRequestToLivy：由于错误内容，提交失败=[“要求失败：会话未激活。”] HTTP 状态代码：400

Question

我在 Azure Synapse Notebook 中运行 pyspark。 35分钟后

“会话失败。运行笔记本以启动新会话。”

带有错误消息：“InvalidHttpRequestToLivy：由于错误内容=[“要求失败：会话未激活。”] HTTP 状态代码：400，提交失败。”

我的目标是在 Gen2 存储中下载多个 (read_csv) 文件。

我已经调整了配置并启用到笔记本中。我公司资金有限，所以只使用最便宜的设置。

Answer 1

会话失败。运行笔记本以启动新会话。": "InvalidHttpRequestToLivy: 由于错误内容，提交失败 =["要求失败：会话未激活。"] HTTP 状态代码：400。

该错误表明您的 Azure Synapse Notebook 会话由于读取多个文件时不活动或执行时间延长而超时。

要解决笔记本中的问题，请按如下方式设置会话超时：

{ "conf": 
    { 
        "livy.server.session.timeout": "60m" 
    } 
}

此外，不要一次处理所有文件，而是分批处理它们。以避免读取多个文件时延长执行时间。如果文件非常大，请考虑在读取过程中过滤掉不必要的列或行。