Azure 数据工厂管道在 Azure VM 上使用自托管 IR 时不断随机失败，但在装有 Windows 11 的笔记本电脑上运行得很好

Question

我有 ADF 管道，可以将数据从 AWS RDS(SQL Server) 表以 parquet 格式提取到 ADLS gen2。它使用一份包含表、架构和数据库名称的副本数据活动和参数，并对它们中的每一个进行摄取。

当我在自己的 Windows 11 Pro 笔记本电脑上使用自托管集成运行时时，一切正常，没有任何错误。问题是当我使用在 Azure VM（Windows Server 2022）上运行的自托管集成运行时时。然后，我随机得到这两个错误：

因此，就像我一次性收到特定表的此错误，但重试时却没有。但有时即使重试 3 次也无济于事，最终会失败。 我认为虚拟机满足 SH-IR 的所有要求（4 核、16GB 内存和超过 80GB 可用空间），但由于某种原因管道不断失败。 VM 和我的笔记本电脑的 SH-IR 软件版本相同。也许是Windows版本本身的原因？有什么想法吗？

Answer 1

根据 Azure 数据工厂部分中支持的文件格式的MS 文档，采用 Parquet 格式。 使用 Parquet 文件运行自托管集成运行时 (IR) 时，该服务会查找 Java 运行时环境。

对于由自托管集成运行时支持的复制，例如在本地和云数据存储之间，如果您不按原样复制 Parquet 文件，则需要安装 64 位 JRE 8（Java 运行时环境）、JDK 23（Java 开发工具包）或 OpenJDK在您的红外机器上。请查看以下段落了解更多详细信息。

64 位 IR 需要 64 位 JRE。如果您遇到此错误的虚拟机中缺少它，则需要在虚拟机中安装它。