如何在 Spark 提交中使用 Artifactory 中存储的 JAR？

Question

我正在尝试配置spark-submits以使用存储在artifactory中的JAR。 我尝试了几种方法来做到这一点

• 尝试1：更改

  --jars

  参数以指向https端点
  • 结果 1：401 错误。凭证的传递方式如下：https://username:password@jfrog-endpoint。该链接已使用 wget 进行了测试，它可以很好地验证并下载 JAR。

• 尝试 2：使用

  --packages

   --repositories

  的组合
  • 结果 2：URL 未解析到 jar 的正确位置

• 尝试3：结合使用

  --packages

  和修改后的ivysettings.xml（包含repo和artifact模式）
  • 结果 3：URL 正确解析，但仍导致“未找到” 经过一些研究后，该错误看起来可能会显示“未找到”，并且看起来它已经“尝试”了该存储库，但它仍然很可能是 401 错误。

任何想法都会有帮助！我探索过的链接：

• 我可以直接从maven/jfrog artifactory做spark-submit应用程序jar吗
• spark 解析企业工件背后的外部包
• 如何在 dcos Spark Run 中传递 jar 文件（来自 Artifactory）？
• https://godatadriven.com/blog/spark-packages-from-a-password-protected-repository/
• https://spark.apache.org/docs/latest/submitting-applications.html#advanced-dependency-management

Answer 1

您可以使用 https://用户名:[电子邮件受保护]/rep，但是您需要指定端口。 https://用户名:[电子邮件受保护]:443/repo

我使用 Artifactory 的 Ivy 包类型的“set me up”工具发现了这一点。如果您查看解析器 url，它会指定端口。

Answer 2

我也收到 401。当你对 jfrong artifactory 进行 https 调用时，它不起作用。