在awsglue作业中，如何使用自定义库？

Question

我正在使用 Glue 作业 Spark 脚本。

我已经在 SageMaker 中编写了 Python 代码。在 SageMaker 中，我使用了自定义库文件夹。我使用像 '''from A import B''' 这样的文件夹，A 是文件夹名称，B 是 A 中的 def 函数。

我想在 Glue 中使用它。

我找到了一些文档，一些文档说我们应该使用egg、zip。但不确定我该怎么做。

Answer 1

您可以将您创建的自定义库/包与代码一起压缩，并将 zip 文件作为 Glue Job 配置传递。此外，除了 AWS Glue 提供的内置库之外，您还可以指定要使用的库。

有关更多信息，请参阅 AWS Folks 提供的以下文档： 在 AWS Glue 中使用 python 库

期待听到进展如何。