Glue Python Shell - 私有子网访问

问题描述 投票:0回答:2

我的私有子网中有一个 Redshift 集群。 我正在尝试使用 Glue Python Shell 编写 UNLOAD 作业。 但我无法连接我的集群,因为它驻留在专用子网中。 我尝试添加 JDBC 和 Redshift 连接,但仍然不成功。

我浏览了这篇文章,但不幸的是我无法理解工作流程。

如何将 Glue Python Shell 连接到私有子网中可用的 Redshift 集群? 如果有人可以帮助我理解这个工作流程,那就太好了。

amazon-redshift aws-glue
2个回答
1
投票

我执行了以下步骤,以便将我的 Glue Python Shell 作业与私有子网下的 Redshift 集群连接起来。

  1. 定义 JDBC 连接
    ● 前往胶水控制台
    ● 在“连接”下添加新的 JDBC 连接
    ● 提供您的 Redshift 端点的必要详细信息,例如
    -> JDBC URL : jdbc:redshift://host:port/database
    -> 用户名和密码
    ● 在VPC ID 中选择Redshift 集群本身的VPC ID
    ● 子网ID也选择与Redshift Cluster相同
    ● 安全组:选择与 Redshift 集群相同的安全组
    ● 完成后保存此连接
  2. 更改安全组:导航到我们在第一步中选择的 Redshift 安全组并进行以下更改。
    ● 复制安全组ID
    ● 编辑安全组
    ● 在入站规则下:选择所有 TCP 并在源粘贴安全组 ID(基本上这里我们是自引用所有 TCP 的安全组)
    ● 保存安全组
  3. 再次导航到 Glue 控制台,在连接下,选择步骤 1 中定义的连接并测试它,此选项在控制台本身中可用

如果配置正确,您将看到成功消息。 现在只需转到您的工作并在“连接”下选择上面定义的连接即可访问它。

参考资料:

如何从AWSglue访问VPC中的AWS资源?
https://docs.aws.amazon.com/glue/latest/dg/setup-vpc-for-glue-access.html
https://docs.aws.amazon.com/glue/latest/dg/connection-JDBC-VPC.html
https://aws.amazon.com/blogs/big-data/how-to-access-and-analyze-on-premises-data-stores-using-aws-glue/
https://docs.aws.amazon.com/glue/latest/dg/how-it-works.html

希望有帮助..!!!


0
投票

当你使用glue python shell时,你是如何在Python代码中使用JDBC连接的?

© www.soinside.com 2019 - 2024. All rights reserved.