我正在使用 AWS 服务创建数据管道 我将数据存储在 Amazon S3 存储桶中,我计划使用胶水爬虫在前缀下抓取数据以提取元数据,并在胶水作业之后执行 ETL 并将数据保存在另一个存储桶中。
我的问题是:服务在哪个网络中工作并相互通信?数据有可能从 Amazon S3 转移到公共互联网上吗?
是否有任何指向 AWS 文档的链接来解释 AWS 服务在它们之间传输数据时使用哪些网络?
您需要对任何资源授予显式权限才能访问您的 S3 存储桶。
AIM 角色。使用策略创建角色并将该角色附加到 AWS 资源。
存储桶策略是另一种授予访问权限的机制。
默认情况下,一切都是私有的,您需要授予访问权限,否则无法从互联网访问。
S3 和其他服务之间的流量不遍历公共互联网。但是,S3 流量确实会离开 VPC 边界并使用其 IP 地址和路由遍历 AWS 网络。
为了防止这种情况,您可以使用 VPC 终端节点来更改路由并确保流量永远不会离开 VPC 边界。
您可以在此处阅读有关 VPC 端点的更多信息。