我有一些关于AWS Glue的问题,我希望有人可以为我解答。
因此,我们在us-east-1区域设置了AWS账户,我们使用AWS EMR和Glue作为hive Metastore(通过emr配置)。这在过去一年左右的时间里一直运行良好且没有打嗝,胶水目录有一堆数据库和一堆表。现在我们要做的是将整个项目迁移到另一个区域(同一个帐户,不同的区域,例如us-west-1)。所以我已经移动了其他所有内容,ec2实例,sg等等。问题是我没有在us-west-1中看到来自us-east-1胶水Metastore的表格。现在我的问题。
1.)AWS胶水目录区域是否具体?这意味着,如果我在一个区域中使用胶水创建db / table,它是否会留在该区域中,或者我可以做些什么来跨所有区域访问它?通过控制台和编程。
2.)如果能够跨区域共享单个粘合剂Metallore,那么如何使用EMR,我是否必须在EMR配置页面中指定区域属性以及其他粘合剂设置?
3.)如果可以#2,是否有任何跨区域访问胶水目录的费用(跨区域访问)
3.)否则,如果无法#2,我是否必须手动从一个区域复制db / tables并将它们导入另一个区域的粘合数据目录?这是正确的方法吗?
适合任何在未来看到这一点的人。我最后使用我编写的java程序移动表格,该程序使用AWS Java Glue API从一个区域读取表格并在另一个区域中创建表格。然后相同的代码从原始区域删除表。没有真正看到任何其他方式。我们有大约1000多个表移动,因此手动复制它们并不是一个真正的选择。