我们可以在DMS任务中执行sql查询,以便它只获取所需的数据而不是整个数据库。如果不可能,则使用哪个aws服务从基础上数据源获取基于查询的数据到aws S3。
您可以使用过滤器和/或排除字段:https://docs.aws.amazon.com/dms/latest/userguide/CHAP_Tasks.CustomizingTasks.TableMapping.html
如果您有问题,请与我联系。
对于DMS的替代解决方案,您可以将AWS Glue与使用PYSPARK数据框从前端数据库检索到的数据一起使用到s3和AWS RDS。这非常有效。唯一的缺点是成本。
此解决方案支持表和SQL作为数据提取的输入