我对云空间还很陌生。作为当前项目的一部分,我们正在尝试在Amazon S3存储桶中创建一个数据湖。将会有另一个包含CDC的S3层发生在上一层。 Talend或Streamsets是架构团队建议使用的东西。还有其他方法可以将CDC从S3实施到另一个S3存储桶吗?
您必须使用ETL / ELT工具来捕获CDC。 (据我所知)S3无法独自处理它。
但是,您也可以考虑使用AWS Glue或Matillion,因为它们是AWS固有的,因此兼容性可能比Talend更好(P.S.我没有使用Talend)