使用Sqoop将表从AWS RDS移至AWS EMR的问题

Question

我有一个使用Postgres的带有单个表的AWS RDS数据库。现在，我想将数据移至AWS EMR，以便可以使用Hadoop对其进行处理。

我发现了此博客：https://aws.amazon.com/blogs/big-data/migrate-rdbms-or-on-premise-data-to-emr-hive-s3-and-amazon-redshift-using-emr-sqoop/

并决定尝试一下，所以我遵循了博客中描述的方法。但是，当我尝试运行此代码片段以测试与RDS的连接时：

sqoop eval --connect“ jdbc：postgresql：//****.****.us-east-1.rds.amazonaws.com：5432” --query“从表中选择count（*）* ***“ --username **** -P

我得到以下错误输出：error_part1error_part2

我尝试查找错误代码600000和错误输出的一部分，以查看我们的员工以前是否曾解决过此问题，但是没有运气。

在我看来，sqoop连接到RDS时遇到问题，但是出于测试目的，我已经设置了RDS安全规则以允许任何入/出流量。

我在弄清楚是什么原因导致此错误以及如何解决该问题时遇到了问题，但到目前为止没有任何进展。非常感谢您的帮助！

Answer 1

看起来像是SSL（传输层加密）问题。尝试将您的URL更新为：

"jdbc:postgresql://****.****.us-east-1.rds.amazonaws.com:5432?ssl=true"

这可能使其使用SSL并正常工作。

参考：https://jdbc.postgresql.org/documentation/head/connect.html