从 HDP 非安全集群迁移到 CDP 安全集群

Question

我们正在将 HDFS 数据从 HDP non-sercure 集群迁移到 CDP secure 集群，当我阅读 Cloudera 文档时，他们提到“distcp”作为处理迁移的工具，但他们也提到仅从HDP secure集群到CDP安全/非安全集群，这不是我的情况。

我有几个问题：

• 我应该先保护现有集群，然后再使用 distcp 吗？
• 或者如果我在没有安全检查的情况下使用 distcp 可以吗？
• 根据您的经验，我该如何处理这种情况？

提前致谢

Answer 1

根据我的经验，您必须使用有效的 kerberos 票证和以下参数从 CDP 安全集群运行 distcp ：

ipc.client.fallback-to-simple-auth-allowed=true

完整示例：

hadoop distcp \
   -D ipc.client.fallback-to-simple-auth-allowed=true \ 
   hdfs://<hdp_namenode>:8020/<dir> \ 
   hdfs://<cdp_namenode>:8020/<dir>

Answer 2

我也尝试过同样的方法，但没有成功。我还需要在 CDP（安全）集群上进行其他配置吗？