我正在尝试在 Kerberized 集群中使用 YARN 共享缓存,但遇到了一些问题。 错误日志附在下面。 (https://drive.google.com/file/d/1xrOBaYqcJ8sKsRZCmTm8dLn8qHzsA4GA/view?usp=sharing)
我的代码:
import org.apache.hadoop.yarn.client.api.impl.SharedCacheClientImpl;
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.yarn.conf.YarnConfiguration;
import org.apache.hadoop.yarn.api.records.ApplicationId;
val scmClient = new SharedCacheClientImpl();
val config = new Configuration();
scmClient.init(config);
scmClient.start();
val cachedPath=scmClient.use(ApplicationId.fromString("application_1689111176927_9999"), "4355a46b19d348dc2f57c046f8ef63d4538ebb936000f3c9ee954a27460dd865");
我的集群信息如下: * Hadoop:3.1.0 * Kerberos 身份验证:是
我尝试跟踪日志和源代码,但没有找到任何有关 YARN 共享缓存的 Kerberos 身份验证的线索。
谁能帮我找出这个问题的原因吗?
问题解决了吗?我遇到了同样的问题。我很困惑是否配置设置或其他方面有问题?