如何将AWS Elasticache Redis集群连接到Spring Boot应用程序？

Question

我有 Spring Boot 应用程序，它使用 Jedis 连接工厂连接到 Redis 集群：

RedisClusterConfiguration redisClusterConfiguration = new RedisClusterConfiguration(redisProperties.getCluster().getNodes());
redisClusterConfiguration.setPassword(redisProperties.getPassword());
jedisConnectionFactory = new JedisConnectionFactory(redisClusterConfiguration);

并从 application.yml 中读取节点列表：

spring:
  redis:
    host: 127.0.0.1
    port: 6379
    timeout: 300s
    cluster:
      nodes: 127.0.0.1:6380,127.0.0.1:6381,127.0.0.1:6382

现在我们想切换到 Elasticache，因为我们无论如何都在 AWS 上托管 Redis 集群。 这很容易完成。如果可以使用 AmazonElastiCache lib。 然后我们可以使用 AWS 凭证连接到 Elasticache 集群，拉取可用节点并将其放入列表中并将其传递给 Jedis，而不是在 application.yml 中对它们进行硬编码，例如：

//get cache cluster nodes using AWS api
private List<String> getClusterNodes(){
    AmazonElastiCache client = AmazonElastiCacheClientBuilder.standard().withRegion(Regions.DEFAULT_REGION).build();
    DescribeCacheClustersRequest describeCacheClustersRequest = new DescribeCacheClustersRequest();
    describeCacheClustersRequest.setShowCacheNodeInfo(true);
    List<CacheCluster> cacheClusterList = client.describeCacheClusters(describeCacheClustersRequest).getCacheClusters();
    List<String> nodeList = new ArrayList<>();
    try {
        for (CacheCluster cacheCluster : cacheClusterList) {
            for(CacheNode cacheNode :cacheCluster.getCacheNodes()) {
                String nodeAddr = cacheNode.getEndpoint().getAddress() + ":" +cacheNode.getEndpoint().getPort();
                nodeList.add(nodeAddr);
            }
        }
    }
    catch(Exception e) {
        e.printStackTrace();
    }
    return nodeList;
}

但 DevOps 团队表示，他们无法在所有实验室上配置 AWS 访问，他们这样做是有原因的。此外，我们需要通过 URL 连接到特定集群，而不是连接到 AWS 并拉取所有可用集群。

因此，我尝试将 Elasticache 集群 url 作为独立组件和 application.yml 配置中的集群直接传递给 Jedis。 在这两种情况下都建立了连接，但是当应用程序尝试写入 Elasticache 时，它会出现 MOVED 异常：

org.springframework.web.util.NestedServletException: Request processing failed; nested exception is org.springframework.data.redis.ClusterRedirectException: Redirect: slot 1209 to 10.10.10.011:6379.; nested exception is redis.clients.jedis.exceptions.JedisMovedDataException: MOVED 1209 10.10.10.102:6379

据我了解，这意味着应用程序尝试写入 Elasticache 中的节点之一，但无法连接。

所以问题是有没有一种方法可以仅使用 Elasticache 集群 URL 从 Spring Boot 应用程序连接到 Elasticache Redis 集群？

我知道如果使用 Elasticache Memecache 是可行的。 Jedis 驱动程序也不是硬性要求。

谢谢你。

Answer 1

经过一些研究，我们了解到，如果 AWS Elasticache 集群端点设置为

RedisClusterConfiguration

中的节点，则驱动程序（Jedis 或 Lettuce）能够连接并找到 Elasticache 集群中的所有节点。此外，如果其中一个节点出现故障，驱动程序还可以通过其他节点与 Elasticache 集群进行通信。

我们在进行本次升级时也迁移到了 Lettuce 驱动程序，因为 Lettuce 是 Spring Boot Redis Started 中提供的默认驱动程序，并且支持最新的 Redis 版本。 Lettuce 连接也被设计为线程安全的，而 Jedis 则不是。

代码示例：

List<String> nodes = Collections.singletonList("****.***.****.****.cache.amazonaws.com:6379");
RedisClusterConfiguration clusterConfiguration = new RedisClusterConfiguration(nodes);
return new LettuceConnectionFactory(clusterConfiguration);

Answer 2

受上述答案启发：，完成更详细的代码

 List<String> nodes = Collections.singletonList("<cluster-host-name>:<port>");
 RedisClusterConfiguration clusterConfiguration = new RedisClusterConfiguration(nodes);
 
 ClusterTopologyRefreshOptions topologyRefreshOptions = ClusterTopologyRefreshOptions.builder().closeStaleConnections(true)
 .enableAllAdaptiveRefreshTriggers().build();
 
 ClusterClientOptions clusterClientOptions = ClusterClientOptions.builder().autoReconnect(true)
 .topologyRefreshOptions(topologyRefreshOptions).validateClusterNodeMembership(false)
 .build();
 //If you want to add tuning options
 LettuceClientConfiguration  lettuceClientConfiguration = LettuceClientConfiguration.builder().readFrom(ReadFrom.REPLICA_PREFERRED).clientOptions(clusterClientOptions).build();
 
 LettuceConnectionFactory lettuceConnectionFactory = new LettuceConnectionFactory(clusterConfiguration, lettuceClientConfiguration);
 lettuceConnectionFactory.afterPropertiesSet();//**this is REQUIRED**
 StringRedisTemplate redisTemplate = new StringRedisTemplate(lettuceConnectionFactory);

Answer 3

抱歉，什么是单一集群端点？像这样的吗？

clustercfg.xxxx-redis.xxx.xxx.cache.amazonaws.com:6379