Kubernetes Ingress（特定应用程序）504 网关超时 60 秒

Question

我们有一个包含 k8s + Rancher 2（3 个节点）和外部 nginx 的环境，根据本文档，该环境仅将连接转发到 k8s 集群：https://rancher.com/docs/rancher/v2.x/en/安装/k8s-安装/

在此环境中运行的特定应用程序中，当我们执行 POST（因为此 POST 大约需要 3 到 4 分钟才能完成）时，它会在 60 秒后被中断，并显示消息“504 Gateway Time-Out”。我尝试应用特定注释来更改超时，如下所示，但无济于事：

应用入口：

apiVersion: extensions/v1beta1
kind: Ingress
metadata:
  name: api-loteamento-spring-hml
  annotations:
    nginx.ingress.kubernetes.io/proxy-connect-timeout: "3600"
    nginx.ingress.kubernetes.io/proxy-read-timeout: "3600"
    nginx.ingress.kubernetes.io/proxy-send-timeout: "3600"
    nginx.ingress.kubernetes.io/server-snippet: "keepalive_timeout 3600s;client_body_timeout 3600s;client_header_timeout 3600s;"
  labels:
    run: api-loteamento-spring-hml
spec:
  rules:
  - host: hml-api-loteamento-sp.gruposfa.bla.bla
    http:
      paths:
      - backend:
          serviceName: api-loteamento-spring-hml
          servicePort: 80

我还尝试使用以下参数创建一个全局ConfigMap，但也没有成功：

[rancher@srv-rcnode01 ssl]$ kubectl get pods -n ingress-nginx
NAME                                    READY   STATUS    RESTARTS   AGE
default-http-backend-67cf578fc4-lcz82   1/1     Running   1          38d
nginx-ingress-controller-7jcng          1/1     Running   11         225d
nginx-ingress-controller-8zxbf          1/1     Running   8          225d
nginx-ingress-controller-l527g          1/1     Running   8          225d

[rancher@srv-rcnode01 ssl]$ kubectl get pod nginx-ingress-controller-8zxbf -n ingress-nginx -o yaml |grep configmap
    - --configmap=$(POD_NAMESPACE)/nginx-configuration
    - --tcp-services-configmap=$(POD_NAMESPACE)/tcp-services
    - --udp-services-configmap=$(POD_NAMESPACE)/udp-services

[rancher@srv-rcnode01 ~]$ cat global-configmap.yaml
apiVersion: v1
data:
  client-body-timeout: "360"
  client-header-timeout: "360"
  proxy-connect-timeout: "360"
  proxy-read-timeout: "360"
  proxy-send-timeout: "360"
kind: ConfigMap
metadata:
  name: nginx-configuration

并申请：

kubectl apply -f global-configmap.yaml

访问入口 pod 并检查 nginx.conf，我看到注释是根据应用程序块内设置的参数创建的：

[rancher@srv-rcnode01 ~]$ kubectl -n ingress-nginx exec --stdin --tty nginx-ingress-controller-8zxbf -- /bin/bash

并查看nginx.conf

keepalive_timeout 3600s;client_body_timeout 3600s;client_header_timeout 3600s;

# Custom headers to proxied server
            
            
            proxy_connect_timeout                   3600s;
            proxy_send_timeout                      3600s;
            proxy_read_timeout                      3600s;

我在“server”配置块中的 nginx.conf 文件开头注意到它具有默认的 60 秒超时值：

# Custom headers to proxied server
            
            proxy_connect_timeout                   5s;
            proxy_send_timeout                      60s;
            proxy_read_timeout                      60s;

在这种情况下我的问题是这些值是否可能会干扰这个问题，以及如何在 k8s 中更改这些值？

有没有人经历过这种情况或类似的事情，可以给我一个北？

谢谢！！

Answer 1

您想要实现的目标已在

自定义配置

中的Nginx Documentation中提到。推荐使用ConfigMap。

$ cat configmap.yaml
apiVersion: v1
data:
  proxy-connect-timeout: "10"
  proxy-read-timeout: "120"
  proxy-send-timeout: "120"
kind: ConfigMap
metadata:
  name: ingress-nginx-controller

curl https://raw.githubusercontent.com/kubernetes/ingress-nginx/master/docs/examples/customization/custom-configuration/configmap.yaml \
    | kubectl apply -f -

如果更新了 Configmap，NGINX 将使用新配置重新加载。

之后，在

Ingress controller

窗格中，您应该看到类似以下的条目：

8 controller.go:137] Configuration changes detected, backend reload required.
8 controller.go:153] Backend successfully reloaded.

但是，请记住，不建议为

Nginx

使用更高的超时值。此信息可以在 Nginx Ingress - proxy-connect-timeout:

中找到

设置与代理服务器建立连接的超时。 需要注意的是，这个超时时间通常不能超过75秒。

附加信息：

1. 有时，当

Nginx Ingress

无法加载新配置时，您可以找到如下日志：

controller.go:149"] - Unexpected failure reloading the backend": Invalid PID number "" in "/tmp/nginx/pid"

要修复它，您只需重新启动即可

Ingress pod

。

2. 如果您不喜欢默认设置，您可以在Go language中创建一个

配置模板

。

Answer 2

要仅更新入口，而不更新整个控制器，请使用以下命令。
来源：带注释的高级配置

apiVersion: networking.k8s.io/v1
kind: Ingress
metadata:
  name: api-loteamento-spring-hml
  annotations:
    # for the NGINX's nginx-ingress 
    nginx.org/proxy-connect-timeout: 3600s
    nginx.org/proxy-read-timeout: 3600s
    nginx.org/proxy-send-timeout: 3600s
    # for the default ingress-nginx
    nginx.ingress.kubernetes.io/proxy-connect-timeout: 3600
    nginx.ingress.kubernetes.io/proxy-read-timeout: 3600
    nginx.ingress.kubernetes.io/proxy-send-timeout: 3600
  labels:
    run: api-loteamento-spring-hml
spec:
  ingressClassName: yourIngressClass
  rules:
  - host: hml-api-loteamento-sp.gruposfa.bla.bla
    http:
      paths:
        - path: /
          pathType: ImplementationSpecific
          backend:
            service:
              name: api-loteamento-spring-hml
              port:
                number: 80

Answer 3

我也面临着同样的问题。代理超时值未按照定义的值进行设置。因此，在更改metadata.annotations之后，我的问题就解决了。

Previous Values -

nginx.ingress.kubernetes.io/proxy-connect-timeout: "3600"
nginx.ingress.kubernetes.io/proxy-read-timeout: "3600"
nginx.ingress.kubernetes.io/proxy-send-timeout: "3600"

Working Values -

nginx.org/proxy-connect-timeout: 3600s
nginx.org/proxy-read-timeout: 3600s
nginx.org/proxy-send-timeout: 3600s