在 Grafana 中隐藏 gauge 系列终止的 pod

Question

我正在报告我的应用程序 pod 中的某个指标。让我们说并发请求的数量。 在 Pod 被 HPA 终止后，这些系列会保留报告的最新值。

这是我的查询：

kubernetes_gauge_my_app{namespace="my_ns", cluster="my_cluster", key="concurrent_requests", host=~"my_app.\*"}

主机标签实际上是一个 pod 名称。所以每次创建新的 pod 时，都会出现新的系列，而所有旧系列仍然存在。

我的问题是如何隐藏它们？

对于这些应用程序，我还有其他几个计数指标，其中一个就是每秒心跳。所以也许如果心跳在几秒钟内没有改变，我们可以认为这个 pod 已经死了并隐藏系列，但不知道如何接近它。

Answer 1

使用此选择器过滤当前不存在的所有指标：

kubernetes_gauge_my_app{namespace="my_ns", cluster="my_cluster", key="concurrent_requests", host=~"my_app.\*"} and kubernetes_gauge_my_app@end()

Here

@end()

仪表板指定的时间范围结束时返回指标值，如果它是预设的话。