如何删除Airflow中未使用的XCOM对象？

Question

我所在的公司在运行完一个DAG后，从不删除XCom对象。现在，它有500多页的XCom对象，我知道它占用了一些元数据数据库的存储。我想清理一下，但我怕会删除一些当前使用的XCom对象。还有一个额外的问题，保留这些XCom对象有什么利弊？

谢谢您

Answer 1

气流的XCom模型会跟踪哪个DAG-任务-执行-日期创建了XCom条目。似乎没有任何机制来跟踪当前所有任务正在消耗该条目。

如果你的DAG是真正的idempotent，你总是可以在将来需要的时候用相同的值再次生成XCom条目。