如何计算机器学习和深度学习模型的大O时间复杂度？还有其他措施来定义模型的复杂性吗？

Question

我正在尝试衡量机器学习模型实现的复杂性，作为将它们与统计方法（例如）进行比较的一种方式。是否可以像在其他算法/程序中那样使用 Big O 复杂性度量？

我已经看到建议根据内存使用量或训练时间来衡量复杂性。然而，这些不是理论测量，并且可能因机器而异。我使用的一种方法是简单地比较“可训练参数”的总数。可能需要测量“数学运算”的总数。然而，当构建具有不同层类型的深度模型时，这可能会很复杂。 您对如何衡量机器学习模型的复杂性有什么建议吗？具体来说，可以考虑使用卷积神经网络。

根据

此来源

Answer 1

您也可以考虑这个其他来源，其中说： “对 ML 算法进行大 O 分析可以归结为回答以下问题：

ML算法收敛吗？如果是，它是确定性收敛还是概率性收敛？

收敛所需的迭代次数能否表示为 N 的函数？在什么条件下？

1. 如果我们不能给出迭代次数的明确形式，我们至少可以提供收敛率吗？”