在Ollama，如何获得内存使用情况报告？

Question

我有兴趣观察在 ollama 下运行的模型的内存使用情况。

如何查看内存使用情况？

Answer 1

我不知道直接在 Ollama 中的方法，但您可以从您的显卡中粗略估计此信息，例如

nvidia-smi

：

+---------------------------------------------------------------------------------------+
| Processes:                                                                            |
|  GPU   GI   CI        PID   Type   Process name                            GPU Memory |
|        ID   ID                                                             Usage      |
|=======================================================================================|
|    0   N/A  N/A      1345      G   /usr/lib/xorg/Xorg                          378MiB |
|    0   N/A  N/A      2490      G   cinnamon                                     57MiB |
|    0   N/A  N/A      3663      G   ...ures=SpareRendererForSitePerProcess       25MiB |
|    0   N/A  N/A    121270      G   /usr/lib/firefox/firefox                    160MiB |
|    0   N/A  N/A    131205      C   ...p/gguf/build/cuda/bin/ollama-runner     4868MiB |
+---------------------------------------------------------------------------------------+