我尝试使用 Text Gen Web UI 从 HuggingFace 加载多个模型,但无论模型或加载器,我都会为加载器得到相同的“ModuleNotFoundError”。
重要的是,我使用的是 Intel i7 而不是 GPU,但过去我已经能够使用不同的 UI 工具运行较小的模型。
我遵循的步骤:
在无法加载模型时,我尝试了很多方法:
同样的错误一遍又一遍地出现。这让我发疯!
示例(每个示例都已安装在正确的环境中):
ModuleNotFoundError:无法导入“autogptq”。请安装它 手动按照 AutoGPTQ GitHub 存储库中的说明进行操作。
ModuleNotFoundError:没有名为“exllamav2”的模块
OSError:错误没有名为 pytorch_model.bin、model.safetensors 的文件, 在目录中找到 tf_model.h5、model.ckpt.index 或 flax_model.msgpack 模型\meta-llama_Llama-3.2-1B.
这里的问题是,由于某种原因,这从来没有真正解释过,即使你正确安装了 python,并且需要所有依赖项...... webui 仍然会使用它自己的嵌入式版本的 python 并忽略你所拥有的内容安装。所以你可以排除故障并安装,直到你脸色发青,这也改变不了任何事情。问我怎么知道以及为什么我现在对他们的设置感到恼火...最简单的解决方法就是自己进行设置。
下载Anaconda 打开“anaconda提示符”(不是cmd)
conda create --name textgen python=3.10
conda activate textgen
cd C:\path\to\text-generation-webui
pip install auto-gptq
pip install --upgrade -r requirements.txt
从那时起,当你想启动服务器时。启动 anaconda,移动到 webui 文件夹并使用
conda activate textgen
python server.py
希望我没有破坏任何这些命令,但这应该足以让你克服障碍。
请注意,这些步骤是在初始安装 webui 后完成的。