如何使用LLama3作为其他设备上的副驾驶托管?

问题描述 投票:0回答:1

我读到了有关 codegpt 的内容,它允许我像使用副驾驶一样使用每个 AI 模型。我知道我可以在那里使用 LLama3,但是是否有一个选项可以将 Llama3 放置在一台设备上,然后使用 codegpt 之类的东西连接到该设备并提出问题?我希望多台计算机使用一个模型,并且我想训练该模型

artificial-intelligence llama
1个回答
0
投票

是的,这是可能的。

快速简单的方法

  1. 在目标设备上下载并启动桌面应用程序 LM Studio
  2. 将所需模型(如Llama3)加载到LM Studio中。
  3. 通过插件的 “Custom OpenAI” 提供商将 CodeGPT 连接到 LM Studio

详细 CodeGPT -> LM Studio 分步指南:https://github.com/carlrobertoh/CodeGPT/issues/384#issuecomment-2473137768

© www.soinside.com 2019 - 2024. All rights reserved.