在 Windows 10 的 Jupyter Notebook 中使用 Ollama 进行嵌入和微调

问题描述 投票:0回答:1

我正在开发 RAG 应用程序。我使用 pdf 文件作为文本数据,并使用 NLTK 清理数据。我已经在我的本地系统中安装了 llama 以及 llama2 模型。我正在努力 使用 ollama 嵌入模型 mxbai-embed-large 将数据嵌入到向量形式并将其存储在 chromabd 上,但我无法嵌入整个数据,因为标记太多,所以我嵌入了一些数据。但如果我给出提示并得到响应,它会给出响应,但不是根据我的数据。以及如何微调模型?我只需要指导和顺序,以便我从事该项目。这对我很重要。我需要你的指导。请回复。我用的是windows10。 这是我遇到问题的代码: 我的代码图片

我正在尝试嵌入所有数据并将其存储在 chromadb 中,我还想微调 llama2 模式。我还得到一个线索,如果我使用 UNSLOTH 那么就可以完成。但不知道怎么做。我不使用拥抱脸,因为如果我想这样做,那么使用 langchain 也可以很快完成。但我想在我的本地系统中与 Ollama 一起完成此操作。

nltk ollama rag
1个回答
0
投票

这样您就不必等待别人的答复。这是使用 Langchain 和 Ollama(基本模型和嵌入)实现 RAG 的教程,也使用 [pixegami][1] 的 Chroma

ps,我只是觉得它符合你的具体情况 [1]: https://youtu.be/tcqEUSNCn8I?si=pd4ij85CJqHC4XoR

© www.soinside.com 2019 - 2024. All rights reserved.