我想通过本地开源 LLM 在我们组织的代码库上使用 RAG？我如何准备代码库文件以与 RAG 一起使用。
我尝试将代码库的所有文件转换为txt文件并输入LLM，但我认为这不是最好的方法。
我建议使用免费的代码解析器，然后将这些解析后的代码分块。然后就是简单的RAG了。抽象语法树 (AST) 解析器是市场上最著名的代码解析器之一。只要知道解析文本和解析代码是不同的。从代码中查找上下文是通过根据类和函数等有效地解析代码来完成的。