我下载了大约 7000-8000 个小 .pdf 文件（其中 95% 的大小为 50-100 KB），每当有更新时我都会使用此类数据，因为我收到了 .pdf 文件，所以我有点必须使用这个结构。
我将所有文件上传到 Google Drive 文件夹，希望能够创建集成并让自定义 GPT 读取所有文件，然后给我一个正确的答案，或者使用这些文件训练 GPT 并使其始终准备就绪，也许我想错了，但是有什么方法可以使用所有这些小 .pdf 文件并让 GPT 将它们用作信息源吗？
提前非常感谢大家，祝大家玩得愉快！
是的，您可以使用数千个小型 PDF 文件训练 OpenAI Custom GPT。但是，涉及一些注意事项和步骤：
注意事项：
文件大小：OpenAI 对一次可以上传的总文件大小有限制。您可能需要将 PDF 分割成更小的块或批量上传。 数据准备：训练前需要将PDF文件转换为文本格式。这可以使用 OCR（光学字符识别）等各种工具或 PyPDF2 等库来完成。 模型大小：PDF 的数量及其总大小将影响所需的模型大小。更大的数据集可能需要更大的模型，而训练和运行的计算成本可能更高。 微调与嵌入：您可以在 PDF 数据上微调预先训练的 GPT 模型，也可以使用嵌入创建用于语义搜索的矢量数据库。微调功能更强大，但需要更多的计算资源和专业知识。嵌入更简单，但对于复杂查询可能不太准确。 步骤：
数据准备：
使用 OCR 或库将 PDF 转换为文本。 清理和预处理文本数据（去除噪音、标准化等）。 将数据分为训练集和验证集。 型号选择：
选择适合您任务的预训练 GPT 模型（例如 GPT-3）。 考虑模型大小和所需的计算资源。 培训：
使用 OpenAI 的 API 或兼容框架（例如 Hugging Face）根据准备好的数据微调模型。 使用不同的超参数（学习率、批量大小等）进行实验以优化性能。 部署：
将经过训练的模型部署到 API 或将其集成到您的应用程序中。 使用模型根据 PDF 内容生成文本、回答问题或执行其他任务。 附加提示：
数据质量：确保从 PDF 中提取文本的质量。 数据量：更多的数据通常会带来更好的模型性能。 模型架构：尝试不同的模型架构（例如 GPT-3、GPT-4），找到最适合您任务的模型架构。 评估：持续评估模型在验证集上的性能并根据需要进行调整。 通过遵循这些步骤并考虑上述因素，您可以在数千个小 PDF 文件上有效地训练自定义 GPT 模型。