我想在gitlab ci/cd作业中运行ollama作为服务。例如,这起作用:
ollama:
services:
- name: ollama/ollama
alias: ollama
command: ["serve"]
script: |
curl -s -S ollama:11434
我得到默认响应
ollama
。
问题是,
Ollama is running
服务尚未删除任何型号。如果我尝试生成一个提示,则失败:
ollama
(本地运行时)的解决方案是首先用
curl -s -S ollama:11434/api/generate -X POST -d '{ "model": "llama3.2", "stream": false, "prompt": "Generate some text" }'
# {"error":"model 'llama3.2' not found"}
拉动模型。问题在于,由于服务的ollama pull llama3.2
值转化为Docker的论点,因此它仅接受一个可执行文件及其参数。鉴于,我需要运行2个命令:command
then。 我发现了一个问题,问一个问题,他们的解决方案是不运行服务,而是在其工作脚本中的后台过程中运行Ollama:
CMD
。显然这有效,但这似乎是一个不完美的选择。
没有人知道我如何才能使用服务?
okay,我通过查询我的ollama api的deentpoint::ollama pull
comely我希望它在ollama serve
部分中完全完成,但这可以很好地完成工作。