如何使用HPC从Ollama Server获取推断 我在HPC系统上成功下载了Ollama。现在,我需要有关如何有效使用它的指导。具体来说,我想安排一项作业以在后台运行Ollama服务器并执行...

问题描述 投票:0回答:0
。/bin/ollama服务

在另一个终端,我打开了一个交互式会话,并尝试运行我的python脚本。

,但是,当我的脚本试图连接到服务器时,我遇到了“连接拒绝”错误。 我的设置的细节是:

•Ollama可执行文件位于./bin/ollama.

•我使用了命令./bin/ollama用来启动服务器。 commands安装ollama
  1. Curl-l
  2. Https://ollama.com/download/ollama-linux-amd64.tgz
-o ollama-linux-amd64.tgz

-tar -zxvf ollama-linux-amd64.tgz

。/bin/ollama服务

您可以帮助我理解:

如何正确安排工作以在HPC系统上的背景下运行Ollama服务器。

如何配置我的脚本以成功连接到OllamaServer.

有关此问题的缺少信息吗?系统使用什么调度程序?运行Python程序时,您使用什么IP/端口来连接?您可以在集群上打开端口吗? 如果我要猜测,您的第二个交互式会话可能会安排到另一个节点,并且您正在与My_script 127.0.0.0.0.0.11434而不是my_script node1_where_ollama_lives:11434?

您还可以在末尾使用AmperSand(&)运行您的Ollama,该末端将在后台运行该程序,或者如果已经运行的是CTRL+Z。这将使您返回相同的终端,您可以尝试从那里运行Python脚本并提供更多细节。

hpc ollama
最新问题
© www.soinside.com 2019 - 2025. All rights reserved.