从 GitHub 导入后如何在 MS Azure 上运行 Grok-1？

Question

我刚刚获得了 Microsoft Azure，我想利用它的速度和基于云的计算来运行 Grok-1 由 X ai 设计。

我从 GitHub 导入了存储库，现在我在 DevOps 上的项目选项卡上拥有所有文件。

我遇到的问题是如何运行代码以及如何下载必要的文件。

下图显示了我所在的位置：
Grok 导入到 Azure

如何运行代码并向其提供数据以进行分析和修改？

Answer 1

根据 readme，管道应首先下载权重，然后继续测试代码。

但是，当尝试使用 Microsoft 托管的代理运行管道时，它会失败并显示错误：

OSError: [Errno 28] No space left on device

。

Microsoft 托管代理 配备 2 核 CPU、7 GB RAM 和 14 GB SSD 磁盘空间。自述文件指出，由于模型尺寸较大（314B 参数），需要具有足够 GPU 内存的机器才能使用示例代码测试模型。

因此，Microsoft 托管代理提供的磁盘空间不足以运行测试。有必要设置一个具有更多磁盘空间的自托管代理。可以在此处找到配置自托管代理的说明。

设置后，您可以使用以下

azure-pipelines.yml

在自托管代理上执行管道。

trigger:
- none

pool:
  name: default   #your self-hosted agent pool name.

steps:
- script: |
    pip install huggingface_hub[hf_transfer]
    huggingface-cli download xai-org/grok-1 --repo-type model --include ckpt-0/* --local-dir checkpoints --local-dir-use-symlinks False
  displayName: 'Downloading the weights'

- task: PythonScript@0
  inputs:
    scriptSource: 'inline'
    script: |
      pip install -r requirements.txt
      python run.py
  displayName: 'test the code'