上一篇文章使用Ollama部署了本地大模型，不过那时还没有利用本地的GPU资源。如果需要启用GPU，还需要首先安装nvidia-container-toolkit。

1
2
3
4
5
6
7
8
curl -fsSL https://nvidia.github.io/libnvidia-container/gpgkey \
    | sudo gpg --dearmor -o /usr/share/keyrings/nvidia-container-toolkit-keyring.gpg
curl -s -L https://nvidia.github.io/libnvidia-container/stable/deb/nvidia-container-toolkit.list \
    | sed 's#deb https://#deb [signed-by=/usr/share/keyrings/nvidia-container-toolkit-keyring.gpg] https://#g' \
    | sudo tee /etc/apt/sources.list.d/nvidia-container-toolkit.list
sudo apt-get update

sudo apt-get install -y nvidia-container-toolkit

安装之后，还需要设置 NVIDIA 容器运行时。

1
2
sudo nvidia-ctk runtime configure --runtime=docker
sudo systemctl restart docker

之后即可运行如下命令来验证是否配置成功 docker run --rm --gpus all ubuntu nvidia-smi。

配置完成之后，就可以直接利用GPU资源来运行ollama了。

1
docker run -d --gpus=all -v ollama:/root/.ollama -p 8000:11434 --name ollama ollama/ollama