Reference：

https://github.com/ollama/ollama/blob/main/docs/linux.md

在安装之前…

由于上游软件包的冲突，Ollama无法在JetPack4上构建（Ubuntu 18.04），因此也就意味着
以下设备无法直接安装Ollama（但可以通过Docker使用）：

  • Jetson Nano

  • Jetson TX1

  • Jetson TX2

以下设备需要升级到JetPack5（Ubuntu20.04)才能直接安装Ollama：

  • Jetson AGX Xavier

  • Jetson AGX Xavier Industrial

  • Jetson Xavier NX

Orin系列或更新推出的Jetson系列都可以使用Ollama。

确认你已经安装好了CUDA

可以通过nvcc -V来查看CUDA版本，如果无法运行，那么可能是没有安装CUDA，需要手动安装。

快速安装

sudo apt update
sudo apt install nvidia-jetpack

这将为你补齐所有缺失的环境，包括CUDA、TensorRT等。

官方脚本安装Ollama

官方提供的脚本，需要良好的网络环境才能安装。

curl -fsSL https://ollama.com/install.sh | sh

手动安装Ollama

查看JetPack版本

sudo apt-cache show nvidia-jetpack

这一步主要是区分你当前使用的是JetPack5还是6，影响到后面安装包版本的下载。

下载程序包

https://github.com/ollama/ollama/releases

需要下载两个文件：

  • ollama-linux-arm64.tgz

  • ollama-linux-arm64-jetpack?.tgz

使用支持调用本地文件安装的自动安装脚本

对官方脚本进行了简单修改，可以直接将所需安装包文件放置在运行目录下，脚本会自动使用已下载的文件并跳过下载过程。

curl -fsSL https://static.patzer0.com/ollama_install.sh | sh

如果你不希望使用脚本，也可以按照以下步骤完全手动安装。

移除旧版本

如果你曾经安装过旧版本Ollama，需要先删除：

sudo rm -rf /usr/lib/ollama

安装程序包

首先cd到安装包所在目录（以/tmp为例），确保已经下载了两个安装包，然后解压

cd /tmp 
ls ollama*.tgz
sudo tar -C /usr -xzf ollama-linux-arm64.tgz
sudo tar -C /usr -xzf ollama-linux-arm64-jetpack*.tgz

试着启动一下

ollama serve

再开一个终端，看看有没有在运行：

ollama -v
~$ ollama -v
ollama version is 0.5.4

添加开机自启（可选）

为Ollama创建用户组

为

创建service文件

sudo nano /etc/systemd/system/ollama.service

输入以下内容：

[Unit]
Description=Ollama Service
After=network-online.target

[Service]
ExecStart=/usr/bin/ollama serve
User=ollama
Group=ollama
Restart=always
RestartSec=3
Environment="PATH=$PATH"

[Install]
WantedBy=default.target

启动服务

sudo systemctl daemon-reload
sudo systemctl enable ollama