openEuler Linux安裝 Ollama 教程:本地部署大模型的完整指南

在 AI 本地化部署需求日益增長的今天,Ollama 憑藉其輕量、易用的特性,成為了開發者在本地運行大模型(如 Llama 3、Qwen、Mistral 等)的首選工具。本文將為你提供基於歐拉 Linux(openEuler)系統安裝 Ollama 的完整步驟,從環境準備到模型運行,每一步都附帶詳細説明和問題排查方案,確保新手也能順利完成部署。

一、前置知識:瞭解 Ollama 與歐拉 Linux 的適配性

在開始安裝前,先明確兩個核心概念,避免後續操作踩坑:

  • Ollama:一款開源的大模型本地化運行工具,支持一鍵下載、啓動主流大模型,無需複雜的環境配置(如 CUDA、Python 依賴等),底層自動適配 CPU/GPU。
  • 歐拉 Linux(openEuler):華為主導的開源服務器操作系統,基於 Linux 內核,兼容大多數 Linux 生態工具,但需注意部分軟件可能需要依賴glibccurl等基礎組件(歐拉默認已預裝部分,未裝則需手動補充)。

適配説明:Ollama 官方未單獨標註 “歐拉 Linux 支持”,但因歐拉兼容 Linux 通用指令,且底層依賴(如x86_64/aarch64架構)與主流 Linux 一致,實際測試中可穩定運行。

二、環境準備:確認系統與硬件要求

安裝前需檢查系統配置,確保滿足 Ollama 的運行條件:

1. 系統架構與版本檢查

Ollama 支持x86_64(英特爾 / AMD)和aarch64(ARM,如華為鯤鵬)架構,需先確認歐拉系統的架構:打開終端,執行以下指令:

# 查看系統架構
uname -m
# 查看歐拉系統版本
cat /etc/openEuler-release
  • 若輸出x86_64aarch64,則符合架構要求;
  • 歐拉系統版本建議為22.03 LTS 及以上(舊版本可能存在依賴缺失問題)。

2. 硬件要求

Ollama 對硬件的要求主要取決於運行的模型大小,核心是內存(RAM) 和存儲空間

模型類型

最小內存要求

推薦存儲空間

運行建議

7B 參數模型(如 Llama 3 7B)

8GB

10GB+

CPU 可運行,GPU 更流暢

13B 參數模型(如 Qwen 13B)

16GB

20GB+

建議搭配 GPU(NVIDIA/AMD)

70B 參數模型(如 Llama 3 70B)

32GB+

80GB+

必須搭配高性能 GPU

GPU 支持説明

  • 若使用 NVIDIA 顯卡,需提前安裝NVIDIA驅動CUDA Toolkit(Ollama 會自動檢測 CUDA);
  • 若使用 AMD 顯卡,歐拉系統需啓用ROCm驅動(Ollama 對 AMD 的支持略晚於 NVIDIA,建議選擇較新的 Ollama 版本);
  • 無 GPU 則使用 CPU 運行,速度較慢,但可滿足輕量測試需求。

三、安裝步驟:分 3 步完成 Ollama 部署

步驟 1:安裝基礎依賴工具

歐拉 Linux 默認可能缺少curl(用於下載 Ollama 安裝腳本),需先補充安裝:

# 切換至root用户(若當前為普通用户,需輸入密碼)
su root

# 更新yum源(確保下載的依賴為最新版本)
yum update -y

# 安裝curl工具
yum install curl -y

# 驗證curl是否安裝成功(輸出版本號即正常)
curl --version

步驟 2:下載並安裝 Ollama

Ollama 提供 Linux 通用安裝腳本,可通過curl一鍵下載並執行,腳本會自動適配系統架構:

# 執行Ollama官方安裝腳本(國內用户可替換為鏡像源,見下方説明)
curl -fsSL https://ollama.com/install.sh | sh
【國內用户優化】解決下載慢問題

若直接訪問官方腳本速度慢,可使用阿里雲鏡像源下載安裝腳本,替換指令為:

# 阿里雲鏡像源安裝Ollama
curl -fsSL https://mirrors.aliyun.com/ollama/install.sh | sh
安裝成功驗證

安裝完成後,終端會輸出類似以下信息(無報錯即成功):

>>> Installing Ollama to /usr/local/bin...
>>> Creating ollama user...
>>> Adding ollama user to video group...
>>> Starting ollama service...
>>> Ollama installed successfully!
>>> Run `ollama run llama3` to get started.

步驟 3:驗證 Ollama 服務狀態

Ollama 安裝後會自動註冊為系統服務(ollama.service),需確認服務是否正常啓動:

# 查看Ollama服務狀態(active (running) 即正常)
systemctl status ollama

若服務未啓動(狀態為inactive),執行以下指令手動啓動並設置開機自啓:

# 啓動Ollama服務
systemctl start ollama

# 設置Ollama開機自啓(避免重啓系統後需重新啓動)
systemctl enable ollama

# 再次驗證狀態
systemctl status ollama

四、使用 Ollama:運行第一個大模型

安裝完成後,即可通過終端指令下載並運行大模型,以目前主流的Llama 3 7B(Meta 官方開源模型,平衡性能與速度)為例:

1. 下載並啓動模型

在終端執行以下指令,Ollama 會自動下載模型(約 4.7GB,國內用户建議配置鏡像源,見下方):

# 運行Llama 3 7B模型(首次執行會下載模型,耐心等待)
ollama run llama3
【國內用户優化】配置模型下載鏡像

默認模型下載地址為 Ollama 官方服務器,國內速度慢,可通過設置環境變量指定阿里雲鏡像源

# 臨時生效(僅當前終端會話有效)
export OLLAMA_HOST=https://ollama.aliyuncs.com

# 永久生效(編輯環境變量配置文件,需重啓終端)
echo 'export OLLAMA_HOST=https://ollama.aliyuncs.com' >> /etc/profile
source /etc/profile

2. 與模型交互

模型下載完成後,終端會進入交互模式(顯示>>> 提示符),可直接輸入問題進行對話,例如:

>>> 請簡單介紹歐拉Linux
歐拉Linux(openEuler)是由華為主導、開源社區共建的企業級Linux服務器操作系統,基於Linux內核,主打穩定性、安全性和高性能,廣泛應用於雲計算、大數據、人工智能等場景,支持x86_64和aarch64(如鯤鵬)架構,適合企業級本地化部署。

>>> 如何用Python讀取Excel文件?
在Python中讀取Excel文件常用庫有pandas和openpyxl:
1. 安裝依賴:pip install pandas openpyxl
2. 示例代碼:
import pandas as pd
df = pd.read_excel('test.xlsx', engine='openpyxl')
print(df.head())

3. 退出交互模式

若需結束對話,在交互模式下輸入以下指令即可退出:

>>> /bye

五、常用操作:模型管理與服務配置

1. 查看已安裝的模型

# 列出本地所有模型
ollama list

2. 刪除不需要的模型

# 刪除Llama 3 7B模型(替換為你要刪除的模型名)
ollama rm llama3

3. 運行其他模型

Ollama 支持上百種大模型,常見模型及運行指令如下:

模型名稱

模型特點

運行指令

Qwen 7B

阿里開源,中文支持好

ollama run qwen:7b

Mistral 7B

速度快,適合輕量任務

ollama run mistral:7b

Gemma 7B

Google 開源,適合開發

ollama run gemma:7b

Llama 3 70B

大參數,生成質量高

ollama run llama3:70b

提示:模型名後加:版本可指定具體版本(如llama3:7b-instruct為指令微調版),完整模型列表可查看Ollama 官方模型庫。

4. 配置 Ollama 服務端口(可選)

默認情況下,Ollama 僅本地可訪問(端口11434),若需局域網內其他設備訪問,需修改服務配置:

# 編輯Ollama服務配置文件
vim /etc/systemd/system/ollama.service.d/override.conf

在文件中添加以下內容(允許所有設備訪問,或指定 IP 段):

[Service]
Environment="OLLAMA_HOST=0.0.0.0:11434"

保存並重啓服務使配置生效:

# 重新加載服務配置
systemctl daemon-reload

# 重啓Ollama服務
systemctl restart ollama

其他設備可通過http://[歐拉Linux的IP]:11434訪問 Ollama 服務(需確保防火牆開放 11434 端口)。

六、問題排查:常見錯誤與解決方法

1. 安裝時提示 “Permission denied”

原因:普通用户無權限寫入/usr/local/bin目錄。解決:切換至 root 用户(su root)後重新執行安裝腳本。

2. 模型下載卡住或失敗

原因:網絡問題或鏡像源未配置。解決

  1. 按步驟 4 中的 “國內用户優化” 配置阿里雲鏡像源;
  2. 若仍失敗,檢查網絡是否能訪問外部(ping baidu.com),或手動下載模型文件後導入(參考Ollama 手動導入文檔)。

3. 運行模型時提示 “out of memory”

原因:內存不足,無法支撐模型運行。解決

  1. 關閉其他佔用內存的進程(top查看進程,kill -9 進程ID關閉);
  2. 更換更小參數的模型(如將 70B 換成 7B);
  3. 若有 GPU,確認 GPU 驅動已正確安裝(nvidia-smi查看 NVIDIA 驅動狀態)。

4. 服務啓動失敗(status 為 failed)

原因:依賴缺失或配置文件錯誤。解決

  1. 查看服務日誌,定位錯誤原因:journalctl -u ollama -f
  2. 若日誌提示 “missing libc”,安裝glibcyum install glibc -y
  3. 若配置文件錯誤,刪除/etc/systemd/system/ollama.service.d/override.conf後重啓服務。

七、總結

通過本文的步驟,你已成功在歐拉 Linux 上安裝並運行 Ollama,實現了大模型的本地化部署。核心要點回顧:

  1. 環境準備時需確認系統架構和硬件配置,國內用户優先配置鏡像源;
  2. 安裝過程依賴curl工具,服務啓動後需驗證狀態;
  3. 運行模型時根據內存選擇合適的模型參數,避免內存不足;
  4. 遇到問題時通過日誌排查,優先解決網絡和依賴問題。

Ollama 的輕量特性讓大模型本地化變得簡單,後續你可根據需求嘗試不同模型,或結合 LangChain、Flowise 等工具搭建更復雜的 AI 應用