openEuler Linux安裝 Ollama 教程:本地部署大模型的完整指南
在 AI 本地化部署需求日益增長的今天,Ollama 憑藉其輕量、易用的特性,成為了開發者在本地運行大模型(如 Llama 3、Qwen、Mistral 等)的首選工具。本文將為你提供基於歐拉 Linux(openEuler)系統安裝 Ollama 的完整步驟,從環境準備到模型運行,每一步都附帶詳細説明和問題排查方案,確保新手也能順利完成部署。
一、前置知識:瞭解 Ollama 與歐拉 Linux 的適配性
在開始安裝前,先明確兩個核心概念,避免後續操作踩坑:
- Ollama:一款開源的大模型本地化運行工具,支持一鍵下載、啓動主流大模型,無需複雜的環境配置(如 CUDA、Python 依賴等),底層自動適配 CPU/GPU。
- 歐拉 Linux(openEuler):華為主導的開源服務器操作系統,基於 Linux 內核,兼容大多數 Linux 生態工具,但需注意部分軟件可能需要依賴
glibc、curl等基礎組件(歐拉默認已預裝部分,未裝則需手動補充)。
適配説明:Ollama 官方未單獨標註 “歐拉 Linux 支持”,但因歐拉兼容 Linux 通用指令,且底層依賴(如x86_64/aarch64架構)與主流 Linux 一致,實際測試中可穩定運行。
二、環境準備:確認系統與硬件要求
安裝前需檢查系統配置,確保滿足 Ollama 的運行條件:
1. 系統架構與版本檢查
Ollama 支持x86_64(英特爾 / AMD)和aarch64(ARM,如華為鯤鵬)架構,需先確認歐拉系統的架構:打開終端,執行以下指令:
# 查看系統架構
uname -m
# 查看歐拉系統版本
cat /etc/openEuler-release
- 若輸出
x86_64或aarch64,則符合架構要求; - 歐拉系統版本建議為22.03 LTS 及以上(舊版本可能存在依賴缺失問題)。
2. 硬件要求
Ollama 對硬件的要求主要取決於運行的模型大小,核心是內存(RAM) 和存儲空間:
|
模型類型
|
最小內存要求
|
推薦存儲空間
|
運行建議
|
|
7B 參數模型(如 Llama 3 7B)
|
8GB
|
10GB+
|
CPU 可運行,GPU 更流暢
|
|
13B 參數模型(如 Qwen 13B)
|
16GB
|
20GB+
|
建議搭配 GPU(NVIDIA/AMD)
|
|
70B 參數模型(如 Llama 3 70B)
|
32GB+
|
80GB+
|
必須搭配高性能 GPU
|
GPU 支持説明:
- 若使用 NVIDIA 顯卡,需提前安裝
NVIDIA驅動和CUDA Toolkit(Ollama 會自動檢測 CUDA); - 若使用 AMD 顯卡,歐拉系統需啓用
ROCm驅動(Ollama 對 AMD 的支持略晚於 NVIDIA,建議選擇較新的 Ollama 版本); - 無 GPU 則使用 CPU 運行,速度較慢,但可滿足輕量測試需求。
三、安裝步驟:分 3 步完成 Ollama 部署
步驟 1:安裝基礎依賴工具
歐拉 Linux 默認可能缺少curl(用於下載 Ollama 安裝腳本),需先補充安裝:
# 切換至root用户(若當前為普通用户,需輸入密碼)
su root
# 更新yum源(確保下載的依賴為最新版本)
yum update -y
# 安裝curl工具
yum install curl -y
# 驗證curl是否安裝成功(輸出版本號即正常)
curl --version
步驟 2:下載並安裝 Ollama
Ollama 提供 Linux 通用安裝腳本,可通過curl一鍵下載並執行,腳本會自動適配系統架構:
# 執行Ollama官方安裝腳本(國內用户可替換為鏡像源,見下方説明)
curl -fsSL https://ollama.com/install.sh | sh
【國內用户優化】解決下載慢問題
若直接訪問官方腳本速度慢,可使用阿里雲鏡像源下載安裝腳本,替換指令為:
# 阿里雲鏡像源安裝Ollama
curl -fsSL https://mirrors.aliyun.com/ollama/install.sh | sh
安裝成功驗證
安裝完成後,終端會輸出類似以下信息(無報錯即成功):
>>> Installing Ollama to /usr/local/bin...
>>> Creating ollama user...
>>> Adding ollama user to video group...
>>> Starting ollama service...
>>> Ollama installed successfully!
>>> Run `ollama run llama3` to get started.
步驟 3:驗證 Ollama 服務狀態
Ollama 安裝後會自動註冊為系統服務(ollama.service),需確認服務是否正常啓動:
# 查看Ollama服務狀態(active (running) 即正常)
systemctl status ollama
若服務未啓動(狀態為inactive),執行以下指令手動啓動並設置開機自啓:
# 啓動Ollama服務
systemctl start ollama
# 設置Ollama開機自啓(避免重啓系統後需重新啓動)
systemctl enable ollama
# 再次驗證狀態
systemctl status ollama
四、使用 Ollama:運行第一個大模型
安裝完成後,即可通過終端指令下載並運行大模型,以目前主流的Llama 3 7B(Meta 官方開源模型,平衡性能與速度)為例:
1. 下載並啓動模型
在終端執行以下指令,Ollama 會自動下載模型(約 4.7GB,國內用户建議配置鏡像源,見下方):
# 運行Llama 3 7B模型(首次執行會下載模型,耐心等待)
ollama run llama3
【國內用户優化】配置模型下載鏡像
默認模型下載地址為 Ollama 官方服務器,國內速度慢,可通過設置環境變量指定阿里雲鏡像源:
# 臨時生效(僅當前終端會話有效)
export OLLAMA_HOST=https://ollama.aliyuncs.com
# 永久生效(編輯環境變量配置文件,需重啓終端)
echo 'export OLLAMA_HOST=https://ollama.aliyuncs.com' >> /etc/profile
source /etc/profile
2. 與模型交互
模型下載完成後,終端會進入交互模式(顯示>>> 提示符),可直接輸入問題進行對話,例如:
>>> 請簡單介紹歐拉Linux
歐拉Linux(openEuler)是由華為主導、開源社區共建的企業級Linux服務器操作系統,基於Linux內核,主打穩定性、安全性和高性能,廣泛應用於雲計算、大數據、人工智能等場景,支持x86_64和aarch64(如鯤鵬)架構,適合企業級本地化部署。
>>> 如何用Python讀取Excel文件?
在Python中讀取Excel文件常用庫有pandas和openpyxl:
1. 安裝依賴:pip install pandas openpyxl
2. 示例代碼:
import pandas as pd
df = pd.read_excel('test.xlsx', engine='openpyxl')
print(df.head())
3. 退出交互模式
若需結束對話,在交互模式下輸入以下指令即可退出:
>>> /bye
五、常用操作:模型管理與服務配置
1. 查看已安裝的模型
# 列出本地所有模型
ollama list
2. 刪除不需要的模型
# 刪除Llama 3 7B模型(替換為你要刪除的模型名)
ollama rm llama3
3. 運行其他模型
Ollama 支持上百種大模型,常見模型及運行指令如下:
|
模型名稱
|
模型特點
|
運行指令
|
|
Qwen 7B
|
阿里開源,中文支持好
|
ollama run qwen:7b
|
|
Mistral 7B
|
速度快,適合輕量任務
|
ollama run mistral:7b
|
|
Gemma 7B
|
Google 開源,適合開發
|
ollama run gemma:7b
|
|
Llama 3 70B
|
大參數,生成質量高
|
ollama run llama3:70b
|
提示:模型名後加
:版本可指定具體版本(如llama3:7b-instruct為指令微調版),完整模型列表可查看Ollama 官方模型庫。
4. 配置 Ollama 服務端口(可選)
默認情況下,Ollama 僅本地可訪問(端口11434),若需局域網內其他設備訪問,需修改服務配置:
# 編輯Ollama服務配置文件
vim /etc/systemd/system/ollama.service.d/override.conf
在文件中添加以下內容(允許所有設備訪問,或指定 IP 段):
[Service]
Environment="OLLAMA_HOST=0.0.0.0:11434"
保存並重啓服務使配置生效:
# 重新加載服務配置
systemctl daemon-reload
# 重啓Ollama服務
systemctl restart ollama
其他設備可通過http://[歐拉Linux的IP]:11434訪問 Ollama 服務(需確保防火牆開放 11434 端口)。
六、問題排查:常見錯誤與解決方法
1. 安裝時提示 “Permission denied”
原因:普通用户無權限寫入/usr/local/bin目錄。解決:切換至 root 用户(su root)後重新執行安裝腳本。
2. 模型下載卡住或失敗
原因:網絡問題或鏡像源未配置。解決:
- 按步驟 4 中的 “國內用户優化” 配置阿里雲鏡像源;
- 若仍失敗,檢查網絡是否能訪問外部(
ping baidu.com),或手動下載模型文件後導入(參考Ollama 手動導入文檔)。
3. 運行模型時提示 “out of memory”
原因:內存不足,無法支撐模型運行。解決:
- 關閉其他佔用內存的進程(
top查看進程,kill -9 進程ID關閉); - 更換更小參數的模型(如將 70B 換成 7B);
- 若有 GPU,確認 GPU 驅動已正確安裝(
nvidia-smi查看 NVIDIA 驅動狀態)。
4. 服務啓動失敗(status 為 failed)
原因:依賴缺失或配置文件錯誤。解決:
- 查看服務日誌,定位錯誤原因:
journalctl -u ollama -f; - 若日誌提示 “missing libc”,安裝
glibc:yum install glibc -y; - 若配置文件錯誤,刪除
/etc/systemd/system/ollama.service.d/override.conf後重啓服務。
七、總結
通過本文的步驟,你已成功在歐拉 Linux 上安裝並運行 Ollama,實現了大模型的本地化部署。核心要點回顧:
- 環境準備時需確認系統架構和硬件配置,國內用户優先配置鏡像源;
- 安裝過程依賴
curl工具,服務啓動後需驗證狀態; - 運行模型時根據內存選擇合適的模型參數,避免內存不足;
- 遇到問題時通過日誌排查,優先解決網絡和依賴問題。
Ollama 的輕量特性讓大模型本地化變得簡單,後續你可根據需求嘗試不同模型,或結合 LangChain、Flowise 等工具搭建更復雜的 AI 應用