毅碩HPC | 在HPC集羣上優雅地使用Conda 詳情 - 高性能計算集羣,HPC,conda,應用教程,環境配置,集羣,服務器 INSVAST 博客

在高性能計算（HPC）的世界裏，除了編寫高效的代碼，構建一個穩定、可復現的運行環境同樣至關重要。作為 HPC 平台的技術人員，我們發現超過 50% 的用户工單都與環境配置有關。

本文將為你詳細拆解 Conda 在 HPC 環境下的最佳實踐，助你從“環境配置的苦海”中脱身，專注於科研本身。

一、Conda 與 HPC：為何它是你的必備技能？

1. 什麼是 Conda？

簡單來説，Conda 是一個開源的軟件包管理系統和環境管理系統。它允許你在計算機上安裝、運行和更新軟件包及其依賴項，並且能夠輕鬆地在不同的環境之間切換。

2. 為什麼 HPC 用户離不開 Conda？

在個人電腦上，你可能有 Root 權限，可以隨意使用 apt 或 pip 安裝全局軟件。但在 HPC 集羣上，環境完全不同，Conda 完美解決了以下三大痛點：

用户級權限（No Root, No Problem）：HPC 集羣通常不向普通用户開放 Root 權限。這意味着你無法使用系統級的包管理器安裝軟件。Conda 允許你在自己的用户目錄下安裝任何軟件，完全繞過系統權限限制。
環境隔離（告別“依賴地獄”）：你的項目 A 可能需要 Python 3.8 和 TensorFlow 1.x，而項目 B 需要 Python 3.11 和 PyTorch 2.x。如果將它們混裝在一起，版本衝突在所難免。Conda 允許你為每個項目創建獨立的“沙盒”環境，互不干擾。
復現性保障（科研的基石）：通過簡單的 conda env export > environment.yml 命令，你可以導出當前環境的所有細節。無論你是換了一台超算，還是將代碼分享給合作者，對方只需一行命令即可精確復現你的計算環境，確保“跑出的結果一致”。

二、HPC 實戰：Conda 的安裝與初始配置

1. 為什麼選擇 Miniconda？

很多初學者習慣下載 Anaconda，它預裝了數百個科學計算包，體積龐大（幾 GB）。在 HPC 環境下，這是極大的資源浪費。

推薦使用 Miniconda：它只包含 Conda、Python 和極少量的基礎包，體積小巧，按需安裝，既節省了寶貴的存儲空間，也減少了潛在的包衝突。

2. 關鍵步驟：選擇合適路徑進行安裝

默認情況下，Conda 會安裝在 $HOME 目錄下。

痛點： HPC 的 $HOME 目錄通常有嚴格的配額限制（如 20GB），很快就會被撐爆。
最佳實踐：請務必將 Conda 安裝在你的大容量工作目錄(如 /work/$USER 或 /lustre/project/$USER)。

安裝演示：

# 下載安裝腳本，使用清華源提升下載速度
wget https://mirrors.tuna.tsinghua.edu.cn/anaconda/miniconda/Miniconda3-py39_4.10.3-Linux-x86_64.sh
# 添加執行權限
chmod +x Miniconda3-py39_4.10.3-Linux-x86_64.sh
# 執行安裝，使用 -p 參數指定大容量存儲路徑
bash Miniconda3-py39_4.10.3-Linux-x86_64.sh -p /work/zhangsan/miniconda3 -u

3. 初始化與鏡像加速

安裝完成後，Conda 會提示你是否初始化。運行 conda init 後，你的 ~/.bashrc 會被修改，以便你登錄時能使用 conda 命令。

提示是否運行conda init ，選擇yes

毅碩HPC | 在HPC集羣上優雅地使用Conda_高性能計算集羣

可以看到安裝成功，已經寫入.bashrc環境

毅碩HPC | 在HPC集羣上優雅地使用Conda_應用教程_02

核心技巧：配置國內鏡像源由於 HPC 集羣通常對公網訪問有限制，或者連接官方源速度極慢，配置國內鏡像（如清華 TUNA）是必做的優化。

創建或修改 ~/.condarc 文件：

channels:
  - defaults
  - https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/main/
  - https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/r/
  - https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/conda-forge/
show_channel_urls: true
default_channels:
  - https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/main/
  - https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/r/
  - https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/conda-forge/
custom_channels:
  conda-forge: https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud
  msys2: https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud
  bioconda: https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud
  menpo: https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud
  pytorch: https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud

激活miniconda環境：

source ~/.bashrc

可以看到conda命令已識別：

毅碩HPC | 在HPC集羣上優雅地使用Conda_應用教程_03

這一步能將你的下載速度從幾十 KB/s 提升到滿速，並解決大量的連接超時錯誤。

三、在 HPC 中高效管理 Conda 環境

1. 環境創建：位置決定格局

基礎用法： conda create -n my_env pythnotallow=3.9 這會將環境創建在默認的 envs 目錄下。
HPC 進階用法（推薦）：使用 -p (prefix) 參數。

conda create -p /work/zhangsan/projects/test/env pythnotallow=3.9

優勢：將環境直接放在項目文件夾內。這樣不僅方便管理，更便於通過文件系統權限控制，與課題組其他成員共享這個環境。

2. 軟件安裝的“潔癖”

原則：優先使用 conda install ,當 Conda 倉庫中沒有時，再考慮 pip install 。
警告：儘量避免混合使用（即先 pip 後 conda），這極易導致庫文件被覆蓋或破壞。
HPC 特別提醒：除非萬不得已，不要在 Conda 裏安裝 GCC、MPI 等系統級編譯工具。HPC 管理員通常已經配置好了針對硬件優化的編譯器模塊（Module），直接使用系統模塊通常性能更好且兼容性更佳。

3. 環境激活的本質

當你運行 conda activate my_env 時，實際上是 Conda 修改了你當前的 $PATH 環境變量，將 my_env/bin 放在了最前面。理解這一點，對於後續寫作業腳本至關重要。

4. 常用命令

以下是一些常用的conda命令，你可以嘗試運行這些命令來熟悉conda的使用：

conda create -n py38 pythnotallow=3.8：創建一個名為py38的新環境，並安裝Python 3.8。
conda activate py38：激活名為py38的環境。
conda deactivate：退出當前激活的環境。
conda install package_name：在當前環境中安裝包名為package_name的包。
conda remove package_name：在當前環境中卸載包名為package_name的包。
conda env list：列出所有已創建的環境。
conda env export > environment.yml：導出當前環境的配置信息到environment.yml文件中。
conda env create -f environment.yml：根據environment.yml文件中的配置信息創建一個新的環境。

四、從交互式到批處理：在 Slurm 作業中使用 Conda

以下場景是用户最容易出錯的環節。

1. 交互式作業（調試用）

當你需要臨時測試代碼時，先申請一個計算節點，再激活環境：

# 1. 申請計算節點資源
srun -p compute --pty bash

# 2. 像在登錄節點一樣激活環境
conda activate my_env

# 3. 運行測試
python test.py

2. 批處理作業腳本（生產用）

在非交互式的 Slurm 腳本中，直接寫 conda activate 往往會報錯（因為 shell 初始化機制不同）。

標準 Slurm 作業腳本模板：

#!/bin/bash
#SBATCH -J ai_training
#SBATCH -p gpu
#SBATCH -N 1
#SBATCH --gres=gpu:1
#SBATCH -o job_%j.out

# --- 關鍵部分開始 ---

# 1. 加載 HPC 系統模塊（如 CUDA），利用系統優化庫
module load cuda/11.8

# 2. 激活 Conda 環境
# 方法 A (推薦)：使用 source 直接加載激活腳本
# 假設你的 miniconda 安裝在 /work/zhangsan/miniconda3
source /work/zhangsan/miniconda3/bin/activate /work/zhangsan/projects/alphafold/env

# 或者 方法 B：先初始化 shell 再 activate (較繁瑣，不推薦)
# eval "$(/work/zhangsan/miniconda3/bin/conda shell.bash hook)"
# conda activate my_env

# --- 關鍵部分結束 ---

# 3. 運行程序
echo"Current Python: $(which python)"
python train_model.py

重點強調：使用 source /path/to/activate <env_path> 是最穩健的方法，它確保了無論當前 Shell 是否初始化，環境變量都能被正確加載。

五、HPC 環境下的常見問題與調試 FAQ

1. 我的存儲空間（Quota）又滿了，怎麼辦？

Conda 會緩存所有下載的壓縮包和解壓後的包，長期使用會佔用大量空間。

檢查命令： du -sh ~/.conda 或 du -sh /work/zhangsan/miniconda3
清理神器：定期運行 conda clean -a 。它可以刪除未使用的安裝包和緩存，通常能瞬間釋放數 GB 空間。

2. 作業腳本里提示 "conda: command not found"？

這是因為作業腳本運行在非交互式 Shell 中，默認不加載 .bashrc 。

解決：參照第四部分，使用絕對路徑的 source /path/to/miniconda/bin/activate 方式來激活，不要依賴系統自帶的 conda 命令別名。

3. 程序運行慢，或者 GPU 無法調用？

這通常是因為 Conda 安裝的庫（如 cudatoolkit）與 HPC 硬件驅動不匹配。

解決：採用 "Hybrid"（混合）模式。利用 HPC 系統管理員維護的 Environment Modules 加載底層驅動（如 module load cuda/11.8 module load gcc/9.3），只用 Conda 安裝上層 Python 庫（如 PyTorch）。這樣既能享受 Conda 的便捷，又能利用 HPC 的硬件性能。

六、卸載Conda，迴歸純淨環境

1. 檢查 Miniconda 是否已安裝

在開始卸載之前，首先需要確認 Miniconda 是否已經在您的系統中安裝。您可以通過以下命令檢查：

conda info --all

如果 Miniconda 已安裝，您將看到它的安裝路徑和其他相關信息：

毅碩HPC | 在HPC集羣上優雅地使用Conda_conda_04

2. 退出 Miniconda 環境和終端

如果您正在使用 Miniconda 的環境，請使用以下命令退出：

conda deactivate

可以看到(base)已不顯示

毅碩HPC | 在HPC集羣上優雅地使用Conda_環境配置_05

同時，如果您正在使用 Miniconda 的終端，請關閉它。

3. 卸載 Miniconda

要卸載 Miniconda，請按照以下步驟操作：

a）刪除 Miniconda 安裝目錄

找到 Miniconda 的安裝目錄，通常位於/home/用户名/miniconda3 或 /usr/local/miniconda 。使用以下命令刪除該目錄：

sudo rm -rf /path/to/miniconda

請將 /path/to/miniconda 替換為您的實際安裝路徑。

b）刪除 Miniconda 的配置文件

Miniconda 在安裝過程中會創建一些配置文件，如 .bashrc 或 .profile 中的別名。您需要編輯這些文件，刪除 Miniconda 相關的配置。以下是編輯 .bashrc 文件的示例：

nano ~/.bashrc

在打開的文件中，查找類似於以下內容的行，並將其刪除：

# >>> conda initialize >>>
# !! Contents within this block are managed by 'conda init' !!
__conda_setup="$('/opt/miniconda3/bin/conda' 'shell.bash' 'hook' 2> /dev/null)"
if [ $? -eq 0 ]; then
    eval "$__conda_setup"
else
    if [ -f "/opt/miniconda3/etc/profile.d/conda.sh" ]; then
        . "/opt/miniconda3/etc/profile.d/conda.sh"
    else
        export PATH="/opt/miniconda3/bin:$PATH"
    fi
fi
unset __conda_setup
# <<< conda initialize <<<

保存並關閉文件。

c）刪除 Miniconda 的環境

使用以下命令刪除所有 Miniconda 環境：

conda env remove --name '*'

這將刪除所有以 * 結尾的環境。

4. 清理殘留文件

在卸載 Miniconda 後，可能還會有一些殘留文件。您可以使用以下命令查找並刪除這些文件：

sudo find / -name "*conda*" -type f -delete

請謹慎使用此命令，因為它可能會刪除系統中其他與 Conda 相關的文件。

七、結語

掌握 Conda 在 HPC 上的正確打開方式，不僅是對公共計算資源的愛護，更是提升科研效率的關鍵。通過本教程，你已經掌握了在HPC集羣中從零開始部署並高效利用Conda的核心技能。從因地制宜的安裝策略、鏡像源的加速配置，到最終與Slurm工作流的無縫集成，這一整套工作流將使你能夠：

自主掌控軟件環境，不再受限於系統權限。
大幅提升部署效率，快速復現他人的研究成果。
可靠地投入生產，將自定義環境用於大規模並行計算任務。

現在，你可以自信地在你的HPC項目中使用Conda了。不妨就從為你的下一個課題創建一個乾淨的environment.yml文件開始，讓你的科研計算之旅更加規範、高效和可復現。

INSVAST 博客

INSVAST 博客

博客 / 詳情