2.7 密態大模型 學習筆記

一、概述

• 目標：實現數據要素在安全可信環境下的流通與應用。
• 核心：密態大模型，保護數據在使用、傳輸、存儲過程中的安全。
• 應用背景：大模型在垂直行業深入應用，數據安全與隱私保護成為關鍵挑戰。

二、背景與問題定義

1. 大模型產業應用趨勢

• 更垂直、更豐富的應用場景
• 需要更強的領域適應能力與專業知識

2. 面臨的安全挑戰

• 數據與模型隱私：數據安全、隱私保護、知識產權
• 信任難題：模型優化與應用中的安全與信任問題

• 高質量數據利用率低：

  • 數據因不信任而無法被外部機構使用
  • 專業數據難以用於構建行業大模型

3. 參與方及其關注點

• 行業大模型構建者：數據安全、模型安全
• 模型使用方：Query安全、個人隱私、商業機密

三、關鍵技術概念

1. 機密計算（Confidential Computing）

• 定義：通過基於硬件的可信執行環境保護使用中的數據。

• 核心組件：

  • TEE：可信執行環境，確保僅授權代碼可執行，外部無法讀取或篡改。
  • App Enclave：隔離的執行環境，保護特定代碼與數據。
• 威脅模型：防止雲服務商等第三方在代碼執行過程中訪問數據。

2. 密態大模型全鏈路保護

• 涵蓋從後訓練到推理的全過程
• 保護對象：訓練數據、模型參數、用户Query

四、動手實踐：部署密態大模型推理服務

環境準備

• 硬件：帶GPU的x86機器（ARM需參考vLLM官網）
• 網絡：可訪問公網（用於下載模型）

• 軟件：

  • Python ≥ 3.10
  • Docker ≥ 19.03

部署步驟

1. 克隆代碼庫：

   git clone https://github.com/secretflow/trustflow
   cd examples/llm-inference

2. 啓動服務：

   docker compose up

3. 預期輸出：vLLM服務啓動成功，顯示多個路由信息。

五、總結

• 密態大模型實現全鏈路密態保護，覆蓋訓練、推理全過程。
• 基於TrustFlow的CCTF框架，可快速構建安全的大模型推理服務。
• 適用於對數據安全、模型隱私有高要求的行業場景。