課程地址：https://www.secretflow.org.cn/community/bootcamp/2narwgw4ub8r...
講師：賈明陽（螞蟻密算科技）
核心框架：背景知識 → 連接器功能 → 技術架構
一、背景知識：可信數據空間與國家數據基礎設施
1. 國家數據基礎設施核心節點
| 節點類型 | 核心定位 | 關鍵功能 |
|---|---|---|
| 權域功能節點 | 全局統一管理 | 統一標識管理、統一身份管理、統一目錄管理（三統一） |
| 區域功能節點 | 特定區域服務 | 身份註冊/核驗、數據登記、目錄查詢、標識解析、運行監測 |
| 行業功能節點 | 特定行業服務 | 與區域功能節點功能一致，僅服務範圍為特定行業 |
| 業務節點 | 數據流通利用平台 | 數據採集、加工、交易、開發等，是可信數據空間的核心載體 |
2. 可信數據空間的定位與組成
- 核心定位：作為國家數據基礎設施的業務節點，實現跨區域/行業的數據可信流通。
-
兩大核心組件：
-
可信數據空間服務平台：
- 遵循“三統一”要求，與權域/區域/行業功能節點互聯互通。
- 可複用其他業務節點功能（交易、託管、存證審計等），支持功能擴展。
- 對接關係：向上→行業/區域功能節點；橫向→其他業務節點；向下→接入連接器。
-
接入連接器：
- 核心定位：用户（數據提供方/使用方）接入服務平台的入口，訪問數據資源的橋樑。
- 合規要求：遵循NDITR相關文件，在國家數據基礎設施接入連接器基礎上擴展5大獨有功能。
-
二、接入連接器的核心功能（六大模塊）
1. 身份管理
- 核心目標：實現連接器與節點、連接器之間的可信身份認證。
-
關鍵子功能：
- 用户身份管理：用户名/密碼登錄、用户CRUD、角色權限配置。
- 連接器身份註冊：向功能節點申請→審批→分配ID→生成CSR文件→獲取CA證書→配置到連接器。
-
雙向認證流程：
- 連接器↔功能節點：連接器發送身份標識+私鑰簽名→功能節點通過CA驗證→功能節點返回自身證書→連接器驗證。
- 連接器↔連接器：A發送證書+簽名→B通過CA驗證證書合法性→B用A的公鑰驗籤→雙方互驗完成。
2. 數據資源管理
- 數據資源定義：具有利用價值的電子化數據集合（可社會化複用）。
-
關鍵子功能：
- 數據資源接入：支持對象存儲（S3、MinIO）、數據庫、本地文件、SFTP等多數據源。
- 資源管理：本地數據資源的CRUD操作。
- 資源目錄：按NDI標準生成目錄，支持本地檢索查詢。
-
特色功能：密帶託管：
- 數據提供方將數據加密封裝為“數據膠囊”；
- 託管至馬爾米算密帶研發平台；
- 平台內加工為數據產品並上架；
- 數據使用方通過合約申請使用。
3. 數據產品管理
- 數據產品定義：經實質性加工的可流通數據加工品/服務（如數據表、API、文件），是數據流通的基本單元。
-
關鍵子功能：
- 產品封裝：將數據資源加工為標準化數據產品。
- 產品上架：上傳至服務平台→平台代理完成行業/區域節點登記→獲取唯一標識。
- 產品目錄：維護本地產品目錄，支持檢索與使用申請。
- 核心流程：數據資源→加工封裝→上架平台→使用方查詢→申請使用→合約簽署→數據交付。
4. 數字合約管理
- 數字合約定義：數字化描述的參與方承諾（含數據內容、使用方式、次數、範圍等）。
-
關鍵子功能：
- 合約創建：使用方發起申請→服務平台生成合約模板→下發至雙方連接器。
- 合約協商：雙方確認合約內容→達成一致後用本地私鑰簽名。
- 合約履約：按合約約定完成數據交付與使用。
- 生效條件：雙方私鑰簽名完成→上報服務平台→平台下發生效合約→連接器驗證簽名合法性。
5. 數據交付
- 核心目標：按合約要求安全交付數據/計算結果。
-
關鍵子功能：
- 交付數據處理：加密、脱敏、隱私保護計算（MPC）、數據沙箱等預處理。
- 數據傳輸：支持連接器間直接傳輸。
- 交付存證：記錄處理/傳輸日誌→上報服務平台存證審計系統，支持本地查驗。
-
支持交付方式：
- 密帶API交付；
- 數據集直接交付；
- 隱私計算交付（基於SecretFlow、PSI等開源算子，支持多方安全計算）。
6. 使用控制
- 核心目標：確保數據使用符合合約約定（時間、地點、主體、行為等）。
-
關鍵實現：
- 使用環境：提供安全軟硬件環境。
- 控制策略：實時監測使用行為→校驗合約限制（如使用期限、次數）→超出限制則終止使用。
- 核心邏輯：連接器從平台獲取合約→交付過程中記錄使用日誌→實時校驗合約約束→上報使用狀態。
三、連接器技術架構（馬爾米算實現）
1. 整體架構概述
- 架構模式：B/S架構，支持部署於K8s或輕量化K3s（70MB，便捷部署）。
-
核心交互：
- 向上對接：可信數據空間服務平台、行業/區域功能節點。
- 橫向交互：連接器之間通過Interguitave模塊實現跨連接器請求轉發與身份驗證。
- 向下支撐：對接數據源（提供方）與數據使用方，拉起隱私計算等執行引擎。
2. 核心模塊職責（分層分類）
| 分層/類別 | 模塊名稱 | 核心職責 |
|---|---|---|
| 前端交互層 | Web UI | 瀏覽器端交互界面，支持點擊/拖拉拽操作（如Dag畫布編排） |
| 網關層 | API Gateway | 接收HTTP請求→權限校驗→請求轉發→支持限流、熔斷、鏈路追蹤（Trace） |
| 核心服務層 | Connector Service | 連接器登記、初始化、產品CRUD |
| Contract Service | 合約拉取、展示、簽署（本地私鑰簽名） | |
| Dag Canvas | 可視化任務流編排（拖拉拽算子，支持數據預處理、模型訓練等） | |
| Project Service | 項目管理（工作區Workspace），綁定合約、項目CRUD | |
| Contract Delivery | 合約交付狀態記錄、上報服務平台 | |
| 調度層 | Scheduler | 任務調度：將Dag畫布轉換為Task→按依賴關係執行 |
| CulTask | 多方安全計算（MPC）協同調度，確保多方節點同步拉起任務 | |
| 數據層 | Data Site | 數據資源CRUD、數據源接入、數據加密/處理 |
| Delocation Tool | 數據封裝為密帶膠囊→託管至密帶基礎引擎 | |
| 安全與審計層 | Interguitave | 跨連接器請求轉發、身份認證握手、Token協商與驗證 |
| Log Module | 記錄交付日誌、操作日誌 | |
| Audit Module | 日誌上報、審計功能支持 | |
| User Service | 隱私計算用户管理（登錄、角色權限、CRUD） | |
| 執行層 | Executor Agent | 執行任務代理，拉起隱私計算引擎（SecretFlow、PSI等算子） |
| 部署層 | K8s/K3s底座 | 部署載體，支持輕量化K3s快速部署 |
四、核心總結
- 定位：接入連接器是可信數據空間的“入口樞紐”，連接數據提供方/使用方與服務平台，實現可信接入與數據流通。
- 核心價值：合規（遵循NDITR標準）、安全（身份認證、加密、隱私計算）、靈活（多數據源接入、多交付方式）。
- 技術亮點：支持隱私計算集成、輕量化部署、可視化任務編排、全流程日誌存證。
