近日，Alluxio 發佈 Alluxio Enterprise AI 3.5 版本。該版本憑藉僅緩存寫入模式 ( Cache Only Write Mode )、高級緩存管理策略以及 Python 的深度集成等創新功能，大幅加速 AI 模型訓練並簡化基礎設施運維，助力企業高效處理海量數據集、優化 AI 工作負載性能。

AI 驅動的工作負載常因海量的數據管理複雜度高導致效率瓶頸以及訓練週期延長。Alluxio Enterprise AI 3.5 通過快速優先訪問關鍵數據、無縫集成主流 AI 框架等優化手段來提升性能，從而加速模型開發。

"Alluxio Enterprise AI 最新版本推出多項創新功能，旨在進一步提升 AI 工作負載性能。" Alluxio 創始人兼 CEO 李浩源表示，“當前客户的 AI 模型訓練已進入超大規模數據時代，數據集常涉及數十億文件量級。為此，我們推出 Alluxio Enterprise AI 3.5 來保障訓練任務達到峯值性能，同時簡化 AI 基礎設施的管理和運維。

全新緩存模式加速 AI Checkpoint

Alluxio 的僅緩存寫入模式將 AI 模型訓練過程中的 Checkpoint 文件等寫操作數據直接寫入 Alluxio 緩存層，繞過低效的底層存儲系統（UFS），消除 I/O 瓶頸，從而提升寫性能。（ 預覽功能 ）

高級緩存驅逐策略提供細粒度的緩存控制 —— TTL 緩存驅逐策略

管理員可為緩存數據設置有效時間 ( TTL )，基於預設的策略自動驅逐低頻訪問數據，避免存儲資源浪費。

高級緩存驅逐策略提供細粒度的緩存控制 —— 基於優先級的緩存策略

管理員可為關鍵數據集設置優先級，覆蓋默認的 LRU  ( 最近最少使用 ) 算法，確保高優先級數據保留在緩存中。這一策略尤其適用於低延遲訪問關鍵數據集的工作負載。

基於 FSSpec 的原生 Python SDK 強化了與主流 AI 框架的集成

Alluxio Python SDK 現已基於 FSSpec 實現了 PyTorch、PyArrow 及 Ray 等主流AI框架的深度集成。該集成通過提供統一的 Python 文件系統接口，使應用程序能夠以標準化方式無縫對接各類存儲後端。對於採用 Python 開發、特別是承載數據密集型工作負載及 AI 模型訓練的應用而言，這一改進大幅簡化了 Alluxio Enterprise AI 的技術對接流程，使其能夠輕鬆實現本地與遠端存儲系統的快速、高頻訪問。( 預覽功能 )

同時，新版本也增加了以下關於 Alluxio S3 API 的關鍵優化：

支持 HTTP 持久連接 ( HTTP Keep-Alive )

通過複用單一 TCP 連接處理多個請求，減少每次請求新建連接的開銷。針對 4KB 大小的 S3 ReadObject 讀取操作，該優化可減少約 40% 的請求延遲。

TLS 加密傳輸

為 Alluxio S3 API 與 Worker 節點間通信提供 TLS 加密支持，確保數據傳輸安全。

分片上傳 ( MPU ) 支持

Alluxio S3 API 現支持將大文件拆分為多個分片並行上傳，顯著提升大文件上傳吞吐量，同時簡化上傳流程。

Alluxio 索引服務

該項新的緩存服務針對存儲數億級文件及子目錄的超大規模目錄結構，顯著提升目錄列表操作性能。通過從緩存中直接提供目錄列表詳情，相比查詢底層文件系統 ( UFS ) ，可提供 3 至 5 倍的速度提升，有效保障海量元數據場景下的系統可擴展性。( 預覽功能 )

UFS 讀速率限制器

管理員可通過設置速率限制，來控制單個 Alluxio Worker 從UFS 讀取數據時所使用的最大帶寬。通過配置 UFS 讀取速率限制器，管理員可以在確保系統穩定的同時，實現資源的優化利用。Alluxio 支持對包括 S3、HDFS、GCS、OSS 和 COS 在內的多種 UFS 類型進行速率限制。

支持異構 Worker 節點

Alluxio 現支持具有異構資源配置 ( CPU、內存、磁盤和網絡 )的集羣 Worker 節點。該增強功能為管理員在配置集羣時提供了更大的靈活性，可實現更好的資源分配。

瞭解更多 Alluxio Enterprise AI 3.5 信息：https://documentation.alluxio.io/ee-ai-cn