華為計算宣佈昇騰多模態推理加速套件 MindIE SD 項目現已開源。MindIE SD 包含以下關鍵特性：

• 加速插件 多模態親和加速插件能力，包括：稀疏 Attn 插件（如：block-wise 稀疏 Attention），融合插件（如：RoPE 等）。
• 以存代算 提供 DiT module, DiT block, attn 等多種粒度的 cache 算法，以支持不同的視圖場景加速，提升模型運行時性能，支持自定義加速比，支持cache算法快速尋優。
• 多卡並行 提供 CFG, USP 等並行能力，融入加速算子的 API 中，實現接口替換後的自動使能，支持用户快速適配生成類模型的通用並行算法優化框架。
• 量化 針對昇騰的數據類型和算力分佈，提供親和的量化算法，並通過 quantization 模塊導入使用，進行量化加速，在保證模型效果的前提下，提升模型推理效率並降低資源消耗。
• 稀疏Attention 提供親和的稀疏 Attn 算子，降低 Attention 計算的複雜度，支持多模態FA算子快速尋優。

目前，其已實現了對多模態生成模型（Stable Diffusion 系列、OpenSora、Hunyuan、Wan 等）的快速適配和昇騰加速，模型在 Modelers / ModelZoo 倉庫中發佈，對接開源組件 vllm-omni，未來會進一步擴展到多模態理解、全模態等場景的加速。