最流行的開源 LLM 推理引擎 —— vLLM 創建者和核心維護者宣佈成立 AI Infra 初創公司：Inferact。

根據彭博社的報道，Inferact 在最新一輪種子融資中獲得 1.5 億美元資金，公司估值約 8 億美元。該輪融資由頂級風投Andreessen Horowitz（a16z）和 Lightspeed Venture Partners 聯投，多家知名機構包括 Sequoia Capital、Altimeter Capital、Redpoint Ventures 及真格基金等參與跟投。

vLLM 目前支持 500 多種模型架構，可在 200 多種加速器上運行，並支持全球規模的推理。Inferact 公司稱其目標是將 vLLM 發展成為世界領先的 AI 推理引擎，並通過降低推理成本、加快推理速度來加速 AI 的發展。

在 AI 全生命週期中，推理（inference）是指將已訓練的模型應用於實際任務的階段。隨着大模型和生成式 AI 應用的普及，這一階段佔用了 AI 系統中越來越多的計算資源和成本。相比過去投資集中在模型訓練，現在投資者正在轉向優化模型運行效率、降低推理成本的技術。Inferact 正是瞄準這一行業痛點。

許多 AI 基礎設施公司在這一領域快速募集資金，反映了行業對推理技術的高度關注。優化推理性能不僅可以提升實時響應速度，還能降低雲部署費用，是 AI 大規模商業化的關鍵一環。Inferact 此次融資不僅驗證了開源技術在商業轉化中的價值，也表明 AI 基礎設施市場正在從訓練階段轉移到推理與部署階段。