在人工智慧領域的軍備競賽從模型訓練轉向實際應用之際，一場關於「推理 (Inference)」效率的革命正悄然上演。根據多家國際媒體報導，由知名開源AI推理引擎vLLM創始團隊所成立的新創公司Inferact，已成功完成高達1.5億美元的種子輪融資，公司估值一舉衝上8億美元，為AI基礎設施領域投下震撼彈。
這輪巨額融資由矽谷頂級創投Andreessen Horowitz (a16z) 與Lightspeed Venture Partners共同領投，Sequoia Capital、Altimeter Capital等知名機構也參與其中。Tech in Asia指出，這筆資金不僅凸顯了投資界對於AI部署階段技術的高度關注，也讓Inferact成為史上規模最大的種子輪融資案例之一，規模甚至超越了法國知名AI新創Mistral AI的早期融資紀錄。
Inferact的核心是開源專案vLLM，這項技術誕生於2023年加州大學柏克萊分校的Sky Computing實驗室。 根據Phemex News報導，該專案目前由PyTorch基金會管理，旨在解決大型語言模型 (LLM) 在實際運行時所面临的巨大成本與延遲挑戰。 AI模型完成訓練後，將其應用於生成文字、圖像等任務的過程稱為「推理」，而這正是目前AI產業最主要的成本瓶頸之一。
vLLM的獨到之處在於其創新的記憶體管理技術「PagedAttention」。根據Medium上的技術分析，傳統系統在處理推理請求時，常因記憶體分配效率不彰而浪費大量寶貴的GPU資源。 vLLM則借鑑了作業系統的虛擬記憶體概念，將GPU記憶體切分成更小的區塊，大幅減少浪費並提升處理效率，其吞吐量相較傳統框架可提升高達24倍。
正因其卓越的性能，vLLM早已被業界廣泛採用。根據Andreessen Horowitz發布的投資聲明，全球目前有超過40萬個GPU同時在運行vLLM，包括Meta、Google、Character.AI等科技巨頭都是其生產環境中的用戶。 這個開源專案吸引了超過2000名貢獻者，社群活力驚人。
Inferact的成立，象徵著vLLM將從一個成功的開源專案邁向商業化運營的新階段。公司執行長Simon Mo表示，Inferact的目標有兩個：首先是投入更多財務與開發資源，持續支持vLLM開源專案的發展，以應對日益複雜的模型架構、硬體多樣性與部署規模。 其次，團隊將著手打造下一代的商業化推理引擎。
值得注意的是，Inferact強調其商業模式並非要與現有的雲端服務商競爭，而是建立一個他們稱之為「通用推理層 (universal inference layer)」的軟體堆疊，與既有供應商合作，共同提升AI軟體的性能與靈活性。 這一策略顯示了他們希望專注於底層技術優化，成為推動整個生態系發展的關鍵力量。
根據Whalesbook的分析，這股投資熱潮反映了AI產業的重心轉移。 伴隨越來越多企業將生成式AI導入實際業務，如何以更低成本、更高效率地運行這些模型，已成為比訓練新模型更迫切的挑戰。 市場研究機構MarketsandMarkets預測，AI推理市場規模將從的1061.5億美元，成長至2030年的2549.8億美元，年均複合成長率高達19.2%。
Inferact的橫空出世並非個案。報導指出，另一個同樣源自柏克萊實驗室的專案SGLang，近期也分拆成立公司RadixArk，並以4億美元的估值獲得融資。 這類專注於推理優化的新創公司，正成為創投追逐的新寵兒，它們試圖在由NVIDIA等硬體巨頭主導的市場中，透過軟體創新佔據關鍵地位。
相關報導：36kr.com、whalesbook.com
