LMSYS 成立 SGLang 聯盟,輝達、AMD、Google、Meta 等八家業者共推開源 AI 推論_求日区iOS账号 切换教程
非營利組織 LMSYS Org 12 日在舊金山首屆 SGLang Summit 開幕主題演講,立Sg聯宣布成立「SGLang 聯盟」(SGLang Consortium)。盟輝創始成員有輝達、共推AMD、開源英特爾、推論Google、立Sg聯求日区iOS账号 切换教程Meta、盟輝Cloudflare、共推Modal 與 RadixArk,開源共八家業者,推論一起參與開源 AI 推論引擎 SGLang 發展藍圖。立Sg聯
SGLang目前已在數十萬顆GPU運行。盟輝Meta、共推微軟、開源Google、推論韩区Apple ID购买渠道亞馬遜、Thinking Machines Lab、Cloudflare、Reflection與Modal等業者,都用它支撐正式環境的推論服務。支援的硬體包括輝達與AMD GPU、英特爾Xeon處理器及Google TPU。
依照聯盟的運作方式,每家創始成員各指派一名技術代表,每年參加兩次藍圖會議。會議之間可成立工作小組協作,並公開發表方向與進度。成員可用工程專業、部署回饋、測試資源或共同開發等方式貢獻。重點領域包括尖端模型支援、推理與多模態工作負載、分散式推論及硬體最佳化。不過,技術決策與程式碼採納仍由SGLang維護者負責,專案也持續開放給整個社群。
SGLang原始論文共同作者、RadixArk共同創辦人暨執行長Ying Sheng代表團隊表示,大規模運行SGLang的團隊,最能率先看見推論下一步的需求。輝達超大規模與高效能運算副總裁Ian Buck指出,更好的軟體能協助開發者從輝達運算資源取得更多效能。AMD人工智慧應用企業副總裁Ramine Roane則表示,開源讓開發者能進一步推進AI推論。
LMSYS Org引述Deloitte預測指出,推論的AI運算占比,預料將從2025年約一半提高至2026年約三分之二。推論需求攀升,軟體層效率改善已成為晶片商與雲端業者爭取效能的關鍵。
不過,這次公告沒有提出具體時程、功能優先順序或效能數據。聯盟能否把成員的需求轉化為實際採納的程式,仍有待觀察;使用者也需要針對自己的模型與硬體驗證效益。首屆SGLang Summit 12~13日舉行,超過百位講者參與,議程涵蓋強化學習、多模態模型與硬體平台等主題。
- Covering the Fastest Computers in the World and the People Who Run Them
- LMSYS Org Launches SGLang Consortium with NVIDIA, AMD, Intel, Google, Meta, Cloudflare, Modal and RadixArk to Advance Open-Source AI Inference
- LMSYS Org launches SGLang Consortium with NVIDIA, AMD, Google and Meta
- LMSYS Org Launches SGLang Consortium
- LMSYS Org Launches SGLang Consortium with NVIDIA, AMD, Intel, Google, Meta, Cloudflare, Modal and RadixArk to Advance Open-Source AI Inference
- SGLang Consortium Launches With NVIDIA, AMD, Intel, Google and Four Other Members
- LMSYS Org Launches SGLang Consortium with NVIDIA, AMD, Intel, Google, Meta, Cloudflare, Modal and RadixArk to Advance Open-Source AI Inference
(首圖來源:LMSYS Org)
本文地址:http://o7ds.aukewel.com.cn/html/97e2399879.html
版权声明
本文仅代表作者观点,不代表本站立场。
本文系作者授权发表,未经许可,不得转载。