高通 AI200 開放客戶雲端測試!攜 Cirrascale 搶攻 AI 推論市場_海外苹果ID账号分享
隨著生成式 AI 從模型開發邁向大規模部署,高通攻推論效能、開放客戶功耗與成本已成為雲端服務供應商及企業的雲端重要考量。Qualcomm Dragonfly AI200 專為因應這些挑戰而設計,測試場結合大容量記憶體、論市機架級運算效能、高通攻海外苹果ID账号分享以及針對推論最佳化的開放客戶軟體堆疊,協助客戶以優異的雲端成本效能與每瓦效能,部署大型語言模型、測試場多模態模型及其他 AI 工作負載。論市
透過此次合作,高通攻Cirrascale 現可為特定客戶提供 AI 雲端環境,開放客戶讓客戶使用自身模型與工作負載評估及驗證 AI200。雲端雙方亦提供平台驗證、測試場工作負載特性分析、論市日区iOS账号切换教程效能基準測試及概念驗證(PoC)等技術支援,這次合作將為高通未來多世代資料中心 AI 推論產品藍圖的持續合作奠定基礎。
Cirrascale Cloud Services 執行長 Dave Driggers 表示,AI 的整體經濟效益,正日益取決於推論階段的成本與效率。客戶需要兼具效率與擴展能力的基礎設施,以支援日益複雜的模型,同時避免電力與營運成本成為發展瓶頸。透過與高通合作,客戶能實際評估專為新一代AI推論打造、極具吸引力的全新架構。
AI200 每張加速卡支援768 GB LPDDR記憶體,提供大規模 AI 推論所需的記憶體容量與彈性。其架構專為支援兆級參數規模的新一代基礎模型推論而設計,提供先進AI應用所需的效能與效率。此機架級解決方案亦整合直接液冷、PCIe向上擴充(scale-up)、乙太網路向外擴展(scale-out)及機密運算技術,並搭配Qualcomm AI Management Suite,同時獲得主流 AI 框架生態系的支援。
除了通用型基礎設施外,特定客戶現在也能透過 Cirrascale 的雲端環境,評估專為 AI 推論打造的平台。Cirrascale 具備專用AI雲端基礎設施與託管服務的營運經驗,並提供透明的固定費率商業模式,不收取資料傳入或傳出費用。
高通執行副總裁暨資料中心部門總經理Tony Pialis 表示,AI 推論正成為資料中心規模最大、最重要的運算工作負載之一,產業需要更有效率的解決方式。AI200 將在高效能、低功耗AI運算方面的優勢延伸至機架級基礎設施,其架構針對推論的效能、記憶體及成本需求而設計。透過與 Cirrascale 合作,客戶可直接使用自身工作負載評估這項技術,並實際了解由此帶來的資料中心整體經濟效益。
(首圖來源:高通)
延伸閱讀:
本文地址:http://o7ds.aukewel.com.cn/html/39b3199929.html
版权声明
本文仅代表作者观点,不代表本站立场。
本文系作者授权发表,未经许可,不得转载。