大模型發(fā)展進入第二階段,已經(jīng)從通用大模型轉向垂直大模型的深度定制,賦能產(chǎn)業(yè)數(shù)字化發(fā)展,助力大模型在企業(yè)級場景中的使用。
某互聯(lián)網(wǎng)企業(yè)自研認知型通用大模型,并已構建起大模型訓練框架,把垂直大模型數(shù)據(jù)處理、預訓練、精調的復雜過程流水線化、標準化,可支持根據(jù)業(yè)務場景進行定制,幫助企業(yè)提升客戶服務體驗、優(yōu)化業(yè)務流程、提高生產(chǎn)效率。
高性能:大模型訓練過程中需要對海量的數(shù)據(jù)進行復雜的計算,需要高性能服務器的支撐;
高帶寬:足夠的帶寬以支撐服務器之間的數(shù)據(jù)傳輸和通信;
穩(wěn)定性:大模型的訓練通常需要運行數(shù)小時、數(shù)天甚至數(shù)周,需要服務器具有穩(wěn)定性與可靠性;
易管理:對服務器進行遠程操作和維護。
針對客戶需求,安擎部署AI服務器EG840-G30,支持PCIe4.0技術,采用先進的硬件設計,在4U空間內支持10張全高全長雙寬的計算卡,幫助用戶高效完成AI基礎設施和開發(fā)環(huán)境的構建。延續(xù)上一代高品質、高兼容性設計,實現(xiàn)更好的顯存和性能擴展,大幅加速AI模型訓練,滿足用戶對多樣算力和快捷部署的需求。
高性能:服務器可支持10張計算卡,運行速率比上一代提高20倍,有效地加快訓練速度并提高訓練的效果;
高帶寬:可搭配最新的100G以太網(wǎng)卡和400G Infiniband網(wǎng)卡,提供強大的IO吞吐能力;
穩(wěn)定性:GPU平臺可以通過檢測、控制并持續(xù)糾正錯誤和故障,確保GPU在高計算環(huán)境中的安全,保障訓練與推理流程不中斷;
易管理:IPMI和KVM Over IP高級管理功能,可遠程對服務器進行任務調度、資源分配以及錯誤診斷。