快訊｜螞蟻GMLake技術(shù)成果入選ASPLOS24，能提高33%可用顯存
分類: 最新資訊
簽名詞典
編輯 : 簽名大全
發(fā)布 : 01-18
閱讀 :450
1月16日消息，近日，從螞蟻集團(tuán)獲悉，螞蟻集團(tuán)和上海交通大學(xué)合作的技術(shù)成果GMLake被計(jì)算機(jī)體系結(jié)構(gòu)四大頂級(jí)會(huì)議之一的ASPLOS 24接收。據(jù)悉，這篇名為《GMLake: Efficient and Transparent GPU Memory Defragmentation for Large-scale DNN Training with Virtual Memory Stitching》的研究成果，針對(duì)業(yè)界普遍存在的大模型訓(xùn)練顯存效率問題，提出了一種高效的動(dòng)態(tài)顯存組合技術(shù)VMS（Virtual Memory Stitching），最高提高33%的GPU可用顯存，使顯存使用更為高效，進(jìn)而緩解了“內(nèi)存墻”問題。螞蟻集團(tuán)和上海交通大學(xué)提出了一種高效的動(dòng)態(tài)顯存組合技術(shù)框架，稱為GMLake。該框架采用虛擬、物理兩層指針，將碎片化的顯存靈活地拼接起來，從而實(shí)現(xiàn)了聚零為整。GMLake對(duì)典型大模型如GPT、GLM、Vicuna等進(jìn)行了詳細(xì)評(píng)測，最高擴(kuò)大了約33%的可用顯存，即在80GB的A100 GPU上節(jié)省約25GB的顯存，訓(xùn)練吞吐提高最多4倍。據(jù)了解，GMLake前已在PyTorch框架上完成集成，對(duì)上層模型代碼和框架代碼完全透明，也就是說模型不需要修改任何代碼即可使用。目前，GMLake的代碼已經(jīng)開源到了GLake項(xiàng)目中。GLake是螞蟻集團(tuán)自研的GPU顯存+傳輸優(yōu)化開源項(xiàng)目，在訓(xùn)練、推理框架底層以及系統(tǒng)層對(duì)顯存和傳輸進(jìn)行一體優(yōu)化，更好應(yīng)對(duì)“內(nèi)存墻”和“傳輸墻”挑戰(zhàn)。（一橙）本文系科技原創(chuàng)報(bào)道，更多新聞資訊和深度解析，關(guān)注我們。