2024 ASC世界大學生超級計算機競賽(ASC24)已進入預賽階段,通過預賽選拔的隊伍將參加4月9日-13日在上海大學舉行的總決賽。來自全球各地的300多支高校隊伍正在挑戰一道人工智能難題——大語言模型推理優化。參賽隊伍需要基于LLaMA2-70B大模型構建推理引擎,考慮多種優化方法,實現高吞吐推理,直面大語言模型應用落地的考驗。
目前生成式人工智能呈現“百模爭秀”,隨著大模型訓練開發快速進展和應用逐步落地,對大模型推理性能和成本的優化已經受到業界高度重視。大模型落地面臨的困難,一方面是大模型的結構決定了推理解碼階段計算效率低、難優化;另一方面,幾百億參數規模的大模型很難單卡部署,涉及多卡并行,需考慮通信開銷。
為了讓大學生認識到大模型推理的重要性,激發他們對這一領域的學習熱情,ASC24超算競賽設置了大模型推理賽題。要求參賽隊伍基于流行的開源大語言模型LLaMA2,構建并優化推理引擎,在組委會提供的1萬樣本數據集上實現盡可能高的推理吞吐量。該模型具有700億參數,需要使用并行計算,因此該賽題還將考察參賽隊伍的并行優化能力。組委會鼓勵參賽隊伍充分考慮自身集群的架構特征,構建定制的高性能推理引擎。此外,為了防止參賽隊伍僅關注低精度優化,只允許使用FP16或BF16精度。參賽學生需要在他們提交的優化方案中,詳述推理過程、集群規格、優化方法以及取得的結果。要想在這道賽題中取得佳績,各參賽隊伍需要充分了解并掌握大模型常見的并行方法,并學習使用各種技術來優化推理過程。
大模型推理賽題專家、智源研究院大模型行業應用負責人周華表示,LLaMA2-70B大模型基于Transformer,其中自注意力模塊對計算存儲資源消耗最大,在算法軟件實現、算子實現,甚至軟硬件結合等多個層次可以進行大量的優化工作。大賽鼓勵參賽隊伍做更多更深的優化工作,將大模型的推理性能提升到極致,也期待競賽中涌現出令人驚喜的高質量創新成果,未來頂尖人工智能科學家也許就來自本次參賽隊伍當中。
大模型推理優化賽題,不但可以讓參賽選手掌握大模型推理引擎的構建,探索更加有效的并行策略和推理加速技術,降低大模型應用落地難度,激發他們深度參與人工智能產業的熱情,同時也預示著超級計算領域正在主動擁抱大模型,并將在大模型應用中發揮重要作用。
ASC世界大學生超級計算機競賽(ASC Student Supercomputer Challenge)由中國發起組織,并得到亞洲及歐美相關專家和機構支持,旨在通過大賽平臺推動各國及地區間超算青年人才交流和培養,提升超算應用水平和研發能力,發揮超算的科技驅動力,促進科技與產業創新。ASC超算大賽迄今已舉行至第十一屆,吸引來自全球六大洲上萬名大學生報名參賽,是全球最大規模的大學生超算競賽。
