通義千問720億參數(shù)模型宣布開源，部分性能超越閉源GPT-4

　　新浪科技訊 12月1日午間消息，阿里云通義千問720億參數(shù)模型Qwen-72B今日宣布開源。該模型基于3T tokens高質(zhì)量數(shù)據(jù)訓(xùn)練，在10個(gè)權(quán)威基準(zhǔn)測評(píng)中奪得開源模型最優(yōu)成績，在部分測評(píng)中超越閉源GPT-3.5和GPT-4。

　　在英語任務(wù)上，Qwen-72B在MMLU基準(zhǔn)測試取得開源模型最高分;中文任務(wù)上，Qwen-72B在C-Eval、CMMLU、GaokaoBench等基準(zhǔn)得分超越GPT-4;數(shù)學(xué)推理方面，Qwen-72B在GSM8K、MATH測評(píng)中斷層式領(lǐng)先其他開源模型;代碼理解方面，Qwen-72B在HumanEval、MBPP等測評(píng)中的表現(xiàn)大幅提升，代碼能力有了質(zhì)的飛躍。

　　據(jù)介紹，Qwen-72B可以處理最多32k的長文本輸入，在長文本理解測試集LEval上取得了超越ChatGPT-3.5-16k的效果。研發(fā)團(tuán)隊(duì)優(yōu)化了Qwen-72B的指令遵循、工具使用等技能，使之能更好地被下游應(yīng)用集成。比如，Qwen-72B搭載了強(qiáng)大的系統(tǒng)指令(System Prompt)能力，用戶只用一句提示詞就可定制AI助手，要求大模型扮演某個(gè)角色或者執(zhí)行特定的回復(fù)任務(wù)。

　　隨著Qwen-72B的開源，通義千問還開源了18億參數(shù)模型Qwen-1.8B和音頻大模型Qwen-Audio。至此，通義千問共開源18億、70億、140億、720億參數(shù)的4款大語言模型，以及視覺理解、音頻理解兩款多模態(tài)大模型。