通義靈碼軟件工程大模型獲國際頂會杰出論文獎,復雜問題解決率刷新開源紀錄

7月3日消息,軟件領域國際頂會ISSTA 2025(International Symposium on Software Testing and Analysis)公布了最高獎項-杰出論文獎,通義靈碼軟件工程大模型SWE-GPT從500多篇投稿論文中脫穎而出,成為唯一獲得該獎項的企業(yè)論文。

圖片1.jpg

軟件開發(fā)是大模型落地最快的應用場景之一,但現(xiàn)有模型主要基于靜態(tài)代碼數據進行訓練,缺乏對軟件開發(fā)過程中動態(tài)交互、工具使用、迭代問題解決和演化特性的深入理解,影響了其在真實場景中的實用性。

據介紹,通義靈碼SWE-GPT基座模型為通義千問Qwen2.5,在后訓練階段進一步模擬人類程序員的認知過程,學習軟件工程領域復雜問題的端到端多步驟解決過程。同時,團隊創(chuàng)新性采用合成數據進行迭代模型訓練,通過模擬真實軟件開發(fā)中的動態(tài)交互與迭代問題解決過程(如代碼庫理解、故障定位和補丁生成),有效解決現(xiàn)有基礎大模型的局限性。

在模型訓練階段,為了增強訓練過程的魯棒性,通義靈碼團隊還采用了課程學習的方法,隨著迭代的進行,逐步加入當前模型未能解決的問題,循序漸進提高訓練樣本的復雜度,確保模型鞏固基礎能力。

此前的實驗結果顯示,在權威基準SWE-bench-Verified(500項真實GitHub任務)測試中, SWE-GPT 72B以 30.20%問題解決率刷新開源紀錄,較Llama 3.1 405B提升22.76%,接近同時期閉源模型GPT-4o的效果。不僅如此,輕量級SWE-GPT 7B模型以 18.20%的解決率超越Llama 3.1 70B(17.20%),展現(xiàn)了小尺寸模型在復雜軟件維護任務中的實用價值。

更重要的是,SWE-GPT是一個通用框架,可以進行持續(xù)拓展,比如以其為基礎引入思考能力和測試時擴展(test-time scaling),小尺寸(32B)模型在SWE-bench-Verified上可以達到46%的問題解決率,接近業(yè)界領先的閉源模型 Claude 3.5 Sonnet v2 (46.20%) 和 OpenAI o1 (45.60%) 。

ISSTA評審委員會專家點評稱:“ SWE-GPT是一種新穎的以「軟件開發(fā)流程為中心」的大語言模型,它提出的數據合成方案真實模擬了實際軟件開發(fā)過程,這是AI輔助軟件開發(fā)領域前進的重要一步?!?/p>

通義靈碼算法負責人李永彬表示:“基于大模型的軟件工程智能化領域的研究和應用正在快速發(fā)展,僅靠現(xiàn)有基礎模型仍無法滿足真實場景的需求,SWE-GPT為AI 輔助軟件開發(fā)提出了新范式?!?/p>

ISSTA是軟件工程領域最具影響力的學術會議之一,該會議匯聚了學術界和工業(yè)界在軟件測試、程序分析、代碼質量保障等技術的前沿研究與應用。本屆ISSTA共收到550篇投稿,最終錄用107篇,其中僅有9篇被評為杰出論文。

(免責聲明:本網站內容主要來自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿,凡在本網站出現(xiàn)的信息,均僅供參考。本網站將盡力確保所提供信息的準確性及可靠性,但不保證有關資料的準確性及可靠性,讀者在使用前請進一步核實,并對任何自主決定的行為負責。本網站對有關資料所引致的錯誤、不確或遺漏,概不負任何法律責任。
任何單位或個人認為本網站中的網頁或鏈接內容可能涉嫌侵犯其知識產權或存在不實內容時,應及時向本網站提出書面權利通知或不實情況說明,并提供身份證明、權屬證明及詳細侵權或不實情況證明。本網站在收到上述法律文件后,將會依法盡快聯(lián)系相關文章源頭核實,溝通刪除相關內容或斷開相關鏈接。 )

贊助商
2025-07-03
通義靈碼軟件工程大模型獲國際頂會杰出論文獎,復雜問題解決率刷新開源紀錄
7月3日消息,軟件領域國際頂會ISSTA 2025(International Symposium on Software Testing and Analysis)公布了最高獎項-杰出論文獎,通義靈碼軟件工程大模型SWE-GPT從500多篇投稿論文中脫穎而出,成為唯一獲得該獎項的企業(yè)論文。

長按掃碼 閱讀全文