這不是模型排行榜,而是一張選擇地圖。依照寫作、研究、程式開發與日常任務,整理目前能力最強、以及價格最合理的模型。模型和價格持續變動,這裡保留的是最近一次完成校核的快照。
這份資料適合用來縮小選擇,不適合取代你自己的任務測試。
每個模型在 DeepSWE(長程 agentic 編碼)的正確率,對上它每個任務的平均成本。注意 X 軸與一般習慣相反:越靠右越便宜、越靠上越準,所以右上角=又準又省。完整的作圖說明在圖的下方。
怎麼讀這張圖:主力六個模型(sol/terra/luna/fable-5/opus 4.8/sonnet 5)各畫一條「effort 曲線」,把同一個模型從 low 到 max 五檔設定的成本與分數連成線;模型名標在它最高分的那一點。曲線越平,代表調低 effort 省錢時、分數掉得越少。其餘七個模型只畫最高分的那一點,當背景參照。金線=效率前緣:圖上找不到任何一點能同時「更準又更省」的那些設定點連成的線;滑過任何一點,可看該設定的分數、±95% 信賴區間與每任務成本。
來源 · ,;數字直接取自排行榜網站的公開資料檔,成本=每任務平均(美元)。這是單一評測(長程 agentic 編碼)的切面:純寫程式、日常對話的排名會不一樣。想看其他畫法:DeepSWE 官方互動版(每個模型的全部檔位都上圖,X 軸可切成本/輸出 token/agent 步數三種),或 Artificial Analysis(「綜合智力 vs 價格」的另一種散點畫法)。
| 模型 | 廠商 | Effort | DeepSWE 分數 | 每任務成本 | 效率前緣 |
|---|
ARC-AGI-2 用一批模型沒看過的抽象圖形推理題,測試「泛化能力」:模型能不能在完全陌生的規則上現場推理,而不是靠訓練資料裡背過的相似題型作答。分數愈高,代表愈能處理真正沒見過的問題;這跟上面程式開發榜衡量的是不同能力。
先說明: 目前沒有官方送測 ARC-AGI-2 的成績。送測是廠商自願提交,不是我們從候選名單裡挑的;下方數據表列出的 14 個模型,是目前查得到官方公開成績的送測結果。
來源 · ARC Prize(arcprize.org/leaderboard),查證於 ;成本為官方送測時填報的每任務金額,基準與上方 DeepSWE 圖不同、僅供同類比較,不可直接相加。
這張榜的模型清單跟上面不完全一樣:ARC-AGI-2 送測由廠商自願提交,不是我們挑選的結果。截至查證時, 都還沒有官方送測成績,所以不在這張表上;不代表它們泛化能力差,只是還沒有這份榜單可比的資料。模型代號以 ARC Prize 官方送測名稱為準,可能跟上方程式開發榜的代號指涉不同世代。
| 模型 | 廠商 | Effort | ARC-AGI-1 | ARC-AGI-2 | 每任務成本 |
|---|
間接提示注入(indirect prompt injection)是 agent 最大的安全弱點:攻擊者把惡意指令藏在模型讀取的資料裡(網頁、工具輸出、程式碼),誘導 agent 做出未授權的動作。這張圖看的是「攻擊在 k 次嘗試內成功的機率」,愈低愈穩。這是安全維度,跟上面的能力與成本是不同的軸。
先說明:這批數字是 Anthropic 自評、不是第三方榜結果。攻擊題庫用的是獨立安全公司 Gray Swan 的公開間接注入攻擊集(28 情境、1,130 條高轉移攻擊);由 Anthropic 在 Opus 5 發布時,對各模型統一設定跑出(Claude 不加額外防禦、所有模型開延伸思考)。其他廠尚未公佈同一攻擊集的自評,故跨廠比較僅供參考、不宜當定論。
來源 · Gray Swan 間接提示注入攻擊集(grayswan.ai),數字為 Anthropic 自評、報告於 ;色帶由深到淺為 k=1/k=10/k=15(愈少次就攻破=愈不穩)。此為安全軸,不與上方能力與成本榜相加。
| 模型 | 廠商 | k=1 | k=10 | k=15 |
|---|
這是排這張表的順序,不是硬規則。想更貼合你的情境,可用文末的提問工具讓 AI 依你的任務再比一次。
表中「成本」為 API 用量成本,非聊天訂閱月費。DeepSWE 類為每個任務的成本,SWE-bench 類為每百萬 token 的價格,兩者基準不同、僅供同類比較。
編碼榜大致分兩種讀法:廠商用自家工具跑的(例如 Artificial Analysis 的 Coding Agent Index,各家用自己的 Claude Code/Codex/Grok Build)偏樂觀、彼此可比性弱;標準化代理人跑的(例如 DeepSWE,同一把尺、防污染)較公允但涵蓋的模型少。看分數前,先確認它屬哪一類。
這裡列的是不同預算下最值得考慮的選擇,也就是分析上說的「性價比前緣」。
同一個模型,換一份榜、換一種任務,表現可能差很多。這裡記下幾個分數之外值得知道的落差。
首選換人時,這裡會留下日期與原因,方便回頭看判斷怎麼變的。最新在最上面。
這張表提供的是一般性比較。實際選擇還要看你的任務、預算、使用頻率,以及能否接受出錯。複製下面的問題,貼到你慣用的 AI,讓它依你的情境進一步比較。