模型評估 · 2026 年 9 月

GPT-6.1 Sol:複雜 Agent 任務,先看合格成果

OpenAI 推出更強的 Sol。值得測試的是:寫程式、操作軟體與處理專業資料時,能否以合理成本交出可驗收的成果。

GPT-6.1 Sol 是 OpenAI 於 2026 年 9 月 29 日推出的 Sol 更新。官方報告的進展涵蓋程式、多步驟流程、電腦操作和複雜資料。先選一項成果能檢查的任務,比立即討論全面換模型更有用。

OpenAI 發布頁: OpenAI

相較 GPT-6 Sol,哪些能力改變了

以下數字來自 OpenAI 在特定設定下的公開評測,可用來選擇測試任務,不能直接換算成團隊通過率。

長流程程式開發
DeepSWE v1.1 上,OpenAI 報告比 GPT-6 Sol 最佳成績高出 6.4 個百分點。請用真實程式庫、失敗案例和測試集評估。

跨工具的業務流程
相同推理強度下,AutomationBench 提高 4.8 個百分點。基準涵蓋多步驟任務,不等於自家系統有相同合格率。

操作電腦與軟體
OSWorld 2.0 離線集合在最高推理強度下提高 7 個百分點。瀏覽器與應用程式權限仍要另行設定。

閱讀複雜資料
官方著重含表格與圖形的專業 PDF。要求頁碼、數字口徑及計算過程。

先挑一項能明確驗收的工作

以明確成果組織任務,再用實際結果決定是否採用。

修復 bug

提供失敗測試、程式庫與可修改範圍;要求修補與測試記錄。

檢查差異、測試輸出與未覆蓋路徑。

更新營運報告

提供原始檔案與目標格式;先準備有依據的修改提案,不直接寫正式資料。

核對來源與成果,重要寫入另行確認。

執行網頁任務

限定網站、可採取的動作與完成條件;保留過程證據。

查看截圖與產物,由人決定是否發布或傳送。

完整示例:讓 Agent 修復失敗的測試

這是評估用的任務設計,並非 GPT-6.1 Sol 在 Buda 上完成的實測案例。

1 · 明確輸入

提供程式庫快照、可重現的失敗測試和簡短錯誤報告,限定可修改的模組,列出不可碰觸的檔案。

2 · 定義完成條件

先重現失敗,再提出聚焦修補、執行相關測試,列出修改檔案、測試結果與未驗證行為。

3 · 驗收成果

在同一任務脈絡中查看程式碼差異與測試紀錄,由人重新執行關鍵檢查。若涉及資料庫結構、金鑰或部署,先另行授權。

應交付:程式碼差異、修復前後的測試輸出,以及尚未驗證的事項清單。這並不表示 GPT-6.1 Sol 已完成此流程。

用真實任務對照證據,不排通用名次

任務GPT-6.1 SolGPT-6 Astra人員檢查
有失敗測試的程式修改用自家程式庫檢驗 DeepSWE 提示的進展比較時保持相同測試與限制檢查差異與測試輸出
跨工具多步驟流程在隔離環境檢驗 AutomationBench 提示的進展僅在相同工具與標準下比較核對來源與執行軌跡
高風險開放式判斷如需使用,先拆成有限的取證子任務另以代表性案例評估負責人保留決定權

用五項真實任務做小規模評估

01

固定不同模型的輸入、工具權限與驗收標準。

02

選五項任務:一項簡單、兩項常見、兩項邊界案例。

03

記錄合格成果、驗收時間、人工修正與工具失敗。

04

複測失敗並檢查成果,再決定是否調整預設工作流程。

讓執行與結果都可檢查

Drive

保存程式庫快照、任務說明、測試檔與最終成果。

Agent 對話

查看指令、過程檔案與結果,不只看最後的文字總結。

人的決定

通過測試後才接受修補;合併、部署或對外變更須另行授權。

常見問題

GPT-6.1 Sol 已可在 Buda 選用嗎?

OpenAI 已宣布 API、ChatGPT Work 和 Codex 可用;Buda 內是否可選尚未核實。實施前請以實際模型清單為準。

它和 GPT-6 Sol 的主要差異是什麼?

OpenAI 報告其在 Agent 程式開發、多步驟專業流程和電腦操作等評測取得進展。這些分數來自特定測試,仍應以自家任務驗證。

OpenAI 已在哪些入口提供 GPT-6.1 Sol?

官方列出 API 模型名稱 gpt-6.1-sol,以及符合資格方案中的 ChatGPT Work 與 Codex;發布時尚未在一般 Chat 對話中提供。

基準分數可以當作自家合格率嗎?

不能。官方評測使用特定任務、環境與推理設定;請以自家代表性任務驗證。

應該先用哪種任務測試?

挑選有來源檔案和明確驗收條件的小任務,例如修復可重現的 bug。要求程式碼差異、測試紀錄和未驗證事項,不只看修正說明。

什麼時候考慮 GPT-6 Astra?

遇到開放、複雜或風險較高的任務,可把 Astra 納入相同條件的評估。任務選擇表不是自動模型路由,也不保證某個模型總是較好。

如何公平比較兩個模型?

固定輸入、工具權限與驗收標準,使用數項真實任務比較合格成果與人工修正量,不只看基準分數。

更強的模型可以免除人工審查嗎?

不能。生產修改、客戶訊息及公開發布仍要由人授權。

先交付可檢查的成果。

從界線清楚的任務開始,附上原始檔與驗收標準。執行留在工作空間,最後決定留給人。

了解 Buda 工作空間