新闻中心News

AI 三巨头惨遭滑铁卢：最新编程测试正确率全线跌破 25%

作者：聖光之護 | 点击: | 来源：聖光之護

2309
2025

ScaleAI最新发布的SWE-BENCHPRO编程能力评估结果显示，即便是当前最前沿的模型如GPT-5、ClaudeOpus4.1和Gemini2.5，也未能突破25%的解决率门槛。其中，GPT-5仅取得23.3%的解决率，ClaudeOpus4.1以22.7%紧随其后，而Google的Gemini2.5则表现更弱，仅有13.5%的任务被成功解决。前OpenAI研究员NeilChowdhury指出，当GPT-5决定尝试解决问题时，其实际成功率高达63%，远超ClaudeOpus4.1的31%...

scale ai最新发布的swe-bench pro编程能力评估结果显示，即便是当前最前沿的模型如gpt-5、claude opus4.1和gemini2.5，也未能突破25%的解决率门槛。

其中，GPT-5仅取得23.3%的解决率，Claude Opus4.1以22.7%紧随其后，而Google的Gemini2.5则表现更弱，仅有13.5%的任务被成功解决。

前OpenAI研究员Neil Chowdhury指出，当GPT-5决定尝试解决问题时，其实际成功率高达63%，远超Claude Opus4.1的31%。这表明尽管GPT-5在整体得分上并不突出，但在它认为可以处理的任务中，依然具备显著的技术领先优势。

与以往常出现70%以上高分的SWE-Bench-Verified测试不同，SWE-BENCH PRO特别排除了所有可能已用于训练的数据，从根本上杜绝了数据泄露或记忆式答题的可能性。这一改进使得模型必须依赖真实的理解与推理能力来应对挑战，而非依赖训练过程中的“死记硬背”。

该评测覆盖了来自

真实商业应用与开发工具的1865个实际问题，题目被划分为公共集、商业集和保留集三个层级，确保测试内容对所有模型而言都是全新的。同时，研究团队还引入人工增强机制，进一步提升了任务的真实性和复杂度。

测评结果也揭示了当前AI代码生成模型的核心短板——面对真实世界中的工程问题，其能力仍十分有限。尤其是在JavaScript和TypeScript等广泛使用的语言上，各模型的表现波动剧烈且难以预测。深入分析显示，不同模型在处理相似任务时展现出截然不同的行为模式，反映出背后技术路线与训练策略的根本差异。

欢迎光临，我们是一家专注中小型企业营销推广服务的公司！

专注企业电商网络营销推广！免费电商SEO诊断，你可信任的网络推广专家

AI 三巨头惨遭滑铁卢：最新编程测试正确率全线跌破 25%