Claude Opus 5 在大多数基准测试中超过了 Fable 5——价格仅为一半

CN
Decrypt
关注
16小时前

Claude Opus 5 今天 发布。它比 Anthropic 的领先模型 Claude Fable 5 运行成本更低,后者被公司定位为付费用户的日常前沿产品。此外,Opus 5 在重要基准测试中也表现优于它。


为了理解 Opus 5 的定位:Anthropic 的产品线分为四个层级。Haiku 快速且成本低。Sonnet 是中档产品。Opus 是重型工作设备。更高层次是 Mythos 类——这是 Anthropic 在春季推出的一个层次——其中包括供公众使用的 Claude Fable 5 和 Claude Mythos 5,这是一个通过 Project Glasswing 为经过审核的网络安全研究人员和关键基础设施运营商保留的限制更少的版本。





Fable 5 作为订阅旗舰经历了一段艰难的历程。它于 6 月 9 日发布,三天后被 全球撤回,因为美国政府发布了一个紧急出口控制命令,引用了越狱漏洞, 于 6 月 30 日恢复上线——却立即转向了仅限积分的模式,不再包含在标准计划中。现在,Opus 5 填补了 Fable 5 无法维持的空缺。


Lovable,一个拥有数百万用户的开发平台,在其内部评估中运行了 Opus 5,并指出提升不仅仅体现在原始分数上:“在我们最困难的代理编码任务上,它的性能提高了 22%,比 Opus 4.7 更好,且运行之间的方差大大减少,”Fabian Hedin 在 Anthropic 分享的一份声明中表示。


基准测试


听起来可能有些奇怪,但 Opus 在几乎所有对日常用户重要的方面都超过了 Fable,同时又不被标记为 Mythos 类,就像 Fable 一样。



在 Frontier-Bench v0.1 上——这是一个测试 AI 编码代理是否能够完整完成真实软件工程任务的基准,以通过的任务百分比进行评分——Opus 5 达到了 43.3%。Fable 5 的得分为 33.7%。OpenAI 的 GPT-5.6 Sol,Anthropic 的主要商业竞争对手,得分为 34.4%。


最大的差距出现在 ARC-AGI-3 上,这是一项围绕新颖难题构建的真正问题解决测试,模型无法通过训练数据记忆,得分为解决难题的百分比。Opus 5 达到 30.2%;GPT-5.6 Sol 得分 7.8%;Fable 5 根本没有被测试。在 GDPval-AA v2 上——一个通过 Elo 评分进行评分的知识工作基准,这是用于测量真实专业任务相对表现的棋类排名系统——Opus 5 达到 1861,Fable 5 为 1747,GPT-5.6 Sol 为 1736。


Zapier 在 AutomationBench 上测试了 Opus 5,这是一个评估模型是否可以在没有人工帮助的情况下从头到尾完成整个业务工作流程的评估。他们的判决是:该模型“从头到尾处理了一本原始的账户健康工作簿,并完成了完整的客户流失预防流程:标记出风险账户,提醒合适的负责人,并为留存操作总结。之前的模型未能通过;Opus 5 完成了 100%。”


Anthropic 还将 Opus 5 宣传为研究升级。DNA 测序公司 Ultima Genomics 表示,该模型“更像是一位细心的科学家,而不是我们运行过的其他模型。它选择适当的统计测试来排除混杂因素,通过独立方法交叉检查其结果,并在长时间的多步骤分析中保持轨道。”


不过,这两个领域——法律和健康——是 Fable 5 唯一以微小优势突出的领域。


此次发布在北京的一家由阿里巴巴支持的初创公司 Moonshot AI 宣布 Kimi K3 之后一周,后者推出了一款 2.8 万亿参数的开放权重模型(意味着任何人都可以下载底层代码自行运行),Moonshot 将其描述为世界上最大的开放 AI 系统。独立基准测试将 Kimi K3 一直排在第三,落后于 Fable 5 和 GPT-5.6 Sol,但在特定领域超越这两者。


Opus 5 现已通过 API 提供,价格为每百万输入令牌 5 美元,每百万输出 25 美元。(令牌是 AI 模型在输入和输出中可以处理的信息的基本单位)。同时还提供以大约是默认速度 2.5 倍运行的快速模式,价格为基础价格的两倍——每百万输入令牌 10 美元,每百万输出 50 美元。


这一发布可能会结束人们对 Fable 5 缺乏公开可用性的焦虑。Opus 现在也通过订阅方式对所有人开放。


免责声明:本文章仅代表作者个人观点,不代表本平台的立场和观点。本文章仅供信息分享,不构成对任何人的任何投资建议。用户与作者之间的任何争议,与本平台无关。如网页中刊载的文章或图片涉及侵权,请提供相关的权利证明和身份证明发送邮件到support@aicoin.com,本平台相关工作人员将会进行核查。

分享至:
APP下载

X

Telegram

Facebook

Reddit

复制链接