讯 大语言模型（LLM）在代码生成、文本理解等领域已展现出惊人能力，但当它们面对真实世界中“鸡毛蒜皮”却又性命攸关的运维值班（Oncall）任务时，表现究竟如何？近日，一个名为“Orca-Bench”的全新基准测试引发业界关注，其核心议题直指：语言模型智能体（Agent）为值班工作准备好了吗？
值班，堪称软件工程体系中最考验智力与耐力的“高压岗位”。它要求工程师在有限时间内处理告警、排查故障、修复代码，并随时响应开发团队的各类请求。这不是简单的编码测试，而是对系统理解、问题定位、多工具协作乃至沟通决策的综合考验。
Orca-Bench的推出，正是为了给AI智能体在这一细分但关键的领域中，做一次全面而严谨的“体检”。与传统基准测试不同，Orca-Bench并不满足于让模型“做选择题”或“写一段函数”。它构建了一个高度模拟真实工作环境的评估体系，将典型的Oncall任务拆解为可量化的核心能力指标。
该基准的核心逻辑在于对“工作流”的评估。在真实场景中，值班工程师面对的往往是模糊的告警和复杂的服务架构。Orca-Bench通过模拟海量业务数据的检索、系统日志的分析以及代码库的定位，考察模型是否具备“定位根因（Root Cause Analysis）”的能力——即从噪声中发现关键问题信号。此外，它还将“工具使用（Tool Use）”与“自主决策（Autonomous Decision Making）”设为关键得分项。智能体必须学会调用监控系统API、查询分布式追踪日志、甚至执行必要的修复命令，才能拿到高分。
初测结果显示，尽管GPT-4、Claude等头部模型在通用知识测评中屡获高分，但在Orca-Bench的复杂任务链面前，其表现远未达到“稳定可靠”的级别。许多模型在信息检索量爆发时会出现“幻觉”或“决策崩溃”，在跨系统排查时则容易迷失于非关键路径上。这揭示了当前大模型在长期规划与高噪声环境下的脆弱性——它们更擅长“一步到位”的问答，而非“步步为营”的推理。
Orca-Bench的出现具有强烈的现实指向性。随着AI编程助手普及，软件工程的“最后一公里”——运维保障，被认为是自动化潜力巨大但壁垒最高的领域。“值班”成为检验AI智能体从“副驾驶”走向“主驾驶”的最佳试金石。 该基准不仅为研究机构提供了对标方向，更向业界传递了清晰信号：如果希望AI真正承担7x24小时的Oncall重担，模型必须不仅“读得懂”代码，更要“Hold得住”复杂的生产环境。
尽管目前得分图景并不完美，但Orca-Bench的构建者认为，这种“不完美”恰恰是价值所在。它将模糊、高压、多任务的运维场景转化为清晰的训练目标，为下一阶段模型在工程智能体（Engineering Agent）领域的迭代提供了可复用的度量衡。当大模型团队针对这些薄弱环节进行强化学习与工具调优后，离“AI值班工程师”上岗的那一天或许就不远了。
正如该基准名称所隐喻的那样，Orca（虎鲸）在海洋中以其精密的团队协作与捕猎策略著称。若要让LM智能体成为软件系统中有如虎鲸般的顶级猎手，Orca-Bench提供了一张值得细看的“视力检查表”——智能，尚需在风浪中经受考验。