WORKSPACE/新建评测
CONTROLLED COMPARISON / 01
让执行能力接受检验。
相同模型、相同起点。用实际产物和验收测试,比较不同 harness。
Bailian connected
HARNESSES03 原生 CLI
SCENARIOS08 默认任务
EVALUATION执行验收 不靠自评
ENVIRONMENT隔离目录 串行运行
01 选择任务
默认任务为公开评测方法启发的原创场景,包含多步骤、异常与边界条件。
已选 0 个任务每个 harness 使用相同文件副本
02 选择 Harness
保留原生提示与工具03 模型与运行
本轮组合数0任务 × 模型 × harness × 重复
默认不限制执行时长、请求数或输出 token;上下文及输出跟随 harness 与模型的原生能力。将消耗百炼模型额度。按组合串行执行,可随时手动停止。新模型不兼容某个协议时会如实记为失败。
READ THE RESULT CORRECTLY
模型相同,harness 仍有差异。
系统提示、工具实现、上下文压缩和 API 协议属于被测能力的一部分。报告会记录版本、预算、用例指纹和失败原因。
建议关键对比至少重复 3 次。EXPERIMENT LOG / 02
每次运行,都有依据。
查看进度、产物验收和凝练报告。
SCENARIO LIBRARY / 03
从典型场景开始。
借鉴公开 benchmark 的任务形态;不混用原榜单分数。
默认任务与导入模板
下载任一用例即可得到完整 JSON 模板:prompt、初始 files 和 unittest grader。修改 id 后重新导入。验收脚本仅在 Agent 退出后挂载执行。
LAB SETTINGS / 04
把配置留在你的服务器。
API Key 不返回浏览器;任务运行不改动三个 CLI 的日常配置。
默认模型
从现有百炼 endpoint 选择模型,多个 ID 分行填写。
更换 API Key:更新服务器 Hermes .env;评测网关在每个组合启动时读取。Qoder 日常配置独立,不受影响。
修改登录密码
这是单管理员工作台,不提供公开注册或多租户执行。导入的任务与评分代码应来自你信任的来源。