LiveBench 2.0
Objective long-horizon tasks. We use Overall, Coding, Reasoning, Research and Data Analysis.
METHOD NOTE · v0.1 · 2026-10-20
Model Evidence Index v0.1
3qk7 模型榜应该提供自己的判断：直接取独立评测的原始证据，再公开聚合方法，而不是复制别人的总分。
关键原则：3qk7 不再引用任何第三方“聚合后的总分或排名”作为自己的模型榜。v0.1 只取独立评测站的原始指标，再用公开、可复算的规则生成 3qk7 Evidence Index。NewLab 负责方法与证据审计，3qk7 负责给普通用户一个可读的榜。
为什么要自己聚合
直接复制另一个聚合榜没有产品价值，也会让用户自然跳回原站。我们的价值应该是：把客观任务能力、独立 intelligence 评测、真实 Agent 工作表现放到同一张表里，同时把价格/API 信息作为选型信息而不是排名因素。
v0.1 直接数据源
Artificial Analysis
Independent Intelligence Index. We use the highest comparable public reasoning-effort variant for each model family.
Agent Arena · Work
Real agent-session work signal. We use Net Improvement as a separate practical-work dimension.
Raw evidence snapshot
Machine-readable values, source dates, model canonicalization and formula inputs used by the current 3qk7 board.
怎么算
每一个原始指标先在当期候选模型中转换成 midrank percentile（并列取平均秩）：当期最弱为 0，最强为 100。然后按板块加权。这个分数是当期相对指数，不是“模型答对了多少题”，也不保证跨版本绝对可比。
percentile(metric) = midrank(model) / (N - 1) × 100
board_score = Σ(weight × percentile)
missing metric = neutral 50th percentile, but coverage is reduced
ranking gate = weighted coverage ≥ 70%
板块权重
| 榜单 | 输入 |
|---|---|
| 综合 | LiveBench Overall 50% · Artificial Analysis 30% · Agent Arena Work 20% |
| 编程 | LiveBench Coding 65% · Agent Arena Work 35% |
| 推理 | LiveBench Reasoning 70% · Artificial Analysis 30% |
| 实务 | Agent Arena Work 55% · LiveBench Research 25% · LiveBench Data Analysis 20% |
| 研究 | LiveBench Research 70% · Artificial Analysis 30% |
缺测、版本和边界
缺测不按 0 分惩罚，而是用中性 50 分占位并降低覆盖率；低于 70% 覆盖率不进入正式排名。不同 reasoning effort / Max / High 变体会保留在原始证据中，聚合时按模型家族选择当期最高可比公开档位。价格、API 可用性、上下文长度、厂商宣传和发布时间都不参与能力分。
v0.1 暂时没有把 Arena Text 人类偏好分混进总分，因为不同站点的模型变体映射还不够稳定。等 canonicalization 做稳后，它会作为单独的“人类偏好”信号加入，而不是为了凑来源硬塞进去。
这不是 NewLab 实测结果
这里的三组原始指标都来自上面的独立第三方直接来源；NewLab 当前做的是方法设计、证据冻结、版本映射和聚合复算。未来 NewLab 自己跑出的真实工作测试会以单独字段出现，不会偷偷混成第三方 benchmark 分数。