LiveBench 2.0
Objective long-horizon tasks. We use Overall, Coding, Reasoning, Research and Data Analysis.
METHOD NOTE · v0.1 · 2026-10-20
Model Evidence Index v0.1
3qk7 は他の集約ランキングをコピーせず、独立評価の生データから公開ルールで独自の判断を作ります。
基本原則：3qk7 は他サイトの集約済み総合点や順位を転載しません。v0.1 は独立評価元の生の指標を使い、公開された再計算可能な 3qk7 Evidence Index を作ります。NewLab は方法と証拠の監査、3qk7 は読者向けランキングを担当します。
独自集約の理由
既存の集約ランキングをコピーするだけでは 3qk7 を使う理由がありません。客観的な長時間タスク、独立 Intelligence 指標、実際の Agent 作業シグナルを一つにまとめ、価格や API 情報は能力順位から分離します。
v0.1 の直接データ源
Artificial Analysis
Independent Intelligence Index. We use the highest comparable public reasoning-effort variant for each model family.
Agent Arena · Work
Real agent-session work signal. We use Net Improvement as a separate practical-work dimension.
生データスナップショット
Machine-readable values, source dates, model canonicalization and formula inputs used by the current 3qk7 board.
計算方法
各生指標を当期候補モデル内の midrank percentile に変換し、ボードごとの重みで合成します。これは当期の相対指数であり、正答率そのものではありません。
percentile(metric) = midrank(model) / (N - 1) × 100
board_score = Σ(weight × percentile)
missing metric = neutral 50th percentile, but coverage is reduced
ranking gate = weighted coverage ≥ 70%
重み
| ボード | 入力 |
|---|---|
| 総合 | LiveBench Overall 50% · Artificial Analysis 30% · Agent Arena Work 20% |
| コーディング | LiveBench Coding 65% · Agent Arena Work 35% |
| 推論 | LiveBench Reasoning 70% · Artificial Analysis 30% |
| 実務 | Agent Arena Work 55% · LiveBench Research 25% · LiveBench Data Analysis 20% |
| 研究 | LiveBench Research 70% · Artificial Analysis 30% |
欠測とモデル変種
欠測を 0 点にはしません。中立の 50 パーセンタイルを置き、coverage を下げます。加重 coverage が 70% 未満なら正式順位には入りません。価格、API、コンテキスト長、発売日、ベンダー主張は能力順位に入りません。
Arena Text の人間選好はモデル変種の対応が十分安定するまで v0.1 から除外しています。将来は独立した preference signal として追加します。
NewLab 独自ベンチマーク結果ではない
生の測定値は上記の第三者一次ソースから取得しています。NewLab の役割は方法、出典、バージョン対応、再現可能な集約です。将来 NewLab が自分で行う実測は別欄で明示します。