毎月、問題を作り直す評価機関: SuperCLUE 2026年11月ボード、世界最前線19モデルを一枚の表に

2026-11-08 · VIDRAFT AI Media

aillmbenchmarksevaluation

SuperCLUE の重みはどこから来るのか

毎月問題を作り直し、その問題を公開しない、という二点から来ます。

SuperCLUE は、2019年に始まり中国語自然言語処理の基準ボードになった CLUE の大規模言語モデル版です。大規模言語モデルの評価では、中国で最も多く引用されるボードです。毎月、非公開のテストセットを新しく作るため、公開済みの問題を暗記して順位を上げることができません。採点軸は五つあります。エージェント型コーディング、数学・科学推論、ハルシネーション抑制、厳密な指示遵守、超長文コンテキストです。クローズドな商用モデルとオープンウェイトモデルを同じ表に載せるため、二つの陣営を並べて読めます。

2026年11月のボードは 世界最前線の19モデル を対象にしています。以下の点数は SuperCLUE が11月の非公開セットで測定したものです。

軸ごとの首位

11月は全軸を独占したモデルがありません。軸ごとの首位は商用2モデルに分かれ、オープンウェイトの首位は軸ごとに異なる3モデルが分け合いました。

最も難しい軸

数学・科学推論は、パターンを続けて書く力と、問題を最後まで解き切る力を分ける軸です。11月の表です。

Darwin-180B-RSI-R3 はオープンウェイト1位、19モデル全体で2位 です。GPT-6.1-Sol との差は2.64点で、Google Gemini-4-Argon、DeepSeek V4.1-Flash、xAI Grok-4.7、Alibaba Qwen3.8-Max を上回りました。ボード上で唯一の韓国モデルです。

総合指数の読み方

SuperCLUE は公式集計範囲内のモデルにのみ番号順位を付けます。国外モデルはその列にダッシュで表示されますが、これは性能の判定ではなく分類方式です。したがって表示点数と番号順位は、別の問いに答えています。

表示点数で見ると Darwin は19モデル中9位、オープンウェイト中5位です。

同じエキスパート、作り直した推論

Darwin-180B-RSI は1800億パラメータの混合エキスパートモデルで、トークンあたり約30億パラメータが動きます。層ごとに512個のルーテッドエキスパートを Alibaba Qwen3.8-Flash-Next からバイト単位でそのまま受け継ぎ、アテンション層、線形アテンション層、共有エキスパートだけを再帰的自己改善で作り直しました。モデルが自分で問題を作り、解き、答えを検証し、検証済みの解法から自分の重みを更新する方式です。

両モデルが同じボードに載っているので、比較はそのまま成り立ちます。

同じ知識、作り直した推論経路で、最も難しい軸で15.79点、総合で6つ順位 を上げました。

確認先と、動かせるもの

ボードは superclueai.com で公開されています。重みは Darwin-180B-RSI-R3 で、Qwen コミュニティライセンスにより商用利用が可能です。4ビットのオンデバイス版 POCKET-Darwin-180B-GGUF は32GBのノートパソコンで SSD から動きます。

FAQ

この点数は誰が測ったのですか。 SuperCLUE が2026年11月の非公開テストセットで測りました。VIDRAFT はそのボードの被評価モデル側であり、評価の運営者ではありません。

毎月の非公開問題がなぜ重要なのですか。 公開された問題集は時間とともに学習データへ混ざります。毎月問題を作り直して非公開に保つことで、点数が問題への露出ではなくモデル自体を反映します。

Darwin-180B-RSI-R3 は総合1位ですか。 数学・科学推論でオープンウェイト1位、19モデル中2位です。表示総合指数では19モデル中9位、オープンウェイト中5位です。

Gemini、GPT、Darwin の順位列がダッシュなのはなぜですか。 SuperCLUE が公式集計範囲内のモデルにのみ番号を付けるためです。ダッシュはその分類の表示で、これらのモデルも各軸の比較に点数とともに現れます。

重みのライセンスは何ですか。 エキスパート層を受け継いだモデルから続く Qwen コミュニティライセンス 1.0 で、商用利用が可能です。

関連記事

• Darwin-180B-RSI、SuperCLUE 数学・科学推論でオープンウェイト1位
• VIDRAFT、2026年11月1日から8日まで