매달 시험지를 새로 만드는 평가기관: 슈퍼클루 2026년 11월 보드, 글로벌 19개 모델 한 표
aillmbenchmarksevaluation
슈퍼클루의 무게는 어디서 나오는가
매달 시험지를 새로 만들고, 그 시험지를 공개하지 않는다는 점에서 나옵니다.
슈퍼클루는 2019년 시작해 중국어 자연어처리의 기준 보드가 된 CLUE 의 대형 언어모델 판입니다. 대형 언어모델 평가에서 중국에서 가장 많이 인용되는 보드입니다. 매달 비공개 시험지를 새로 만들기 때문에 공개된 문제를 외워서 순위를 올릴 수 없습니다. 채점 축은 다섯 개입니다. 에이전트 코딩, 수학·과학 추론, 환각 억제, 정밀 지시 이행, 초장문 문맥입니다. 비공개 상용 모델과 오픈 가중치 모델을 같은 표에 올리기 때문에 두 진영을 나란히 읽을 수 있습니다.
2026년 11월 보드는 세계 최상위 19개 모델을 다룹니다. 아래 점수는 슈퍼클루가 11월 비공개 시험지로 매긴 것입니다.
축별 1위
| 축 | 최고 점수 | 오픈 가중치 1위 |
|---|---|---|
| 에이전트 코딩 | GPT-6.1-Sol 69.23 | DeepSeek-V4.1-Flash-1017 65.38 |
| 수학·과학 추론 | GPT-6.1-Sol 76.32 | Darwin-180B-RSI-R3 73.68 |
| 환각 억제 | Gemini-4-Argon 83.19 | Kimi-K3.1-Pro 67.78 |
| 정밀 지시 이행 | Gemini-4-Argon·GPT-6.1-Sol 68.97 | Kimi-K3.1-Pro 44.83 |
| 초장문 문맥 | Gemini-4-Argon 95.63 | Kimi-K3.1-Pro 87.25 |
11월에 전 축을 쓸어간 모델은 없습니다. 축별 1위가 상용 두 모델로 갈렸고, 오픈 가중치 1위는 축마다 다른 세 모델이 나눠 가졌습니다.
가장 어려운 축
수학·과학 추론은 패턴을 이어 붙이는 능력과 문제를 끝까지 풀어내는 능력을 가르는 축입니다. 11월 표입니다.
| 모델 | 개발사 | 오픈 가중치 | 점수 |
|---|---|---|---|
| GPT-6.1-Sol | OpenAI | 아니오 | 76.32 |
| Darwin-180B-RSI-R3 | 비드래프트 | 예 | 73.68 |
| Gemini-4-Argon | 구글 | 아니오 | 71.05 |
| DeepSeek-V4.1-Flash | 딥시크 | 예 | 71.05 |
| Grok-4.7 | xAI | 아니오 | 68.42 |
| Qwen3.8-Max-0902 | 알리바바 | 아니오 | 68.42 |
| GLM-5.3 | 즈푸AI | 예 | 65.79 |
| Kimi-K3.1-Pro | 문샷 | 예 | 63.16 |
| Qwen3.8-Flash | 알리바바 | 예 | 57.89 |
Darwin-180B-RSI-R3 는 오픈 가중치 1위이자 19개 모델 전체 2위입니다. GPT-6.1-Sol 과 2.64점 차이이고, 구글 Gemini-4-Argon, 딥시크 V4.1-Flash, xAI Grok-4.7, 알리바바 Qwen3.8-Max 를 앞섰습니다. 보드에 오른 유일한 한국 모델입니다.
종합 지수를 읽는 법
슈퍼클루는 공식 집계 범위 안의 모델에만 번호 순위를 매깁니다. 국외 모델은 그 칸에 줄표로 표시되는데, 이는 성능 판정이 아니라 분류 방식입니다. 그래서 표시 점수와 번호 순위는 서로 다른 질문에 답합니다.
| 모델 | 종합 지수 | 공식 번호 순위 |
|---|---|---|
| Gemini-4-Argon | 73.62 | 줄표 |
| GPT-6.1-Sol | 71.76 | 줄표 |
| Kimi-K3.1-Pro | 61.46 | 1위 |
| DeepSeek-V4.1-Flash-1017 | 58.95 | 2위 |
| GLM-5.3 | 50.66 | 3위 |
| Darwin-180B-RSI-R3 | 43.08 | 줄표 |
표시 점수 기준으로 다윈은 19개 중 9위, 오픈 가중치 중 5위입니다.
같은 전문가, 다시 세운 추론
Darwin-180B-RSI 는 1,800억 매개변수 전문가 혼합 모델이고 토큰당 약 30억 매개변수만 활성화됩니다. 층마다 512개인 전문가 층을 알리바바 Qwen3.8-Flash-Next 에서 바이트 단위로 그대로 물려받고, 어텐션 층과 선형 어텐션 층, 공용 전문가만 자기개선으로 다시 세웠습니다. 모델이 스스로 문제를 만들고 풀고 답을 검증한 뒤, 검증된 풀이 흔적으로 자기 가중치를 고치는 방식입니다.
두 모델이 같은 보드에 있으니 비교가 바로 됩니다.
| Qwen3.8-Flash | Darwin-180B-RSI-R3 | |
|---|---|---|
| 수학·과학 추론 | 57.89 | 73.68 |
| 종합 지수 | 39.81 (15위) | 43.08 (9위) |
같은 지식, 다시 세운 추론 경로로 가장 어려운 축에서 15.79점, 종합에서 여섯 계단을 올렸습니다.
확인하고 돌려 볼 곳
보드는 superclueai.com 에 공개돼 있습니다. 가중치는 Darwin-180B-RSI-R3 이고 Qwen 커뮤니티 라이선스로 상업적 이용이 가능합니다. 4비트 온디바이스 판 POCKET-Darwin-180B-GGUF 는 32GB 노트북에서 SSD 로 돕니다.
자주 묻는 질문
이 점수는 누가 매겼습니까. 슈퍼클루가 11월 비공개 시험지로 매겼습니다. 비드래프트는 그 보드에 오른 평가 대상 모델이고 벤치마크 운영자가 아닙니다.
매달 비공개 시험지가 왜 중요합니까. 공개된 문제 묶음은 시간이 지나면 학습 데이터로 새어 듭니다. 매달 시험지를 다시 만들고 공개하지 않으면 점수가 문제 노출이 아니라 모델 자체를 반영합니다.
다윈이 전체 1위입니까. 수학·과학 추론에서 오픈 가중치 1위, 19개 중 전체 2위입니다. 표시 종합 지수로는 19개 중 9위, 오픈 가중치 중 5위입니다.
Gemini·GPT·다윈의 순위 칸에 줄표가 있는 이유는 무엇입니까. 슈퍼클루가 공식 집계 범위 안의 모델에만 번호를 붙이기 때문입니다. 줄표는 그 분류 표시이고, 해당 모델들도 모든 축 비교에 점수와 함께 등장합니다.
가중치 라이선스는 무엇입니까. 전문가 층을 물려받은 모델에서 이어진 Qwen 커뮤니티 라이선스 1.0 이며 상업적 이용이 가능합니다.