Kimi K3 모델 소개
Kimi K3 오픈 웨이트 네이티브 멀티모달 에이전트형 모델
1. 모델 소개
Kimi K3는 오픈 웨이트의 네이티브 멀티모달 에이전트형 모델이며, 지금까지의 우리 모델 중 가장 뛰어난 성능을 갖춘 모델입니다. Kimi Delta Attention(KDA)과 Attention Residuals(AttnRes) 위에 구축된 2.8T 파라미터 모델로, 네이티브 비전 기능과 100만 토큰 컨텍스트 윈도우를 갖추고 있습니다. 이는 세계 최초의 오픈 3T급 모델로, 장기적 코드 작업, 지식 업무, 추론 전반에서 최첨단 지능을 목표로 설계되었습니다.
주요 특징
- 새로운 아키텍처: Kimi K3는 Kimi Delta Attention(KDA)과 Attention Residuals(AttnRes) 위에 구축되었으며, 896개 전문가 중 16개를 활성화하는 Stable LatentMoE 프레임워크로 MoE 희소성을 확장합니다. 이를 통해 Kimi K2 대비 전체 스케일링 효율이 약 2.5배 향상되었습니다.
- 장기 코드 작업: 최소한의 사람 개입으로 작동하는 Kimi K3는 긴 엔지니어링 세션을 지속하고, 거대한 저장소를 탐색하며, 터미널 도구를 조율합니다. GPU 커널 최적화와 컴파일러 개발부터 비전-인-더-루프 게임 개발, CAD, 심지어 칩 설계까지 수행합니다.
- 에이전트형 지식 업무: Kimi K3는 인터랙티브 시각화, 위젯과 대시보드, 모션 디자인 및 영상 편집을 포함한 심층 리서치를 생성하며, 네이티브 멀티모달 아키텍처로 이를 지원합니다.
- 네이티브 멀티모달성과 긴 컨텍스트: Kimi K3는 텍스트, 이미지, 비디오를 같은 모델 안에서 이해하며, 100만 토큰 컨텍스트 윈도우를 지원합니다.
- 오픈 프런티어 가중치: 우리는 Kimi K3 License에 따라 Kimi K3 전체 모델 가중치를 공개하여, 연구, 배포, 추가 혁신을 위해 최첨단 지능을 누구나 사용할 수 있게 합니다.
2. 모델 요약
| 아키텍처 | Mixture-of-Experts (MoE) |
|---|---|
| 전체 파라미터 수 | 2.8T |
| 활성화되는 파라미터 수 | 104B |
| 레이어 수 | 93 |
| Dense 레이어 수 | 1 |
| 어텐션 레이어 구성 | 69 KDA + 24 Gated MLA |
| 어텐션 은닉 차원 | 7168 |
| 어텐션 헤드 수 | 96 |
| 잠재 MoE 차원 | 3584 |
| MoE 은닉 차원 (전문가당) | 3072 |
| 전문가 수 | 896 |
| 토큰당 선택되는 전문가 수 | 16 |
| 공유 전문가 수 | 2 |
| 어휘 크기 | 160K |
| 컨텍스트 길이 | 1048576 |
| 어텐션 메커니즘 | KDA & Gated MLA |
| 활성화 함수 | SiTU-GLU |
| 비전 인코더 | MoonViT-V2 |
| 비전 인코더의 파라미터 수 | 401M |
| 양자화 | MXFP4 weights / MXFP8 activations (quantization-aware training) |
| 모달리티 | Text, Image |
3. 평가 결과
| 벤치마크 | Kimi K3 (max) | Claude Fable 5 (max, w/ fallback) | GPT-5.6 Sol (max) | Claude Opus 4.8 (max) | GPT-5.5 (xhigh) | GLM-5.2 (max) |
|---|---|---|---|---|---|---|
| 추론 및 지식 | ||||||
| GPQA Diamond | 93.5 | 92.6 | 94.1 | 91.0 | 93.5 | 91.2 |
| CritPt | 23.4 | 28.6 | 32.3 | 20.9 | 27.1 | 20.9 |
| AA-LCR | 74.7 | 70.0 | 73.7 | 67.7 | 74.3 | 71.3 |
| HLE-Full | 43.5 / 56.0 | 53.3 / 63.0 | 44.5 / 58.0 | 49.8 / 57.9 | 41.4 / 52.2 | — |
| 코딩 | ||||||
| DeepSWE | 67.5 | 70.0 | 73.0 | 59.0 | 67.0 | 46.2 |
| ProgramBench | 77.8 | 76.8 | 77.6 | 71.9 | 70.8 | 63.7 |
| Terminal-Bench 2.1 | 88.3 | 88.0 | 88.8 | 84.6 | 83.4 | 82.7 |
| FrontierSWE | 81.2 | 86.6 | 71.3 | 66.7 | 64.9 | 67.3 |
| SWE-Marathon | 42.0 | 35.0 | 39.0 | 40.0 | 14.0 | 13.0 |
| PostTrainBench | 36.6 | 41.4 | 34.6 | 34.1 | 28.4 | 34.3 |
| MLS-Bench-Lite | 48.3 | 49.9 | 46.2 | 42.8 | 35.5 | 40.4 |
| SciCode | 58.7 | 60.2 | 56.1 | 53.5 | 56.1 | 50.5 |
| Kimi Code Bench 2.0 | 72.9 | 76.9 | 64.8 | 71.7 | 69.0 | 64.2 |
| 에이전트형 | ||||||
| BrowseComp | 91.2 | 88.0 | 90.4 | 84.3 | 84.4 | — |
| DeepSearchQA (F1) | 95.0 | 94.2 | — | 93.1 | — | — |
| ResearchRubrics | 76.2 | — | 73.8 | 73.5 | 64.0 | 71.1 |
| GDPval-AA v2 (Elo) | 1686 | 1747 | 1736 | 1593 | 1491 | 1510 |
| Toolathlon-Verified | 76.5 | 77.9 | 74.9 | 76.2 | 73.5 | 59.9 |
| MCPMark-Verified | 94.5 | 87.4 | 92.9 | 76.4 | 92.9 | — |
| MCP-Atlas | 84.2 | 84.7 | 83.6 | 83.6 | 82.8 | 82.6 |
| AutomationBench | 30.8 | 29.1 | 29.7 | 27.2 | 22.7 | 12.9 |
| JobBench | 54.3 | 57.4 | 45.4 | 48.4 | 38.3 | 43.4 |
| AA-Briefcase (Elo) | 1548 | 1583 | 1495 | 1354 | 1158 | 1260 |
| Agents' Last Exam | 28.3 | 25.7† | 29.6 | 27.0 | 26.6 | 20.4 |
| APEX-Agents | 41.0 | 43.3 | 39.9 | 39.4 | 38.5 | 35.6 |
| OfficeQA Pro | 63.3 | 69.9 | 63.2 | 63.9 | 60.9 | 41.4 |
| SpreadsheetBench 2 | 34.8 | 34.7 | 32.4 | 31.6 | 29.1 | 28.1 |
| OSWorld-Verified | 84.8 | 85.0 | 83.0 | 83.4 | 79.0 | — |
| OSWorld 2.0 | 58.3 | 66.1 | 62.6 | 55.7 | 49.5 | — |
| SaaS-Bench | 60.1 | — | 61.4 | 56.1 | 43.8 | — |
| τ³-Banking | 33.4 | 26.8 | 33.0 | 27.6 | 31.3 | 26.8 |
| Harvey Lab-AA | 94.6 | 93.6 | 87.2 | 91.1 | 86.3 | 91.0 |
| CorpFin v2 | 71.6 | 71.8 | 64.4 | 66.7 | 68.4 | 66.1 |
| Finance Agent v2 | 54.4 | 56.3 | 53.8 | 53.9 | 51.8 | 49.7 |
| Legal Research Bench | 44.2 | 49.5 | 48.1 | 43.8 | 40.4 | 31.3 |
| 비전 | ||||||
| WorldVQA ForceAnswer | 51.0 | 56.7 | 41.8 | 39.1 | 38.5 | — |
| OmniDocBench | 91.1 | 89.8 | 85.8 | 87.9 | 89.4 | — |
| PerceptionBench | 58.5 | 57.2 | 59.7 | 47.2 | 55.8 | — |
| Video-MME (w. sub) | 90.0 | — | 89.5 | 86.0 | 89.3 | — |
| MMVU | 82.1 | — | 81.2 | 79.2 | 81.7 | — |
| BabyVision w/ python | 85.7 | 90.5 | 88.9 | 81.2 | 83.6 | — |
| MMMU-Pro | 81.6 / 83.4 | 81.2 / 86.5 | 83.0 / 84.6 | 78.9 / 82.7 | 81.2 / 83.2 | — |
| CharXiv (RQ) | 84.8 / 91.3 | 88.9 / 93.5 | 84.6 / 89.1 | 80.5 / 89.9 | 84.1 / 89.0 | — |
| MathVision | 94.3 / 97.8 | 94.8 / 98.6 | 95.8 / 97.8 | 86.7 / 97.1 | 92.2 / 96.8 | — |
| ZeroBench (pass@5) | 23.0 / 41.0 | 23.0 / 46.0 | 17.0 / 35.0 | 17.0 / 34.0 | 22.0 / 41.0 | — |
*각주*
모든 Kimi K3 결과는 reasoning effort를 'max'로, temperature = 1.0으로 설정해 얻은 것입니다. GPQA Diamond, HLE-Full, 도구를 사용하지 않는 비전 벤치마크처럼 단일 단계 작업의 경우 top-p = 0.95로 설정했고, 에이전트형 작업의 경우 top-p = 1.0으로 설정했습니다. HLE-Full, MMMU-Pro, CharXiv (RQ), MathVision, ZeroBench의 경우 각 셀은 도구 증강 전과 후의 점수를 이 순서대로 보고합니다(HLE-Full에는 일반 도구, 비전 벤치마크에는 Python 사용).
- 추론 및 지식 벤치마크
- CritPt and AA-LCR. 점수는 2026년 7월 23일 기준 Artificial Analysis에서 인용했습니다.
- 코딩 벤치마크
- DeepSWE. Kimi K3는 Kimi Code harness로 평가했습니다. GLM-5.2 점수는 GLM-5.2 release blog에서 가져왔으며, 나머지 모든 점수는 공식 DeepSWE leaderboard의 점수입니다. 그 기준에서 Kimi K3는 mini-SWE-agent harness로 67.3을 달성합니다. 우리는 DeepSWE v1.1 과제를 보고합니다.
- Terminal-Bench 2.1. Kimi K3는 Kimi Code harness로 평가했습니다. 다른 모든 모델의 경우, harness별 최고 점수를 보고합니다: GLM-5.2는 Claude Code를 사용함(GLM-5.2 release blog); Claude Opus 4.8과 Claude Fable 5는 Terminus 2를 사용함(Artificial Analysis); GPT-5.5와 GPT-5.6 Sol은 Codex를 사용함(OpenAI).
- ProgramBench. Kimi K3는 Kimi Code harness로 평가했습니다. GLM-5.2 점수는 GLM-5.2 release blog에서 가져왔으며, 나머지 모든 점수는 Vals AI에서 가져왔습니다.
- SWE-Marathon. Kimi K3, Claude Opus 4.8, Claude Fable 5는 Claude Code harness로 평가했고, GPT-5.6 Sol은 Codex harness로 평가했습니다. GLM-5.2 점수는 GLM-5.2 release blog에서 가져왔습니다. 우리의 평가는 2026년 7월 9일 기준 공식 과제의 H20 보정 브랜치를 바탕으로 하며, 최종 v1.1 출시 이전의 것입니다: GPU 과제의 Docker 이미지, 성능 게이트, 참조 오라클은 H20에 맞게 재보정되었고, 정답 판정 및 안티치트 검증기는 변경되지 않았습니다. 또한 Claude Fable 5는 우리의 평가에서 과제의 35%에서 fallback에 걸렸으며, 이로 인해 측정 성능이 부정적으로 영향을 받았을 수 있습니다.
- FrontierSWE. Kimi K3는 Kimi Code harness로 평가했고 GPT-5.6 Sol은 Codex harness로 평가했습니다. 다른 모든 결과는 FrontierSWE에서 가져왔습니다. 지배 점수는 공식 평가 스크립트를 사용해 원시 점수로부터 다시 계산했으며, 2026년 7월 16일 기준입니다.
- PostTrainBench. GLM-5.2, GPT-5.5, Claude Opus 4.8의 점수는 공식 PostTrainBench 결과를 채택했습니다. Kimi K3, Claude Fable 5, GPT-5.6 Sol은 공식 Harbor 구현을 최대 추론 노력으로 평가했으며, H20 GPU에서 3회 평균을 냈습니다(공식 설정의 H100 대신) — Kimi K3와 Claude Fable 5는 Claude Code harness를, GPT-5.6 Sol은 Codex harness를 사용했습니다.
- MLS-Bench-Lite. Kimi K3는 Kimi Code harness로 평가했고, GLM-5.2와 Claude 모델들은 Claude Code harness로 평가했으며, GPT-5.5와 GPT-5.6 Sol은 Codex harness로 평가했습니다.
- SciCode. 점수는 2026년 7월 23일 기준 Artificial Analysis에서 인용했습니다.
- Kimi Code Bench 2.0 (in-house). Kimi K3는 Kimi Code harness로 평가했습니다(Claude Code harness에서는 73.7을 달성합니다); GLM-5.2, Claude Opus 4.8, Claude Fable 5는 Claude Code harness로 평가했고, GPT-5.5와 GPT-5.6 Sol은 Codex harness로 평가했습니다. 모든 모델은 최대 추론 노력으로 평가했으며, GPT-5.5는 "xhigh" 설정을 사용했습니다. 이 벤치마크에는 사이버보안 및 안전 관련 과제가 포함되어 있으므로, 거부 또는 fallback 과제의 비율도 공개합니다: Claude Fable 5는 80개 과제 중 13개의 fallback과 1개의 refusal이 있었고; GPT-5.6 Sol은 80개 과제 중 10개의 refusal이 cyber guard로 들어갔으며; GPT-5.5는 80개 과제 중 3개의 refusal이 있었습니다.
- 에이전틱 벤치마크
- OfficeQA Pro. 각 테스트 케이스는 에이전트에게 전체 PDF 코퍼스를 제공하며, 모든 PDF는 이미지로 렌더링되고 기계가 읽을 수 있는 텍스트는 제공되지 않습니다.
- OfficeQA Pro and SpreadsheetBench 2. Kimi K3, GLM-5.2, Claude Opus 4.8, Claude Fable 5는 Claude Code harness로 평가했고, GPT-5.5와 GPT-5.6 Sol은 Codex harness로 평가했습니다.
- MCP-Atlas. 모든 모델은 100턴 제한이 있는 500개 과제의 공개 하위집합에서 평가했으며, 판정자는 Gemini 3.1 Pro를 사용했습니다.
- AutomationBench. 모든 모델은 600개 과제의 공개 하위집합에서 평가했으며, 다른 모든 측면은 공식 GitHub 설정을 따랐습니다.
- BrowseComp. 우리는 300K 토큰에서 작동하는 context-compaction 전략을 채택합니다. 전체 1M 토큰 context window를 사용하고 context management를 하지 않았을 때, Kimi K3는 90.4의 점수를 달성합니다. Claude Fable 5, Claude Opus 4.8, GPT-5.6 Sol, GPT-5.5의 결과는 Anthropic과 OpenAI에서 인용했습니다.
- GDPval-AA v2, AA-Briefcase, τ³-Banking, Harvey Lab-AA, and APEX-Agents. 점수는 2026년 7월 23일 기준 Artificial Analysis와 APEX-Agents leaderboard에서 인용했습니다. Harvey Lab-AA의 경우 기준 통과율을 보고합니다.
- CorpFin v2, Finance Agent v2, and Legal Research Bench. 점수는 Vals AI에서 인용했습니다.
- Agents' Last Exam. 점수는 2026년 7월 23일 기준 공식 leaderboard에서 인용했으며, leaderboard의 주요 pass-rate 지표를 보고합니다. leaderboard에서는 각 모델이 특정 harness와 짝지어집니다: Kimi K3는 Kimi Code; GPT-5.6 Sol과 GPT-5.5는 Codex; Claude Fable 5, Claude Opus 4.8, GLM-5.2는 Claude Code와 짝지어집니다. † Claude Fable 5 항목은 xhigh 노력으로 실행되며, 과제의 40%가 downgraded로 주석 처리되어 있습니다.
- 멀티모달 벤치마크
- ZeroBench를 제외하면, ZeroBench는 공식 설정을 따르며 5회 실행하고, 모든 멀티모달 점수는 3회 실행 평균입니다. MMMU-Pro는 공식 프로토콜을 따라 평가했으며, 원래 입력 순서를 유지하고 이미지가 텍스트 입력 앞에 오도록 했습니다.
- PerceptionBench는 원자적 시각 지각 능력에 초점을 맞춘 in-house 벤치마크입니다.
4. Native MXFP4 양자화
Kimi K3는 SFT 단계부터 양자화 인지 학습을 적용하며, 광범위한 하드웨어 호환성을 위해 MXFP4 가중치와 MXFP8 활성값을 사용합니다.
5. 배포
https://platform.kimi.ai에서
kimi-k3를 선택하면 Kimi K3의 API에 접근할 수 있으며, OpenAI/Anthropic 호환 API도 제공합니다. 현재 Kimi K3는 다음 추론 엔진에서 실행하는 것이 권장됩니다:
6. 모델 사용법
Kimi K3는 항상 thinking이 활성화되어 있으며, reasoning_content를 반환합니다. thinking effort는 최상위 reasoning_effort 요청 필드로 설정하며, "low", "high", "max"를 지원합니다(기본값 "max").
Kimi K3는 보존된 thinking history 모드로 학습되었습니다. 멀티턴 대화와 도구 호출의 경우, Kimi K3는 API가 반환한 assistant 메시지 전체를 messages에 있는 그대로 다시 전달해야 합니다. 즉, content만이 아니라 reasoning_content와 tool_calls까지 포함해야 합니다:
import openai
def chat_with_preserved_thinking(client: openai.OpenAI, model_name: str):
messages = [
{
"role": "user",
"content": "Tell me three random numbers."
},
{
"role": "assistant",
"reasoning_content": "I'll start by listing five numbers: 473, 921, 235, 215, 222, and I'll tell you the first three.",
"content": "473, 921, 235"
},
{
"role": "user",
"content": "What are the other two numbers you have in mind?"
}
]
response = client.chat.completions.create(
model=model_name,
messages=messages,
stream=False,
max_tokens=4096,
reasoning_effort="max",
)
print(f"response: {response.choices[0].message.reasoning}")
return response.choices[0].message.content전체 가이드와 예제(비전 입력, 구조화된 출력, 부분 모드, tool choice, 동적 tool 로딩, 컨텍스트 캐싱)는 Kimi K3 Quickstart와 Thinking Effort를 참고하세요.
코딩 에이전트 프레임워크
Kimi K3는 에이전트 프레임워크로 Kimi Code CLI와 함께 사용할 때 가장 잘 동작합니다. 꼭 한 번 사용해 보시길 권합니다. 터미널에서 Kimi Code를 실행하고 /model 명령으로 Kimi K3를 선택하세요. Kimi K3로 개발하는 경험을 즐기시길 바라며, 여러분의 피드백도 환영합니다!
7. 라이선스
코드 저장소와 모델 가중치 모두 Kimi K3 License 하에 공개됩니다.
8. 문의하기
질문이 있으시면 support@moonshot.ai로 연락해 주세요.
출처
- 원문: https://huggingface.co/moonshotai/Kimi-K3 (2026-10-25 · huggingface.co)