Qwen 여러 인스턴스로 코딩 성능을 끌어올리는 GVS5H

발행 2026.10.25출처 GitHub · github.com

깃허브 클로드사례전문가

GVS5H: 다섯 개 Qwen3.8-27B로 코딩 성능을 높이는 저장소

GVS5H: 다섯 개의 Qwen3.8-27B 모델이 LiveCodeBench Hard에서 Claude Fable 5와 맞먹는다

GVS5H: 고릴라 대 5명의 인간

다섯 명의 소년이 서로의 어깨 위에 서서, 함께 있는 모습이 옆의 단일 고릴라만큼 키가 큰 그림

결과

LiveCodeBench에서의 정확도, 단일 호출 대 매니저 사용, 7개 모델을 Claude Fable 5의 단일 호출 점수와 비교

Opus 5는 더 이른 버전의 스캐폴드를 사용해 실행되었으며, 고정된 백엔드에서 다섯 번이 아니라 OpenRouter를 통해 단일 패스로 제공되었다.

평균 작업당 비용 대비 정확도, 단일 호출 대 매니저 사용, 로그 스케일 비용 축에서

한 번의 패스에 드는 비용 — LCB-100, 5패스, 단일 호출 대 매니저, Fable 5 대비

초록. 최전선 수준의 코딩 성능은 보통 더 큰 독점 모델을 높은 비용으로 구매해야 얻을 수 있다. 우리는 학습이 필요 없는 방법인 원장 기반 제로샷 자기 오케스트레이션을 제안하는데, 이 방법에서는 하나의 모델에서 새로 생성된 인스턴스들이 문제를 분해하고, 계획·메모·현재 해답을 담은 공유 파일시스템을 통해 서로 조정한다. 100개의 최신 난도 높은 LiveCodeBench 문제에 대해 11개의 공개 및 비공개 가중치 모델을 평가한 결과, 이 방법은 고정된 백엔드에서 최대 25.6퍼센트포인트의 향상을 보이며, 최전선 수준의 정확도를 달성하는 두 가지 경로를 제공한다. 오케스트레이션된 Qwen3.8 Flash Next는 비용의 9%로 Fable 5의 90.4%를 넘어서는 93.0% pass@1을 달성하고, 로컬로 서빙되는 공개 가중치 Qwen3.8-27B는 66.8%에서 92.4%로 상승한다. 향상이 보편적인 것은 아니다: 일부 모델은 변화가 없거나 더 나빠진다. 대화 기록 분석은 이 향상이 분해와 지속적 맥락에 기인함을 보여준다. 추론 시 조직화는 비용의 일부만으로 최전선 수준의 코딩 정확도에 근접할 수 있으며, 자체 호스팅 가능한 가중치에서는 그보다 약간 더 높아질 수도 있다.
— 논문

코드 실행

uv와 테스트하려는 모델의 API 키가 필요합니다.

shell

123456789cd codebase/v2-current
export OPENAI_API_KEY=...

LCB_RELEASE=release_v6 \
ESCALATION_CLOUD_MAX_TOKENS=128000 \
ESCALATION_CLOUD_TIMEOUT=7200 \
MULTIAGENT_MODEL=openai:gpt-5.6-terra \
uv run --no-project --python 3.12 --with 'datasets<4' --with numpy --with anthropic \
  python escalation/run_bench.py --engine multiagent --only lcb --lcb 100 --parallel 8

--engine multiagent는 매니저를 실행합니다. --engine single은 한 번 호출하는 기준선입니다.
다른 모델: anthropic:<model>, dashscope:<model>, openrouter:<model>이며, 각각 고유한 *_API_KEY가 필요합니다.
pass@1 점수는 마지막에 출력됩니다. 결과는 runs/results.json에, 작업공간은 runs/ws/에 기록됩니다.

라이선스

코드는 MIT License 아래에 있습니다. 논문, 그림, 그리고 실행 데이터는 CC BY 4.0 아래에 있습니다. LiveCodeBench 포크, 벤치마크 문제 설명, 그리고 LaTeX 템플릿 파일은 각자의 라이선스를 유지합니다. 어떤 경로에 어떤 라이선스가 적용되는지는 NOTICE.md를 참조하세요.