Claude Code 토큰 절감 플러그인 20개 작업 비교
Claude Code 를 쓴다면 토큰 비용을 줄여 준다는 인기 플러그인 두 개를 보셨을 겁니다. Claude가 원시인처럼 말하게 만드는 caveman 과 코드를 덜 쓰도록 밀어붙이는 ponytail 입니다. 저는 세 번째 플러그인인 Chisle 을 만들었고, 세 가지 모두를 플러그인을 전혀 쓰지 않은 Claude와 비교했습니다. 20개의 실전 작업, 59회 이상의 모델 실행 을 Haiku와 Sonnet으로 수행했고, 각 arms는 주입된 규칙셋만 다르게 했습니다.
요약: caveman은 청구서를 80% 로 줄였고, ponytail은 68% , Chisle은 52% 까지 줄여 거의 절반이 되었습니다. Chisle은 또한 가장 작은 최악의 하루를 보였고( 173% vs 424% 및 227% ), 20개 작업 중 한 번만 역효과를 냈습니다. 반면 caveman은 6번, ponytail은 8번 역효과가 났습니다.
| 20개 실전 작업, 플러그인 없음 대비 청구된 출력 | 총 청구량 | 작업당 평균 | 최악의 경우 | 역효과 |
|---|---|---|---|---|
| 플러그인 없음(기준선) | 100% | 100% | ||
| caveman | 80% | 98% | 424% | 6 / 20 |
| ponytail | 68% | 91% | 227% | 8 / 20 |
| Chisle | 52% | 69% | 173% | 1 / 20 |
7월 재검증 실행에서는 모든 arm의 모든 답변이 정답으로 채점되었습니다 . 이들 도구 중 어느 것도 잘못된 답으로 절약분을 얻지 않았습니다. 모든 수치는 Chisle repo 의 커밋된 원시 대본에서 나왔습니다.
절감이 어디서 나오는가: 코딩 vs 설명
| 작업 수 | caveman | ponytail | Chisle | |
|---|---|---|---|---|
| 코딩(작동하는 코드가 필요함) | 12 | 74% | 59% | 44% |
| 설명(산문이 필요함) | 8 | 103% | 104% | 87% |
코딩에서는 Chisle이 기본 모델의 44% 만 청구하며, 전용 "게으른 코드" 도구에 가장 가까운 ponytail보다도 3분의 1가량 더 적습니다. 설명 프롬프트에서는 두 특화 도구 모두 100%를 초과 합니다. 즉, 덜 쓰도록 만들어진 도구가 Claude에게 아무것도 쓰지 않을 때보다 더 많이 쓰게 만든 셈입니다. Chisle만이 100% 아래를 유지합니다.
답변 길이로 나누면 격차는 더 커집니다. 긴 답변에서는 Chisle이 45% 를 청구하고, caveman은 79%, ponytail은 59%입니다.
caveman 대안: 산문 압축은 뛰어나지만, 엔지니어링 판단은 없음
caveman은 산문을 압축하는 데 정말 좋습니다 . 그리고 일부 짧은 산문 프롬프트에서는 Chisle보다 약간 더 적게 씁니다. 하지만 무엇을 만들어야 하는지에 대한 판단은 없습니다. "캐싱을 추가해줘" 라고 했더니 세 가지 구현안을 냈습니다( 330 tokens ). Chisle은 하나의 @cache 데코레이터와 한 줄짜리 업그레이드 경로를 제시했습니다( 151 tokens ). 최악의 날 비용은 기본 모델의 4.2배 였습니다.
ponytail 대안: 코드에서는 감각이 맞지만, 산문이 부풀려짐
ponytail은 감각은 맞습니다 : 가장 작게 작동하는 것을 선호합니다. 하지만 산문을 너무 많이 덧붙여 역효과가 납니다. "retry logic" 프롬프트에서는 기준선의 227% 를 썼습니다. 덜 쓰는 것이 전부인 도구가 두 배 이상을 쓴 셈입니다.
둘 다 설치해서 두 축을 모두 커버하려 해도 해결되지 않습니다. 산문 스타일 때문에 서로 충돌하고 세션당 오버헤드도 두 배가 됩니다. 한 작업에서는 Chisle 하나(595 tokens)보다 두 도구를 함께 쓴 쪽이 더 나빴습니다(605 tokens).
Chisle은 세 가지를 압축하고, caveman과 ponytail은 각각 하나씩만 압축한다
| 산문 | 코드 판단 | 입력 / 컨텍스트 | 실패 공개 | |
|---|---|---|---|---|
| caveman | ✅ | ❌ | ❌ | ❌ |
| ponytail | ❌ | ✅ | ❌ | ❌ |
| Chisle | ✅ | ✅ | ✅ | ✅ |
- 출력 산문: 군더더기 없음, 애매한 표현 없음, 인위적으로 만든 구조 없음.
- 출력 코드: YAGNI식 "효율 사다리"를 따릅니다(있는 것을 사용하고, 추측 대신 질문하며, 추측성 추상화는 생략). 안전, 오류 처리, 검증, 접근성은 절대 줄이지 않습니다.
- 입력 컨텍스트 — 경쟁 도구 둘 다 건드리지 않는 축입니다. 171개의 실제 Claude Code 세션 전체에서 도구 출력이 컨텍스트 윈도우의 67.5% 를 차지했고, 이후 요청마다 다시 청구되었습니다. Chisle의
PostToolUse훅은 너무 큰 도구 출력을 컨텍스트로 다시 들어오기 전에 약 46% 줄입니다(Read/Edit/Write는 절대 건드리지 않습니다).
같은 프롬프트, 같은 모델
"현재는 키 입력마다 API 호출이 발생하는 검색 입력창에 debounce를 추가해줘." 커밋된 출력 원문:
- 플러그인 없음: 142줄, 1,506 tokens. 별도 파일에 일반적인
useDebounce훅을 만들고, 그다음 Option 2, Option 3, 비교표와 주의사항까지 제시했습니다.
- Chisle: 35줄, 602토큰. 효과 안에 이미 있는
setTimeout, 그 이유를 설명하는 두 줄, 그리고 "이미 설치되어 있다면lodash.debounce를 사용하세요."
useEffect(() => {
const timer = setTimeout(async () => {
if (query.trim()) { /* fetch */ }
}, 300);
return () => clearTimeout(timer);
}, [query]);멋지게 줄인 게 아니라, 그냥 지루할 뿐입니다: 파일 하나가 줄고, 추상화 하나가 줄고, 동작은 같습니다.
세부 사항(저장소에 공개되어 있으므로)
- 20개 작업의 전체 수치에는
cache작업 하나가 포함되는데, 여기서 기본 모델이 유난히 긴 답변을 작성했습니다(4,910토큰, 이후 실행에서는 375~813토큰). 또한 예전 규칙셋 예제가 몇몇 셀을 미리 채워 놓았을 수도 있습니다. 그 셀들을 빼면 Chisle의 20개 작업 전체 수치는 70% 입니다.
- 나중에 더 작은 재실행(최신 플러그인 버전에서 13개 프롬프트 × 2개 시드)에서도 다시 Chisle이 최저: 83%, caveman 102%, ponytail 105% 로 나왔습니다. 셋 중 기본 모델보다 낮았던 것은 이것뿐이었습니다.
- 짧은 답변 에서는 모든 도구가 본전이거나 더 나쁩니다. 세 줄짜리 답변에서는 줄일 여지가 거의 없습니다.
Chisle은 이 범주에서 자신이 진 실행 결과를 공개하는 유일한 도구입니다: benchmarks/results .
Claude Code에 Chisle 설치하기
npx chisle # installs for Claude Code and any other agents it finds
npx chisle --dry-run # preview first의존성은 전혀 없고, MIT 라이선스입니다. 같은 규칙셋이 Cursor, Codex, Gemini CLI, GitHub Copilot, Windsurf, Cline, OpenCode, Kiro, Antigravity, Hermes, Pi 에도 제공됩니다. Claude Code와 Pi에는 입력 측 압축기와 라이브 모드(lite, full, ultra)도 함께 제공됩니다. /chisle-audit는 과도하게 설계된 코드와 부풀려진 글/문서를 하나의 순위 보고서로 표시합니다. ponytail의 감사는 코드만 대상으로 하고, caveman에는 그런 기능이 없습니다.
FAQ
Chisle이 caveman보다 더 낫나요?
20개 작업 기준: 기본 모델 비용의 52% 대 80% , 최악의 경우 173% 대 424% , 역효과 1회 대 6회 . 코딩 프롬프트에서는 44% 대 74% 입니다. caveman은 일부 짧은 글쓰기 프롬프트에서는 조금 더 절약적입니다.
Chisle이 ponytail보다 더 낫나요?
20개 작업 기준: 52% 대 68% , 최악의 경우 173% 대 227% , 역효과 1회 대 8회 . 설명 프롬프트에서는 ponytail이 100%를 넘습니다(104%). Chisle은 87%에 머뭅니다.
대신 caveman과 ponytail을 함께 설치할 수 있나요?
가능하지만, 둘은 글쓰기 스타일을 두고 서로 충돌하고 오버헤드도 두 배가 됩니다. 한 작업에서는 둘을 함께 썼을 때(605토큰) Chisle만 썼을 때(595토큰)보다 더 나빴습니다.
답변이 틀리게 되지는 않나요?
7월 재검증에서는 모든 분기에서 나온 모든 답변이 정답으로 채점되었습니다. 규칙은 필요조건이지 최소 글자 수가 아니며, 안전성은 절대 줄이지 않습니다.
원본 데이터는 어디에 있나요?
모든 대화 기록이 커밋되어 있습니다: benchmarks/results . 전체 표는 docs/benchmarks.md 입니다.
JayPokale / Chisle
세 가지 축에서 AI 코딩 에이전트의 토큰 비용을 줄이세요: 간결한 문장, YAGNI 우선 코드, 그리고 도구 출력 압축. Claude Code, Pi, Cursor, Codex, Gemini + 4개 더. 의존성 0개, 실패한 실행까지 포함한 공개 벤치마크.
Chisle
당신의 AI는 덜 말하고, 덜 만들고, 덜 읽고, 더 많은 것을 말합니다. 음절 수로 청구하는 시니어 개발자 같죠.
이 범주에서 자신이 진 실행 결과를 공개하는 유일한 도구입니다. 이유는 여기 있습니다.
Claude Code용으로 제작됨: 코딩 답변은 33% 더 짧아지고 24% 더 저렴해지지만, caveman과 ponytail은 오히려 더 길어집니다 · 12개 에이전트 · 의존성 없음 · 한 번의 명령
Chisle은 Claude Code 플러그인으로, Claude를 더 멍청하게 만들지 않으면서 더 싸게 실행되도록 합니다. Claude가 쓰는 내용을 줄입니다: 군더더기 없음, 망설임 없음, 추측성 추상화 없음, 그저 작동하는 가장 작은 코드만 남깁니다. 또한 Claude가 읽는 내용도 줄입니다: PostToolUse 훅이 커다란 도구 출력을 컨텍스트 창으로 다시 들어가기 전에 약 46% 줄여 주며, 그렇게 들어간 출력은 이후 모든 요청에서 다시 비용이 부과됩니다. 에이전트 루프 테스트에서 Chisle이 있는 Claude는 없는 Claude와 같은 작업을 통과합니다. npx chisle 한 번이면 설치되며, 그리고…
사이트: chisle.jaypokale.me . caveman이나 ponytail과 직접 비교해 보셨다면, 특히 Chisle이 진 경우의 결과를 보고 싶습니다.
출처
- 원문: https://dev.to/jaypokale/caveman-vs-ponytail-vs-chisle-i-benchmarked-the-claude-code-token-saving-plugins-on-20-tasks-bg8 (2026-10-06 · Jay Pokale)