advisor 출력 상한과 refusal 과금 변경
advisor tool에 출력 상한 설정이 추가되고, refusal 요청은 더 이상 과금되지 않습니다.
교안에 영향
advisor tool의 출력 상한 설정과 refusal 과금 안내가 바뀌어, 예전 문서의 advisor 응답 길이/비용 관련 설명과 refusal 과금 설명이 맞지 않음
요약
- advisor tool이 tools[].max_tokens를 지원해 호출당 advisor 모델 출력 길이를 제한할 수 있게 되었고, 지연 시간과 출력 토큰 비용을 줄일 수 있습니다. - Claude API에서 stop_reason: "refusal" 이고 Claude가 실제 출력을 생성하지 않은 요청은 더 이상 과금되지 않습니다. - advisor 출력 상한 설정 방법은 Settting tools[].max_tokens on the advisor tool definition에서 안내합니다. - 거절 응답 감지 및 처리는 Streaming refusals 문서를 참고하도록 안내가 추가되었습니다.
바뀐 것
새 기능
- advisor tool이 tools[].max_tokens를 지원해 호출당 advisor 모델 출력 길이를 제한할 수 있게 되었습니다.
기타
- advisor 출력 상한 설정 방법은 Settting tools[].max_tokens on the advisor tool definition에서 안내합니다.
- 거절 응답 감지 및 처리는 Streaming refusals 문서를 참고하도록 안내가 추가되었습니다.
수정
- Claude API에서 stop_reason: "refusal" 이고 Claude가 실제 출력을 생성하지 않은 요청은 더 이상 과금되지 않습니다.