BF16이 이긴 콜드 캐시 서빙 비교 - Qwen3-14B AWQ의 더 큰 KV 캐시가 TTFT를 줄이지 못한 이유
Qwen3-14B를 BF16과 AWQ로 각각 서빙해 콜드 캐시에서 처리량과 TTFT를 재봤습니다
tag
awq
활성값 분포를 보고 중요한 가중치를 지키는 AWQ 4bit 양자화 기록입니다.
1 note
notes
tag
활성값 분포를 보고 중요한 가중치를 지키는 AWQ 4bit 양자화 기록입니다.
1 note
notes
Qwen3-14B를 BF16과 AWQ로 각각 서빙해 콜드 캐시에서 처리량과 TTFT를 재봤습니다