BF16이 이긴 콜드 캐시 서빙 비교 - Qwen3-14B AWQ의 더 큰 KV 캐시가 TTFT를 줄이지 못한 이유
Qwen3-14B를 BF16과 AWQ로 각각 서빙해 콜드 캐시에서 처리량과 TTFT를 재봤습니다
tag
quantization
가중치를 낮은 비트로 압축해 메모리를 줄이고 그 대가를 재본 양자화 기록입니다.
1 note
notes
tag
가중치를 낮은 비트로 압축해 메모리를 줄이고 그 대가를 재본 양자화 기록입니다.
1 note
notes
Qwen3-14B를 BF16과 AWQ로 각각 서빙해 콜드 캐시에서 처리량과 TTFT를 재봤습니다