BF16이 이긴 콜드 캐시 서빙 비교 - Qwen3-14B AWQ의 더 큰 KV 캐시가 TTFT를 줄이지 못한 이유
Qwen3-14B를 BF16과 AWQ로 각각 서빙해 콜드 캐시에서 처리량과 TTFT를 재봤습니다
tag
benchmark
같은 조건을 통제하고 처리량과 지연을 실제로 재서 비교한 기록입니다.
1 note
notes
tag
같은 조건을 통제하고 처리량과 지연을 실제로 재서 비교한 기록입니다.
1 note
notes
Qwen3-14B를 BF16과 AWQ로 각각 서빙해 콜드 캐시에서 처리량과 TTFT를 재봤습니다