tag

kv-cache

이미 계산한 키와 값을 재사용해 생성을 빠르게 하는 KV Cache 기록입니다.

4 notes

notes

kv-cache 메모

2026.09.06 llm

Qwen3-14B를 BF16과 AWQ로 각각 서빙해 콜드 캐시에서 처리량과 TTFT를 재봤습니다

vllm awq quantization kv-cache llm-serving benchmark kubernetes

2026.08.30 llm

작은 초안 모델이 추측한 토큰을 큰 모델이 한 번의 가중치 읽기로 검증하는 추측 디코딩, 그것을 개선한 MEDUSA와 EAGLE, 그리고 KV Cache를 여러 장치에 나눠 담는 Ring Attention을 정리했습니다

speculative-decoding ring-attention kv-cache long-context

2026.08.23 llm

요청을 언제 묶고 언제 쪼갤지 정하는 세 개의 상한, KV 캐시를 줄이는 네 가지 어텐션, 그리고 HBM 왕복을 없애는 커널을 정리했습니다

batching kv-cache flash-attention llm-serving

2026.08.09 llm

토큰 하나 뽑을 때마다 반복되는 어텐션 계산을 KV Cache로 없애고, 첫 계산을 prefill로 나누고, Flash Attention으로 메모리 이동을 줄이는 방법

kv-cache flash-attention llm-serving gpt-2