tag

flash-attention

GPU 메모리 왕복을 줄여 어텐션을 빠르게 하는 Flash Attention 기록입니다.

2 notes

notes

flash-attention 메모

2026.08.23 llm

요청을 언제 묶고 언제 쪼갤지 정하는 세 개의 상한, KV 캐시를 줄이는 네 가지 어텐션, 그리고 HBM 왕복을 없애는 커널을 정리했습니다

batching kv-cache flash-attention llm-serving

2026.08.09 llm

토큰 하나 뽑을 때마다 반복되는 어텐션 계산을 KV Cache로 없애고, 첫 계산을 prefill로 나누고, Flash Attention으로 메모리 이동을 줄이는 방법

kv-cache flash-attention llm-serving gpt-2