tag

batching

여러 요청을 한 번의 forward로 묶는 배칭 전략의 기록입니다.

2 notes

notes

batching 메모

2026.08.23 llm

요청을 언제 묶고 언제 쪼갤지 정하는 세 개의 상한, KV 캐시를 줄이는 네 가지 어텐션, 그리고 HBM 왕복을 없애는 커널을 정리했습니다

batching kv-cache flash-attention llm-serving

2026.08.16 llm

요청 경계를 무시하고 프롬프트를 다시 묶는 배칭의 원리와, 동시 요청을 1개에서 64개까지 올리며 직접 잰 처리량

batching llm-serving vllm throughput