tag

llm-serving

LLM을 실제로 서비스할 때의 메모리·지연·처리량을 다루는 기록입니다.

9 notes

notes

llm-serving 메모

2026.09.13 llm

trn1.2xlarge 칩 1개의 NeuronCore 2개가 TP 2가 되고 init 컨테이너 컴파일과 S3 캐시가 파드 기동 시간을 8분에서 20초로 바꾸는 경로를 실제 값으로 따라갑니다

trainium neuron vllm kubernetes llm-serving

2026.09.06 llm

Qwen3-14B를 BF16과 AWQ로 각각 서빙해 콜드 캐시에서 처리량과 TTFT를 재봤습니다

vllm awq quantization kv-cache llm-serving benchmark kubernetes

2026.09.06 llm

Kubernetes Service 직결과 load-only 라우터와 prefix-aware 라우터에 같은 프리픽스 반복 워크로드를 흘려 backend request 분포와 prefix-cache hit rate를 비교한 기록

llm-d prefix-caching llm-serving kubernetes

2026.08.23 llm

요청을 언제 묶고 언제 쪼갤지 정하는 세 개의 상한, KV 캐시를 줄이는 네 가지 어텐션, 그리고 HBM 왕복을 없애는 커널을 정리했습니다

batching kv-cache flash-attention llm-serving

2026.08.16 llm

단일 모델 LLM 서빙 시스템이 왜 여섯 조각으로 갈라지는지, 요청 하나가 프로세스 경계를 넘어 돌아오는 길을 따라갑니다

llm-serving fastapi multiprocessing gpu

2026.08.16 llm

요청 경계를 무시하고 프롬프트를 다시 묶는 배칭의 원리와, 동시 요청을 1개에서 64개까지 올리며 직접 잰 처리량

batching llm-serving vllm throughput

2026.08.16 llm

배치 하나에서 나온 토큰을 요청별로 갈라 보내는 SSE 구조와, 직접 만든 서빙 루프를 프레임워크로 갈아탈 때 드러나는 것

streaming sse vllm llm-serving

2026.08.16 llm

한 서비스가 여러 모델을 나눠 쓰는 구조와, 무엇을 메모리에 올려둘지 정하는 캐시 정책, 그리고 비용과 지연 사이의 맞바꿈

multi-model-serving triton lru-cache llm-serving

2026.08.09 llm

토큰 하나 뽑을 때마다 반복되는 어텐션 계산을 KV Cache로 없애고, 첫 계산을 prefill로 나누고, Flash Attention으로 메모리 이동을 줄이는 방법

kv-cache flash-attention llm-serving gpt-2