tag

vllm

vLLM의 배칭·메모리 선점 동작을 직접 재보고 비교한 기록입니다.

4 notes

notes

vllm 메모

2026.09.13 llm

trn1.2xlarge 칩 1개의 NeuronCore 2개가 TP 2가 되고 init 컨테이너 컴파일과 S3 캐시가 파드 기동 시간을 8분에서 20초로 바꾸는 경로를 실제 값으로 따라갑니다

trainium neuron vllm kubernetes llm-serving

2026.09.06 llm

Qwen3-14B를 BF16과 AWQ로 각각 서빙해 콜드 캐시에서 처리량과 TTFT를 재봤습니다

vllm awq quantization kv-cache llm-serving benchmark kubernetes

2026.08.16 llm

요청 경계를 무시하고 프롬프트를 다시 묶는 배칭의 원리와, 동시 요청을 1개에서 64개까지 올리며 직접 잰 처리량

batching llm-serving vllm throughput

2026.08.16 llm

배치 하나에서 나온 토큰을 요청별로 갈라 보내는 SSE 구조와, 직접 만든 서빙 루프를 프레임워크로 갈아탈 때 드러나는 것

streaming sse vllm llm-serving