tag

kubernetes

Deployment와 Service로 모델 서버를 띄우고 요청을 분산시킨 기록입니다.

4 notes

notes

kubernetes 메모

2026.09.20 llm

llm-d가 어느 vLLM 파드로 요청을 보낼지 정하는 경로를 Envoy 필터 체인과 ext_proc 설정, 그리고 llm-d가 쓰는 CRD 사이의 의존성까지 따라간 기록

llm-d envoy ext-proc gateway-api kubernetes

2026.09.13 llm

trn1.2xlarge 칩 1개의 NeuronCore 2개가 TP 2가 되고 init 컨테이너 컴파일과 S3 캐시가 파드 기동 시간을 8분에서 20초로 바꾸는 경로를 실제 값으로 따라갑니다

trainium neuron vllm kubernetes llm-serving

2026.09.06 llm

Qwen3-14B를 BF16과 AWQ로 각각 서빙해 콜드 캐시에서 처리량과 TTFT를 재봤습니다

vllm awq quantization kv-cache llm-serving benchmark kubernetes

2026.09.06 llm

Kubernetes Service 직결과 load-only 라우터와 prefix-aware 라우터에 같은 프리픽스 반복 워크로드를 흘려 backend request 분포와 prefix-cache hit rate를 비교한 기록

llm-d prefix-caching llm-serving kubernetes