라우팅 판단을 프록시 밖으로 - llm-d의 CR 구조와 Envoy ext_proc
llm-d가 어느 vLLM 파드로 요청을 보낼지 정하는 경로를 Envoy 필터 체인과 ext_proc 설정, 그리고 llm-d가 쓰는 CRD 사이의 의존성까지 따라간 기록
tag
llm-d
Kubernetes 위에서 vLLM 파드를 여러 개 두고 요청을 나눠 보내는 llm-d 라우터 기록입니다.
2 notes
notes
llm-d 메모
균등 분산과 캐시 지역성은 다른 목표다 - llm-d prefix-aware 라우팅 실측
Kubernetes Service 직결과 load-only 라우터와 prefix-aware 라우터에 같은 프리픽스 반복 워크로드를 흘려 backend request 분포와 prefix-cache hit rate를 비교한 기록