라우팅 판단을 프록시 밖으로 - llm-d의 CR 구조와 Envoy ext_proc
llm-d가 어느 vLLM 파드로 요청을 보낼지 정하는 경로를 Envoy 필터 체인과 ext_proc 설정, 그리고 llm-d가 쓰는 CRD 사이의 의존성까지 따라간 기록
tag
gateway-api
Kubernetes Gateway API와 추론 서빙용 확장인 Inference Extension 기록입니다.
1 note
notes
tag
Kubernetes Gateway API와 추론 서빙용 확장인 Inference Extension 기록입니다.
1 note
notes
llm-d가 어느 vLLM 파드로 요청을 보낼지 정하는 경로를 Envoy 필터 체인과 ext_proc 설정, 그리고 llm-d가 쓰는 CRD 사이의 의존성까지 따라간 기록