라우팅 판단을 프록시 밖으로 - llm-d의 CR 구조와 Envoy ext_proc
llm-d가 어느 vLLM 파드로 요청을 보낼지 정하는 경로를 Envoy 필터 체인과 ext_proc 설정, 그리고 llm-d가 쓰는 CRD 사이의 의존성까지 따라간 기록
tag
envoy
요청 경로 한가운데 서서 L7을 이해하는 프록시 Envoy의 구조와 확장 지점 기록입니다.
1 note
notes
tag
요청 경로 한가운데 서서 L7을 이해하는 프록시 Envoy의 구조와 확장 지점 기록입니다.
1 note
notes
llm-d가 어느 vLLM 파드로 요청을 보낼지 정하는 경로를 Envoy 필터 체인과 ext_proc 설정, 그리고 llm-d가 쓰는 CRD 사이의 의존성까지 따라간 기록