라우팅 판단을 프록시 밖으로 - llm-d의 CR 구조와 Envoy ext_proc
llm-d가 어느 vLLM 파드로 요청을 보낼지 정하는 경로를 Envoy 필터 체인과 ext_proc 설정, 그리고 llm-d가 쓰는 CRD 사이의 의존성까지 따라간 기록
tag
ext-proc
Envoy가 요청 처리를 외부 gRPC 서버에 위임하는 External Processing 필터 기록입니다.
1 note
notes
tag
Envoy가 요청 처리를 외부 gRPC 서버에 위임하는 External Processing 필터 기록입니다.
1 note
notes
llm-d가 어느 vLLM 파드로 요청을 보낼지 정하는 경로를 Envoy 필터 체인과 ext_proc 설정, 그리고 llm-d가 쓰는 CRD 사이의 의존성까지 따라간 기록