균등 분산과 캐시 지역성은 다른 목표다 - llm-d prefix-aware 라우팅 실측
Kubernetes Service 직결과 load-only 라우터와 prefix-aware 라우터에 같은 프리픽스 반복 워크로드를 흘려 backend request 분포와 prefix-cache hit rate를 비교한 기록
tag
prefix-caching
같은 프롬프트 앞부분을 이미 계산한 파드로 요청을 보내 재계산을 줄이는 기록입니다.
1 note
notes