서빙 4편. 멀티 모델 - LRU 캐시와 Triton 위임
한 서비스가 여러 모델을 나눠 쓰는 구조와, 무엇을 메모리에 올려둘지 정하는 캐시 정책, 그리고 비용과 지연 사이의 맞바꿈
tag
lru-cache
무엇을 메모리에 남길지 정하는 LRU 축출 정책의 기록입니다.
1 note
notes
tag
무엇을 메모리에 남길지 정하는 LRU 축출 정책의 기록입니다.
1 note
notes
한 서비스가 여러 모델을 나눠 쓰는 구조와, 무엇을 메모리에 올려둘지 정하는 캐시 정책, 그리고 비용과 지연 사이의 맞바꿈