서빙 1편. 여섯 컴포넌트 - 프로세스를 나누는 이유
단일 모델 LLM 서빙 시스템이 왜 여섯 조각으로 갈라지는지, 요청 하나가 프로세스 경계를 넘어 돌아오는 길을 따라갑니다
tag
gpu
GPU 메모리 점유와 유휴 시간을 실제 수치로 따져본 기록입니다.
1 note
notes
tag
GPU 메모리 점유와 유휴 시간을 실제 수치로 따져본 기록입니다.
1 note
notes
단일 모델 LLM 서빙 시스템이 왜 여섯 조각으로 갈라지는지, 요청 하나가 프로세스 경계를 넘어 돌아오는 길을 따라갑니다