서빙 1편. 여섯 컴포넌트 - 프로세스를 나누는 이유
단일 모델 LLM 서빙 시스템이 왜 여섯 조각으로 갈라지는지, 요청 하나가 프로세스 경계를 넘어 돌아오는 길을 따라갑니다
tag
multiprocessing
GPU 연산을 별도 프로세스로 떼고 큐로 통신하는 구조의 기록입니다.
1 note
notes
tag
GPU 연산을 별도 프로세스로 떼고 큐로 통신하는 구조의 기록입니다.
1 note
notes
단일 모델 LLM 서빙 시스템이 왜 여섯 조각으로 갈라지는지, 요청 하나가 프로세스 경계를 넘어 돌아오는 길을 따라갑니다