서빙 1편. 여섯 컴포넌트 - 프로세스를 나누는 이유
단일 모델 LLM 서빙 시스템이 왜 여섯 조각으로 갈라지는지, 요청 하나가 프로세스 경계를 넘어 돌아오는 길을 따라갑니다
tag
fastapi
FastAPI로 추론 API를 세우고 의존성 주입과 검증을 붙인 기록입니다.
1 note
notes
tag
FastAPI로 추론 API를 세우고 의존성 주입과 검증을 붙인 기록입니다.
1 note
notes
단일 모델 LLM 서빙 시스템이 왜 여섯 조각으로 갈라지는지, 요청 하나가 프로세스 경계를 넘어 돌아오는 길을 따라갑니다