서빙 3편. 스트리밍과 vLLM - 303줄을 20줄로
배치 하나에서 나온 토큰을 요청별로 갈라 보내는 SSE 구조와, 직접 만든 서빙 루프를 프레임워크로 갈아탈 때 드러나는 것
tag
sse
Server-Sent Events로 토큰을 요청별로 갈라 보내는 구조의 기록입니다.
1 note
notes
tag
Server-Sent Events로 토큰을 요청별로 갈라 보내는 구조의 기록입니다.
1 note
notes
배치 하나에서 나온 토큰을 요청별로 갈라 보내는 SSE 구조와, 직접 만든 서빙 루프를 프레임워크로 갈아탈 때 드러나는 것