서빙 3편. 스트리밍과 vLLM - 303줄을 20줄로
배치 하나에서 나온 토큰을 요청별로 갈라 보내는 SSE 구조와, 직접 만든 서빙 루프를 프레임워크로 갈아탈 때 드러나는 것
tag
streaming
생성된 토큰을 기다리지 않고 바로 흘려보내는 스트리밍 기록입니다.
1 note
notes
tag
생성된 토큰을 기다리지 않고 바로 흘려보내는 스트리밍 기록입니다.
1 note
notes
배치 하나에서 나온 토큰을 요청별로 갈라 보내는 SSE 구조와, 직접 만든 서빙 루프를 프레임워크로 갈아탈 때 드러나는 것