서빙 2편. 정적 배칭 - 처리량이 64배 벌어지는 지점
요청 경계를 무시하고 프롬프트를 다시 묶는 배칭의 원리와, 동시 요청을 1개에서 64개까지 올리며 직접 잰 처리량
tag
throughput
동시 요청 수를 올려가며 처리량과 지연을 실측한 기록입니다.
1 note
notes
tag
동시 요청 수를 올려가며 처리량과 지연을 실측한 기록입니다.
1 note
notes
요청 경계를 무시하고 프롬프트를 다시 묶는 배칭의 원리와, 동시 요청을 1개에서 64개까지 올리며 직접 잰 처리량