AWS Trainium에서 vLLM 서빙 - 첫 배포 8분과 재배포 20초를 가르는 Neuron 컴파일
trn1.2xlarge 칩 1개의 NeuronCore 2개가 TP 2가 되고 init 컨테이너 컴파일과 S3 캐시가 파드 기동 시간을 8분에서 20초로 바꾸는 경로를 실제 값으로 따라갑니다
tag
trainium
AWS가 설계한 AI 가속기 Trainium 위에서 모델을 서빙해본 기록입니다.
1 note
notes
tag
AWS가 설계한 AI 가속기 Trainium 위에서 모델을 서빙해본 기록입니다.
1 note
notes
trn1.2xlarge 칩 1개의 NeuronCore 2개가 TP 2가 되고 init 컨테이너 컴파일과 S3 캐시가 파드 기동 시간을 8분에서 20초로 바꾸는 경로를 실제 값으로 따라갑니다