AWS Trainium에서 vLLM 서빙 - 첫 배포 8분과 재배포 20초를 가르는 Neuron 컴파일
trn1.2xlarge 칩 1개의 NeuronCore 2개가 TP 2가 되고 init 컨테이너 컴파일과 S3 캐시가 파드 기동 시간을 8분에서 20초로 바꾸는 경로를 실제 값으로 따라갑니다
tag
neuron
Trainium과 Inferentia를 다루는 소프트웨어 스택 Neuron SDK의 기록입니다.
1 note
notes
tag
Trainium과 Inferentia를 다루는 소프트웨어 스택 Neuron SDK의 기록입니다.
1 note
notes
trn1.2xlarge 칩 1개의 NeuronCore 2개가 TP 2가 되고 init 컨테이너 컴파일과 S3 캐시가 파드 기동 시간을 8분에서 20초로 바꾸는 경로를 실제 값으로 따라갑니다