engineering notebook

엔지니어의 메모장

개발, 운영, 자동화 중에 직접 부딪힌 문제와 해결 과정을 남깁니다. 화려한 글보다, 나중에 다시 봤을 때 바로 실행할 수 있는 기록을 목표로 합니다.

static site · GitHub Pages · plain HTML/CSS

latest

최근 메모

2026.09.20 llm

llm-d가 어느 vLLM 파드로 요청을 보낼지 정하는 경로를 Envoy 필터 체인과 ext_proc 설정, 그리고 llm-d가 쓰는 CRD 사이의 의존성까지 따라간 기록

llm llm-d envoy ext-proc gateway-api kubernetes

2026.09.13 llm

trn1.2xlarge 칩 1개의 NeuronCore 2개가 TP 2가 되고 init 컨테이너 컴파일과 S3 캐시가 파드 기동 시간을 8분에서 20초로 바꾸는 경로를 실제 값으로 따라갑니다

llm trainium neuron vllm kubernetes llm-serving

2026.09.06 llm

Qwen3-14B를 BF16과 AWQ로 각각 서빙해 콜드 캐시에서 처리량과 TTFT를 재봤습니다

llm vllm awq quantization kv-cache llm-serving benchmark kubernetes

예정

반복해서 찾는 셸 명령과 운영 중 만난 장애를 실행 기록으로 정리할 예정입니다.

rules

about

이 블로그는 GitHub Pages 위에 올린 정적 사이트입니다. 복잡한 서버 없이 시작하고, 글이 늘어나면 필요한 만큼만 구조를 더합니다.