tag

gpt-2

GPT-2 small을 기준으로 모델 내부를 뜯어본 기록입니다.

4 notes

notes

gpt-2 메모

2026.08.09 llm

GPT-2가 입력 문장을 어떻게 숫자로 바꾸는지, 토큰화부터 768차원 임베딩과 위치 인코딩까지 따라갑니다

transformer embedding tokenization gpt-2

2026.08.09 llm

셀프 어텐션이 Q와 K와 V를 만들고 내적하고 마스킹하고 Softmax를 거쳐 문맥 벡터를 만들기까지, 그리고 헤드를 12개로 쪼개는 이유

transformer attention self-attention gpt-2

2026.08.09 llm

어텐션 뒤에서 각 토큰을 혼자 다듬는 MLP, 블록을 지탱하는 세 장치, 그리고 마지막 토큰 하나를 5만 개 단어와 대조해 다음 단어를 고르는 과정

transformer mlp softmax gpt-2

2026.08.09 llm

토큰 하나 뽑을 때마다 반복되는 어텐션 계산을 KV Cache로 없애고, 첫 계산을 prefill로 나누고, Flash Attention으로 메모리 이동을 줄이는 방법

kv-cache flash-attention llm-serving gpt-2