tag

transformer

어텐션으로 굴러가는 트랜스포머 아키텍처의 구조와 동작 기록입니다.

3 notes

notes

transformer 메모

2026.08.09 llm

GPT-2가 입력 문장을 어떻게 숫자로 바꾸는지, 토큰화부터 768차원 임베딩과 위치 인코딩까지 따라갑니다

transformer embedding tokenization gpt-2

2026.08.09 llm

셀프 어텐션이 Q와 K와 V를 만들고 내적하고 마스킹하고 Softmax를 거쳐 문맥 벡터를 만들기까지, 그리고 헤드를 12개로 쪼개는 이유

transformer attention self-attention gpt-2

2026.08.09 llm

어텐션 뒤에서 각 토큰을 혼자 다듬는 MLP, 블록을 지탱하는 세 장치, 그리고 마지막 토큰 하나를 5만 개 단어와 대조해 다음 단어를 고르는 과정

transformer mlp softmax gpt-2