트랜스포머 3편. 벡터가 다음 단어가 되기까지 - MLP와 샘플링
어텐션 뒤에서 각 토큰을 혼자 다듬는 MLP, 블록을 지탱하는 세 장치, 그리고 마지막 토큰 하나를 5만 개 단어와 대조해 다음 단어를 고르는 과정
tag
softmax
점수를 확률로 바꾸는 Softmax와 샘플링 전략의 기록입니다.
1 note
notes
tag
점수를 확률로 바꾸는 Softmax와 샘플링 전략의 기록입니다.
1 note
notes
어텐션 뒤에서 각 토큰을 혼자 다듬는 MLP, 블록을 지탱하는 세 장치, 그리고 마지막 토큰 하나를 5만 개 단어와 대조해 다음 단어를 고르는 과정