롱타임노씨 blog
홈최근 포스트짧은 생각
Development10DevOps4Infrastructure1Life6
@간헐적 궁금증1
@나다운 부자 되기6
@바이브 코딩 생존 가이드7
@시스템 엔지니어가 해부하는 LLM의 모든 것4
태그
#바이브코딩#ai개발#개발방법론#트랜스포머#llm#파이어족#ffn#잔차연결#어텐션#최적화자#토크나이저#임베딩#ollama#미니멀리즘#수도승#경제적자유#기술부채#tdd#next.js#supabase+42
로그인
테마
홈최근 포스트짧은 생각
← 태그 목록

#softmax

1개의 포스트

3. 어텐션: 새 토큰이 문맥을 얻는 과정

LLM 어텐션의 실제 계산 과정을 숫자로 추적한다. Q·K 내적이 주목도를 만들고, V의 가중합이 문맥을 만드는 과정. 멀티 헤드가 필요한 이유, 스케일링(√d), 잔차 연결까지.

DevOps·2026. 03. 17. 오후 10:00(수정됨)·3분·
3
·@시스템 엔지니어가 해부하는 LLM의 모든 것·
#어텐션#Q/K/V#멀티헤드+5