롱타임노씨 blog
홈최근 포스트짧은 생각
Development10DevOps3Infrastructure1Life7
@간헐적 궁금증1
@나다운 부자 되기7
@바이브 코딩 생존 가이드7
@시스템 엔지니어가 해부하는 LLM의 모든 것3
태그
#바이브코딩#ai개발#개발방법론#llm#파이어족#어텐션#트랜스포머#최적화자#토크나이저#임베딩#ollama#미니멀리즘#수도승#경제적자유#기술부채#tdd#next.js#supabase#q/k/v#멀티헤드+42
로그인
테마
홈최근 포스트짧은 생각
← 태그 목록

#멀티헤드

1개의 포스트

3. 어텐션: 새 토큰이 문맥을 얻는 과정

LLM 어텐션의 실제 계산 과정을 숫자로 추적한다. Q·K 내적이 주목도를 만들고, V의 가중합이 문맥을 만드는 과정. 멀티 헤드가 필요한 이유, 스케일링(√d), 잔차 연결까지.

DevOps·2026. 03. 17. 오후 10:00(수정됨)·3분·
6
·@시스템 엔지니어가 해부하는 LLM의 모든 것·
#어텐션#Q/K/V#멀티헤드+5