롱타임노씨 blog
홈최근 포스트짧은 생각
Development10DevOps20Infrastructure14Life17
@간헐적 궁금증3
@나다운 부자 되기17
@바이브 코딩 생존 가이드7
@시스템 엔지니어가 해부하는 LLM의 모든 것13
@시스템엔지니어가 알려주는 스토리지의 모든 것11
@시스템엔지니어로 살아남기 — AI Ops 편7
태그
#시스템엔지니어#스토리지#llm#ai-ops#바이브코딩#ai개발#개발방법론#트랜스포머#ollama#경제적자유#사이드프로젝트#파이어족#zoning#vram#gpu#lunmasking#fio#자동화#병렬파일시스템#iscsi+231
로그인
테마
홈최근 포스트짧은 생각
← 태그 목록

#softmax

1개의 포스트

3. 어텐션: 새 토큰이 문맥을 얻는 과정

LLM 어텐션의 실제 계산 과정을 숫자로 추적한다. Q·K 내적이 주목도를 만들고, V의 가중합이 문맥을 만드는 과정. 멀티 헤드가 필요한 이유, 스케일링(√d), 잔차 연결까지.

DevOps·2026. 03. 17. PM 10:00(수정됨)·3분·
0
·@시스템 엔지니어가 해부하는 LLM의 모든 것·
#어텐션#Q/K/V#멀티헤드+5