4. FFN: 지식이 저장된 곳LLM의 FFN이 어텐션과 어떻게 역할을 나누는지. 확장→압축 구조가 왜 "지식 저장소"인지. 분산 표현의 원리, LayerNorm의 역할까지.DevOps·2026. 03. 24. 오후 10:00(수정됨)·2분·0·@시스템 엔지니어가 해부하는 LLM의 모든 것·#FFN#지식저장소#뉴런+5
3. 어텐션: 새 토큰이 문맥을 얻는 과정LLM 어텐션의 실제 계산 과정을 숫자로 추적한다. Q·K 내적이 주목도를 만들고, V의 가중합이 문맥을 만드는 과정. 멀티 헤드가 필요한 이유, 스케일링(√d), 잔차 연결까지.DevOps·2026. 03. 17. 오후 10:00(수정됨)·3분·0·@시스템 엔지니어가 해부하는 LLM의 모든 것·#어텐션#Q/K/V#멀티헤드+5