5. 조립: 토큰이 쌓이고 레이어가 깊어지는 과정

┌──────────────────────────────────────────────────┐
│                   하나의 레이어                      │
│                                                    │
│  ┌──────────────┐         ┌──────────────┐        │
│  │   어텐션       │   →    │     FFN      │        │
│  │              │         │              │        │
│  │ ● 토큰 간 연산  │         │ ● 토큰별 독립   │        │
│  │ ● "누가 누구와  │         │ ● "이게 무슨    │        │
│  │   관련있나"    │         │   의미인가"    │        │
│  │ ● 관계 파악    │         │ ● 의미 변환    │        │
│  └──────────────┘         └──────────────┘        │
│                                                    │
│  인풋: 벡터(2048)          인풋: 벡터(2048)          │
│  아웃풋: 벡터(2048)         아웃풋: 벡터(2048)         │
│                                                    │
│  각 부품 전후에 LayerNorm + 잔차 연결 적용 (4편)       │
└──────────────────────────────────────────────────┘

임베딩 벡터 5개 (각 토큰의 개별 의미만, 문맥 없음)
    │
    ▼
┌─ 레이어 1 ───────────────────────────────────┐
│  어텐션: 5개 토큰이 동시에 서로 참조             │  문법 구조 파악
│  FFN: 각 벡터를 독립적으로 의미 변환               │
│  (LayerNorm + 잔차연결 포함)                     │
└───────────────────────────────────────────────┘
    │  벡터 5개 (1차 문맥 반영)
    ▼
┌─ 레이어 2 ───────────────────────────────────┐
│  어텐션: 이미 1차 문맥이 담긴 벡터들 사이에서       │  의미 부여
│          더 깊은 관계를 계산                       │
│  FFN → (LayerNorm + 잔차연결)                    │
└───────────────────────────────────────────────┘
    │  벡터 5개 (2차 문맥 반영)
    ▼  ...36개 레이어...
┌─ 레이어 36 ──────────────────────────────────┐
│  어텐션 → FFN                                    │  고차 추론
└───────────────────────────────────────────────┘
    │
    ▼
최종 벡터 5개 (각 2048차원, 풍부한 문맥)

어텐션 계산 시 각 토큰이 볼 수 있는 범위:
 
Q ↓ \ K →    OOM    killer    가    nginx    를
─────────   ─────  ──────  ─────  ─────  ─────
OOM         ○       ✕       ✕       ✕      ✕
killer      ○       ○       ✕       ✕      ✕
가          ○       ○       ○       ✕      ✕
nginx       ○       ○       ○       ○      ✕
를          ○       ○       ○       ○      ○
 
○ = 참조 가능    ✕ = 마스킹 (-∞ → softmax 후 0)
→ 하삼각(lower triangular) 행렬.

최종 벡터 (마지막 토큰 "를" 위치, 2048차원)
    │
    ▼  × 출력 행렬 (2048 × 151,936)
    │
    ▼
151,936개의 점수 (어휘 전체에 하나씩)
    │
    ▼  softmax
    │
    ▼
확률 분포:
  "종료시켰다"   23%  ◀── 가장 높음
  "메모리"       15%
  "해당"          8%
  "OOM"           6%
  ...
  나머지 15만개  각 0.001% 미만

"OOM killer가 nginx를"
 
  ① 토크나이저: 텍스트 → 정수 5개                    (2편)
  ② 임베딩: 정수 → 벡터 5개 (개별 의미만)             (2편)
  ③ 5개를 한꺼번에 36개 레이어에 통과:                 (이번 편)
     레이어마다 어텐션(인과적 마스킹) → FFN → 잔차연결
  ④ 마지막 토큰("를") 위치의 최종 벡터 → 출력 행렬      (이번 편)
  → "종료시켰다" 선택
  → 이후 토큰 생성은? → 6편