10. 모델 파일: 포맷, 양자화, 서빙 구조

-- 주요 포맷 --
 
GGUF:  ollama/llama.cpp가 사용하는 포맷.
        CPU/GPU 혼합 추론 지원. 양자화 포함.
        로컬 LLM의 사실상 표준.
 
SafeTensors: HuggingFace 표준.
              PyTorch/Transformers에서 직접 로드.
              보통 FP16/BF16. 학습/파인튜닝에 사용.
 
ONNX:  범용 추론 포맷. 다양한 런타임 지원.

Qwen2.5-7B의 config.json (핵심 필드만):
 
{
  "hidden_size": 3584,          <- 벡터 차원 (2편 임베딩)
  "num_hidden_layers": 28,      <- 레이어 수 (5편 조립)
  "num_attention_heads": 28,    <- 어텐션 헤드 수 (3편)
  "num_key_value_heads": 4,     <- GQA용 KV 헤드 수
  "intermediate_size": 18944,   <- FFN 확장 차원 (4편)
  "vocab_size": 152064,         <- 어휘 사전 크기 (2편)
  "max_position_embeddings": 131072,  <- 최대 컨텍스트
  "torch_dtype": "bfloat16"     <- 원본 정밀도
}
 
이 숫자들로 파라미터 수를 대략 계산할 수 있다:
  어텐션: 3584 x 3584 x 4 (Q,K,V,O) x 28레이어 = ~14.4억
  FFN: 3584 x 18944 x 3 (W1,W_gate,W2) x 28레이어 = ~57억
  임베딩 + 출력: 152064 x 3584 x 2 = ~10.9억
  합계: ~72억 = 약 7B

HuggingFace에서 GGUF 모델 찾기:
 
1. 모델 검색: "qwen2.5 7b gguf" 또는 "llama 8b gguf"
2. 파일 목록에서 양자화 레벨 선택:
   qwen2.5-7b-instruct-q4_k_m.gguf   <- 4.4GB, 가장 추천
   qwen2.5-7b-instruct-q5_k_m.gguf   <- 5.1GB
   qwen2.5-7b-instruct-q8_0.gguf     <- 7.7GB
3. ollama에서 사용:
   ollama create my-model -f Modelfile
   (Modelfile에 GGUF 경로 지정)
 
주의:
  "instruct" = 지시 튜닝 완료 (대화용)
  "base" = 사전 학습만 (문장 이어쓰기만 함, 대화 불가)
  -> 대화용으로 쓰려면 반드시 instruct 버전.

원래 W의 값: 0.0234375 (FP16, 16비트, 2바이트)
 
양자화 = 이 숫자의 정밀도를 낮춰서 크기를 줄이는 것.
 
FP16:  0.0234375    (16비트, 원본)
Q8:    0.023        (8비트, 거의 동일)
Q4:    0.02         (4비트, 약간 손실)
Q2:    0.0          (2비트, 많이 손실)
 
-- 양자화 레벨별 비교 (7B 모델) --
 
이름         비트    크기      품질
---------   -----  -------  --------
FP16         16bit   14 GB    원본
Q8_0          8bit    7 GB    거의 동일
Q6_K          6bit  5.5 GB    매우 좋음
Q4_K_M        4bit  4.4 GB    실용적 스윗스팟  <-- 가장 많이 사용
Q4_K_S        4bit  4.1 GB    약간 낮음
Q3_K_M        3bit  3.3 GB    눈에 띄는 저하
Q2_K          2bit  2.7 GB    많이 저하, 비추
 
실무 추천: Q4_K_M이 크기 대비 품질의 스윗스팟.

$ ollama run qwen2.5:7b "로그 분석해줘: ..."
 
[1] 모델 로드 (최초 1회):
    model.bin (4.4GB) -> VRAM에 적재
    tokenizer.json (7MB) -> RAM에 적재
    config.json 읽어서 모델 구조 파악
 
[2] 요청 처리:
    +-- CPU ------------------------------------+
    | 토크나이저: 텍스트 -> 토큰 ID 배열           |
    | 특수 토큰 삽입 (<|im_start|> 등)           |
    +------------------+------------------------+
                       | 토큰 ID 배열 -> GPU 전송
                       v
    +-- GPU ------------------------------------+
    | Prefill: 입력 전체 처리, KV 캐시 생성       |
    | Decode: 토큰 1개씩 생성, KV 캐시 누적       |
    | (매 토큰마다 모든 W를 읽음)                  |
    +------------------+------------------------+
                       | 생성된 토큰 ID -> CPU 반환
                       v
    +-- CPU ------------------------------------+
    | 토크나이저 역변환: 토큰 ID -> 텍스트           |
    | 사용자에게 스트리밍 출력                      |
    | EOS 또는 max_tokens까지 반복               |
    +-------------------------------------------+