7. 출력 제어: 확률에서 토큰을 고르는 방법

모델 출력 확률 분포:
  "종료시켰다"  23%
  "죽였다"      15%
  "메모리"      11%
  "해당"         8%
  ...
 
-- temperature --
확률 분포의 날카로움을 조절.
 
  temperature=0      temperature=0.7      temperature=1.5
  종료시켰다 ████████  종료시켰다 ██████    종료시켰다 ████
  죽였다     ░░░░░░  죽였다     ████      죽였다     ███
  메모리     ░░░░░░  메모리     ███       메모리     ███
  해당       ░░░░░░  해당       ██        해당       ██
 
  0:    가장 높은 확률만 선택 (결정적, 매번 같은 답)
  0.7:  기본값. 약간의 랜덤성 (자연스러움)
  1.5:  평탄하게 -> 의외의 토큰도 선택 (창의적, 횡설수설 위험)

태스크              temperature   top_p    비고
----------------   ----------   ------   --------------
로그 분석            0 ~ 0.1     0.9      정확성 최우선
코드 생성            0 ~ 0.2     0.95     정확성 + 약간의 유연성
블로그 글 작성       0.7 ~ 0.8   0.95     자연스러움 + 창의성
브레인스토밍         0.9 ~ 1.2   0.95     다양한 아이디어

생성 루프:
 
  토큰 생성 -> 다음 토큰 생성 -> ... -> 언제 멈춤?
 
  [1] EOS 토큰:
      모델이 <|im_end|> 또는 <eos> 토큰을 생성하면 종료.
      학습 때 문장 끝에 이 토큰이 있었으므로 "여기서 끝"을 학습.
 
  [2] max_tokens:
      미리 정한 최대 생성 수에 도달 (예: 2048).
      안전장치. 없으면 무한 생성 가능.
 
  [3] stop sequence:
      특정 문자열이 나오면 강제 종료.
      예: "###", "Human:" 등.

ollama에서 대화할 때 실제 모델이 보는 것 (Qwen2.5 기준):
 
<|im_start|>system
너는 시스템 엔지니어 전문가야.<|im_end|>
<|im_start|>user
이 로그에서 이상한 점을 찾아줘: [ERROR] OOM killer...<|im_end|>
<|im_start|>assistant
                                <- 여기부터 모델이 생성 시작
 
이 전체가 하나의 토큰 시퀀스.
<|im_start|>, <|im_end|>는 특수 토큰 (토크나이저에 등록).
모델은 "assistant" 뒤의 다음 토큰부터 생성.
<|im_end|>가 생성되면 답변 종료.