2. 입력 처리: 텍스트가 숫자가 되기까지LLM에 텍스트가 들어가면 가장 먼저 일어나는 일. 토크나이저가 문자열을 정수로, 임베딩이 정수를 벡터로 변환하는 과정.DevOps·2026. 03. 10. 오후 10:00(수정됨)·3분·0·@시스템 엔지니어가 해부하는 LLM의 모든 것·#토크나이저#BPE#임베딩+5