#gpu클러스터

부록2. GPU 인프라: 학습 클러스터와 추론 서빙의 실체

대규모 LLM 학습 클러스터의 실체. 데이터센터 전력/냉각, GPU 간 네트워크(IB/RoCE), GPU 서버 구성, 체크포인트 스토리지. 학습과 추론 인프라의 설계 차이.