목차만 보고는 감이 오지 않으실 겁니다. 각 교시가 어떤 실무 문제를 푸는지, 구체적으로 무엇을 배우고, 끝나면 무엇을 할 수 있게 되는지 모두 적었습니다.
감이 아니라 숫자로 판단합니다. API 토큰 비용과 GPU 서버 비용의 손익분기를 직접 계산하고, 2일간 만들 전체 구조를 확정합니다.
배우는 것
이 교시가 끝나면
우리 서비스에 온프레미스가 맞는지 비용 근거로 설명할 수 있습니다.
“GPU 1대로 몇 명까지 받을 수 있나?” — 실무에서 가장 먼저 막히는 질문에 답합니다. 파라미터·컨텍스트·KV 캐시가 VRAM을 어떻게 쓰는지 직접 계산합니다.
배우는 것
이 교시가 끝나면
목표 동시 사용자 수에 필요한 GPU 사양을 산정할 수 있습니다.
Ollama·llama.cpp·vLLM은 목적이 다릅니다. PoC와 프로덕션의 갈림길을 이해하고, 제공되는 GPU에 vLLM을 직접 올립니다.
배우는 것
이 교시가 끝나면
GPU 서버에 프로덕션 런타임을 직접 띄울 수 있습니다.
기존 OpenAI 코드를 그대로 우리 서버로 돌리는 원리를 뜯어봅니다. 스트리밍(SSE) 응답의 실제 형식까지 확인합니다.
배우는 것
이 교시가 끝나면
기존 API 코드를 로컬 LLM으로 전환하고 스트리밍을 처리할 수 있습니다.
“빠르다/느리다”를 지표로 바꿉니다. TTFT·처리량을 측정하고, 동시 요청을 늘려가며 우리 GPU의 한계선을 직접 찾습니다.
배우는 것
이 교시가 끝나면
우리 GPU가 감당하는 동시 요청 수를 측정으로 확인할 수 있습니다.
측정 데이터를 의사결정 문서로 만듭니다. 양자화·모델을 비교해 “왜 이 조합인가”와 “GPU 1대로 몇 명”에 답합니다.
배우는 것
이 교시가 끝나면
서빙 성능 리포트와 2일차 설계도를 손에 쥡니다.
모델 서버를 그대로 노출하면 안 됩니다. 장애 격리와 경계를 설계하고, 1일차 성능 수치를 서비스 설정에 반영합니다.
배우는 것
이 교시가 끝나면
모델 서버를 안전하게 감싸는 서비스 구조를 설계할 수 있습니다.
사용자 입력을 받아 LLM에 넘기고, 토큰을 실시간으로 되돌려주는 백엔드를 직접 만듭니다.
배우는 것
이 교시가 끝나면
스트리밍을 중계하는 AI 백엔드를 완성합니다.
첫 토큰이 빨리 보이면 체감 속도가 달라집니다. SSE를 실시간 렌더링하고 중단·에러까지 처리합니다.
배우는 것
이 교시가 끝나면
로컬 LLM과 실시간으로 대화하는 화면을 완성합니다.
데모와 운영의 차이를 메웁니다. 인증·레이트리밋·관측성·모델 교체까지, 사내에 올리기 전 점검할 것들.
배우는 것
이 교시가 끝나면
사내에 올려도 되는 수준의 운영 요건을 점검할 수 있습니다.
노드 기반 파이프라인을 개발자 관점에서 이해하고, 로컬 AI 도구를 사내 워크플로우로 확장하는 감을 잡습니다.
배우는 것
이 교시가 끝나면
로컬 AI 파이프라인을 노드로 구성해 볼 수 있습니다.
만든 것을 설명 가능한 자산으로 만듭니다. 사내 도입 제안과 포트폴리오 양쪽에 쓸 수 있게 정리합니다.
배우는 것
이 교시가 끝나면
온프레미스 LLM 서빙을 문서와 수치로 설명할 수 있습니다.
개념 노트가 아니라, 수치와 문서로 설명 가능한 결과물입니다.
vLLM을 GPU에 올려 OpenAI 호환 API로 서빙하는 실행 환경
KV 캐시 계산으로 “GPU 1대에 동시 몇 명”을 도출한 산정표
TTFT·처리량·동시성 한계·양자화 트레이드오프 측정 데이터
타임아웃·에러·동시 요청 제어까지 반영한 스트리밍 중계 서버
SSE로 토큰이 흐르는 채팅 화면과 노드 기반 로컬 AI 워크플로우
벤치마크 근거가 붙은 온프레미스 아키텍처 — 제안·포트폴리오용