아이웍스 AI개발팀이 직접 만든 엔터프라이즈 LLMOps 플랫폼, MINT를 소개합니다
안녕하세요, 아이웍스 디지털인프라사업본부입니다.
오늘은 조금 특별한 소식을 전해드립니다. 저희가 외부 솔루션을 소개하는 게 아니라, 아이웍스 AI개발팀이 직접 설계하고 개발한 자체 솔루션을 처음으로 공식 소개하는 자리입니다.
이름은 MINT — Enterprise LLMOps Platform입니다.
이 솔루션은 어떻게 태어났나요?
사실 MINT는 처음부터 "제품을 만들자"고 해서 시작된 게 아닙니다.
아이웍스 AI개발팀이 내부 AI 프로젝트를 수행하면서 매번 반복되는 일들이 있었습니다. 모델 가져오고, GPU 환경 세팅하고, 데이터 전처리하고, 파인튜닝 돌리고, 평가하고, 배포하고 — 이 사이클을 프로젝트마다 처음부터 다시 셋업하는 소모전이 계속됐습니다.
"이거, 한 번만 제대로 만들어두면 되는 거 아닌가?"
그렇게 내부 효율화를 위해 모듈화·표준화하기 시작한 것이 MINT의 출발점입니다. 그런데 고객사들과 대화를 나눠보니 — 이게 아이웍스만의 문제가 아니었습니다. AI를 도입하려는 기업 대부분이 똑같은 벽 앞에서 막히고 있었습니다.
그래서 솔루션으로 만들었습니다.
기업들이 AI 앞에서 막히는 진짜 이유 4가지
AI 도입을 고민해보신 분들이라면 아래 중 하나쯤은 겪어보셨을 겁니다.
① "모델은 골랐는데, 연결할 것들이 너무 많습니다"
Hugging Face에서 모델 찾고, 데이터 전처리 툴 따로 쓰고, 파인튜닝 프레임워크 또 따로, 모니터링 툴 또 따로... AI 개발보다 각 모듈 연결과 운영 관리에 더 많은 시간이 들어가는 상황. 개발자라면 너무나 익숙한 그 피로감입니다.
② "PoC는 됐는데 실서비스 배포에서 막힙니다"
모델 다운로드부터 GPU 환경 구성, 학습 코드 작성, 파인튜닝, 평가, API 서빙, 배포 자동화까지 — 전 과정을 직접 설계해야 하는 파이프라인 구축의 현실. 이 복잡도 때문에 수많은 AI 프로젝트가 PoC 단계에서 좌초됩니다. 기술 검증은 됐는데 실운영 환경으로 못 넘어가는 것, 실제로 굉장히 흔한 일입니다.
③ "OpenAI API 요금 청구서가 무섭습니다"
RAG, 에이전트 서비스가 붙기 시작하면 Token 기반 과금이 어디서 얼마나 나올지 예측하기 어렵습니다. 거기에 모델 규모가 커질수록 클라우드 GPU 추론 비용까지 — 월 운영비가 감당하기 어려운 수준으로 치솟는 경험, 해보신 분들 많으실 겁니다.
④ "기밀 데이터를 퍼블릭 LLM에 넣을 수가 없습니다"
금융·공공·의료·국방 분야는 말할 것도 없고, 일반 기업도 내부 문서나 고객 정보를 외부 클라우드 LLM에 넣는 순간 데이터 유출 통제가 불가능해집니다. 망분리 환경에서 AI를 쓰고 싶은데, 현실적인 방법이 없어서 멈추는 경우가 많습니다.
MINT는 이 네 가지를 정면으로 해결하기 위해 설계되었습니다.
MINT가 하는 일 — 7가지 핵심 기능
MINT의 워크플로우는 AI 개발의 전체 수명 주기를 하나의 플랫폼 안에서 끊김 없이 이어줍니다.
① 통합 대시보드 — 관제탑이 생깁니다
GPU, CPU, 메모리, 스토리지 점유율을 실시간으로 시각화합니다. 현재 적재된 모델 목록, 파인튜닝 진행 상태, 최근 이슈까지 한 화면에서 파악할 수 있습니다. 인프라 담당자와 AI 개발자가 같은 화면을 보면서 소통할 수 있는 공통 기반이 생기는 셈입니다.
② 모델 탐색 & 관리 — Hugging Face가 연결됩니다
Hugging Face 생태계와 직접 연동되어 오픈소스 모델을 검색하고 즉시 반입합니다. Gated 모델의 토큰 인증도 지원합니다. 중요한 건 동적 Load/Unload 제어 — 클릭 한 번으로 VRAM에 모델을 올리고 내릴 수 있어 제한된 GPU 메모리를 효율적으로 씁니다. 비싼 GPU 사놓고 놀리는 일이 없어집니다.
③ 인터랙티브 채팅 워크스페이스 — 바로 테스트합니다
서빙 중인 로컬 모델과 상용 API 모델을 실시간으로 테스트하고 프롬프트를 최적화할 수 있습니다. 대화방 분리, 응답 중지, 대화 중 활성 모델 전환 등 개발 과정에서 실제로 필요한 컨텍스트 제어 기능들이 갖춰져 있습니다.
④ 지능형 데이터셋 자동 생성 — 데이터 준비가 쉬워집니다
이 기능이 특히 인상적입니다. 사내 매뉴얼, 규정집, 내부 문서 같은 비정형 파일을 업로드하면 AI가 자동으로 학습용 JSONL 데이터셋과 질의응답 페르소나를 생성해줍니다. SFT 포맷인 Alpaca, ChatML 샘플 지정과 데이터 오류 사전 차단 검증기까지 포함되어 있습니다. 데이터 준비에 들어가는 시간이 극적으로 줄어드는 부분입니다.
⑤ No-Code 파인튜닝 — AI 엔지니어 없이도 됩니다
복잡한 코딩 없이 GUI에서 LoRA 및 4-bit QLoRA 최적화 학습을 진행합니다. Learning Rate, Batch Size 등 핵심 하이퍼파라미터를 UI에서 조율하고, 실시간 Loss 커브 모니터링과 Early Stopping으로 과적합을 사전에 방지합니다. 전문 AI 엔지니어가 없는 조직도 자체 LLM 파인튜닝이 가능해집니다.
⑥ 모델 교차 검증 — "망가진 건 아닌지" 확인합니다
파인튜닝 후에 가장 걱정되는 것 중 하나가 회귀(Regression) — 즉, 특정 도메인 성능은 올라갔는데 기존 일반 능력이 떨어지는 문제입니다. MINT는 Baseline vs Candidate 1:1 스트리밍 교차 검증 환경을 제공하여, 파인튜닝 모델이 목표 성능을 달성했는지와 기존 능력을 유지하는지를 동시에 검증합니다. 다중 프롬프트 일괄 파싱으로 여러 케이스를 순차 자동 실행할 수도 있습니다.
⑦ Unified API 통합 관리 — Private과 Public을 하나로
vLLM과 Dynamic Batching 기반의 초고속 API 엔드포인트를 원클릭으로 생성합니다. 내부 Private 모델과 OpenAI 등 외부 Public 상용 모델을 하나의 인터페이스에서 혼합 제어하는 하이브리드 라우팅 구조를 지원합니다. API 활성화/비활성화 토글, 내부망 실호출 검증까지 운영에 필요한 것들이 갖춰져 있습니다.
숫자로 보는 기대 효과
MINT 도입 시 예상되는 정량적 효과는 다음과 같습니다.
항목 효과
| 개발·운영 리드타임 | 75% 단축 — 수 주 걸리던 배포를 며칠로 |
| 인프라·추론 유지 비용 | 60% 절감 — 로컬 서빙으로 외부 API 과금 차단 |
| 사내 기밀 데이터 유출 | 0% — 완전 폐쇄망 제어 및 온프레미스 지원 |
| GPU 유휴 비용 | 제로화 — 동적 Load/Unload 및 실시간 관제 |
이런 조직에 딱 맞습니다
MINT가 가장 효과적인 환경을 정리하면 이렇습니다.
"AI 하고 싶은데 AI 엔지니어가 없습니다" — 웹/CS 개발자는 있지만 LLM 파이프라인 전문가가 없는 기업·기관. No-Code 기반 MINT로 진입장벽을 낮출 수 있습니다.
"GPU 샀는데 제대로 못 쓰고 있습니다" — 고가 GPU 장비를 도입했으나 활용률이 낮아 고민인 제조·대학·공공·의료 기관. MINT의 직관적 UI와 실시간 관제로 유휴 자원을 깨울 수 있습니다.
"외부 클라우드 LLM은 보안 때문에 못 씁니다" — 금융·공공·국방 등 망분리 환경이 필수인 기관. MINT의 완전 온프레미스·폐쇄망 지원으로 내부 데이터를 외부 전송 없이 AI 활용할 수 있습니다.
현재 상태와 앞으로의 계획
MINT는 현재 알파(Alpha) 테스트 단계입니다. 울산대학교병원을 첫 번째 현장 실증 파트너로 서버 설치 및 로그 구축을 진행하며, 실제 의료 현장의 피드백을 반영한 보완 작업을 이어가고 있습니다.
이후 정식 커머셜 버전으로 확장하여, GPU 서버 도입 패키지 또는 독립 솔루션 형태로 기업 고객을 지원할 예정입니다.
마치며
아이웍스는 인프라 회사입니다. 서버, 스토리지, 네트워크, 가상화 — 그 위에서 고객의 서비스가 안정적으로 돌아갈 수 있도록 기반을 만드는 일을 해왔습니다.
MINT는 그 연장선입니다. GPU 인프라를 깔아드리는 것에서 한 발 더 나아가, 그 위에서 AI가 실제로 작동할 수 있는 운영 체계까지 함께 제공하겠다는 아이웍스의 다음 스텝입니다.
MINT에 관심 있으신 기업 담당자분들의 문의를 기다립니다. 메일로 관련 자료를 요청하시면 보내드리겠습니다.
📧 di@iworks.kr 🌐 www.iworks.kr
본 포스팅은 아이웍스 디지털인프라사업본부에서 작성하였습니다.
#아이웍스 #iWORKS #MINT #LLMOps #엔터프라이즈AI #파인튜닝 #FineTuning #온프레미스LLM #프라이빗AI #QLoRA #LoRA #vLLM #HuggingFace #AI파이프라인 #NoCode #GPU활용 #AI보안 #폐쇄망AI #망분리 #AX #AI전환 #LLM배포 #데이터유출방지 #GPU서버 #AI인프라 #RAG #엔터프라이즈LLM #AI플랫폼