Mac Mini로 사내 AI 서버 만들기 — 실전 가이드

맥미니를 사내 AI 서버로 쓰려면 무엇부터 확인해야 할까요? Ollama·Open WebUI 설치, 사내 접속, 동시 요청 검수와 인건비를 포함한 비용 계산까지 안내합니다.

Robotext2026년 1월 27일수정 2026. 11. 3.26분 읽기

맥미니 한 대는 외부로 보낼 수 없는 문서를 소수의 직원이 차례로 처리하는 용도에 맞습니다. 직원 여러 명이 동시에 긴 문서를 올리는 전사 서버로 쓸 근거는 2026년 11월 현재 공개 자료에 없습니다. Ollama로 모델을 실행하고 Open WebUI로 직원의 대화 화면을 연결하는 구성입니다.

구매나 구축을 정하기 전에 다음 여섯 가지를 먼저 보세요.

  • 속도: 맥미니의 Ollama는 최신 모델을 한 건씩 처리합니다. 긴 문서 하나에 1분이 걸리면 네 명이 동시에 올린 경우 마지막 사람은 4분을 기다립니다.
  • 품질: 공개 평가에서 Gemma 4 31B는 한 세대 전 클라우드 모델인 GPT-5.5보다 지시 따르기 점수가 높았고 계산 점수는 낮았습니다. 맥미니보다 좋은 조건의 측정입니다.
  • 비용: 값싼 API를 쓰는 회사는 장비값을 회수하지 못합니다. 비용 절감은 맥미니를 고르는 이유가 되기 어렵습니다.
  • 보안: 사내에 둔다고 안전해지지 않습니다. 인터넷에 열린 Ollama 서버는 2026년 조사에서 17만 대를 넘었습니다.
  • 법: 외부 전송 문제는 줄지만 접근 통제, 기록, 유출 통지 의무는 그대로 남습니다.
  • 장비값: 맥미니 다음 단계인 GPU가 올해 크게 올랐습니다. RTX 5090은 다나와 최저가가 1,121만원이고, 메모리 계약가는 2025년 말의 약 4배입니다.

공개된 한국 기업의 맥미니 운영 사례는 이번 조사에서 찾지 못했습니다. 아래 숫자는 제조사 자료, 공개 측정, 시세, 그리고 조건을 밝힌 계산입니다.

맥미니 AI 서버가 맞는 업무부터 고르세요

회의록 초안, 사내 규정 검색, 문서의 항목 추출처럼 입력과 검수 기준이 분명한 작업부터 시작하세요. 송금·세무 신고·거래처 발송처럼 잘못 실행했을 때 되돌리기 어려운 행동은 사람이 승인하도록 남깁니다.

현재 상황먼저 시험할 구성결정 전에 확인할 내용
문서를 외부로 보내기 어렵고 반복 질문이 많다사내 로컬 모델 + 문서 검색외부 연결 경로, 문서별 권한, 답의 근거
사용량이 적고 불규칙하며 관리할 사람이 없다API 기반 작은 파일럿데이터 처리 조건, 월 사용 상한, 결과 품질
민감한 자료와 외부 전송 가능한 자료가 섞여 있다작업별로 경로를 나눈 하이브리드분류 오류 시 차단, API로 보내는 항목과 로그
짧은 시간에 많은 요청이 몰리고 응답 기한이 엄격하다대표 부하 시험 후 장비·클라우드 선택동시 생성 요청 수, 대기시간, 장애 시 대체 경로

사내 처리 범위는 WebUI의 외부 검색·플러그인·클라우드 모델·원격 백업까지 함께 정합니다. Ollama 목록에는 이름에 :cloud가 붙은 클라우드 모델이 로컬 모델과 함께 나타나고, 이 모델을 고르면 문서가 외부로 나갑니다. 문서를 밖으로 보내지 않기로 했다면 OLLAMA_NO_CLOUD=1로 클라우드 기능을 꺼 두세요.

업무 흐름 예시: 회의록에서 담당자별 할 일까지

가상 예시: 회의록에 없는 담당자는 ‘미정’으로 남깁니다

회의록 원문

  • 다음 주 수요일에 재고 목록을 점검한다.

검수 화면의 추출 결과

  • 할 일: 재고 목록 점검
  • 담당자: 미정
  • 기한: 다음 주 수요일
  • 등록 상태: 승인 대기

검수자는 원문과 결과를 대조하고 담당자를 정한 뒤 업무표 등록을 승인합니다.

담당자는 외부 공유 금지 항목과 열람 대상을 확인해 회의록을 승인된 폴더에 저장합니다. 검수 화면에서 결정 사항·담당자·기한을 원문과 대조합니다. 누락·잘못된 숫자·미정 항목을 확인한 뒤 업무표 등록과 알림을 승인합니다. 알림 대상과 실행 이력도 확인합니다.

로보텍스트는 입력 위치·결과를 받을 프로그램·승인 담당자를 정해 연결합니다. 같은 회의록의 할 일이 중복 등록되지 않게 식별 기준을 두고, 서버가 멈추면 원본과 마지막 처리 상태에서 다시 시작하게 구성합니다.

지금 파는 맥미니와 한계

2026년 9월 22일에 나온 M6와 M5 Pro 두 종류가 현재 판매 모델입니다. 시작가가 올해 초 89만 원대이던 M4보다 크게 올랐고, 메모리를 늘린 구성의 한국 가격은 Apple 구성 화면에서 직접 확인해야 합니다.

항목맥미니 M6맥미니 M5 Pro
한국 시작가1,499,000원 (16GB, 256GB)2,990,000원 (24GB, 512GB)
메모리16·24·32GB24·48·64GB
메모리 속도최대 170GB/s307GB/s
최대·유휴 전력70W·4W145W·6W (64GB 구성)
올릴 수 있는 모델32GB에서 27~31B64GB에서 31B와 긴 문서
사내 서버로 판단한 사람씩 쓰는 시험용소수 인원의 실사용 시작점

전력은 Apple 공식 수치입니다. CPU 최대 시험 값이라 AI 모델을 몇 시간씩 돌릴 때의 전력은 아닙니다. 소음도 Apple은 유휴 상태 4dB(A)만 공개했으므로, 장시간 부하에서의 소음은 설치 자리에서 확인하세요.

맥미니가 불리한 지점은 세 가지입니다.

  1. 메모리 상한이 64GB입니다. 파일 크기가 약 65GB인 gpt-oss:120b나 81GB인 qwen3.5:122b는 올라가지 않습니다.
  2. 큰 모델은 대화가 어려울 만큼 느립니다. 속도는 메모리 속도를 모델 크기로 나눈 값에 가깝습니다. M5 Pro에서 70B 모델은 실측 비율까지 반영하면 초당 6토큰 안팎으로 계산됩니다.
  3. 긴 문서는 먼저 막힙니다. M6 24GB 맥미니의 공개 측정에서는 27B 모델의 문맥이 약 3만 토큰에 그쳤습니다. 모델 설명의 25만 토큰은 이 장비에서 쓸 수 없습니다.
모델이 크고 장비가 느릴수록 답이 늦습니다

M5 Pro · gemma4:12b38토큰/초

M6 · gemma4:12b21토큰/초

M5 Pro · gemma4:31b15토큰/초

M6 · gemma4:31b8.5토큰/초

메모리 속도를 모델 파일 크기로 나눈 계산상의 상한입니다. 다른 모델의 공개 측정은 이 값의 70~85%였습니다. M6 24GB에서 비슷한 크기의 Qwen3.8 27B를 측정한 공개 값은 초당 9.8토큰이었습니다.

초당 10토큰이면 500토큰 답변에 50초가 걸립니다. 직원이 화면을 보며 대화하기에는 느리고, 문서를 맡기고 다른 일을 하는 업무에는 쓸 만합니다.

여러 대를 묶어 큰 모델을 돌리는 구성은 권하지 않습니다. M6는 묶는 데 필요한 Thunderbolt 5가 없고, 공개된 4대 묶음 측정은 약 4만 달러 규모의 Mac Studio로 이루어졌습니다. 측정자도 불안정할 때가 많다고 적었습니다.

맥미니 메모리와 모델을 어떻게 정할까

Apple Silicon의 통합 메모리는 CPU와 GPU가 함께 사용합니다. 모델 파일을 올릴 공간 외에도 macOS, 실행 도구, 문서 검색, 대화 문맥과 동시에 처리하는 요청에 메모리가 필요합니다. 메모리는 모델 파일에 문서 길이와 동시 요청을 더해 정합니다.

이전에 많이 쓰던 Qwen2.5와 Llama 3.1은 약 1년째 갱신되지 않아 후보에서 뺐습니다. 지금 시험할 후보는 아래와 같습니다. 크기는 Ollama의 4비트 파일 기준입니다.

후보파일 크기맞는 메모리라이선스시험할 때 볼 점
gemma4:12b8.0GB16~24GBApache-2.0작은 장비의 기본 후보
gemma4:31b20GB32~64GBApache-2.0공개 한국어 평가에서 오픈 모델 중 상위
qwen3.8:27b18GB32~64GBApache-2.0사고 모드를 끄고 한국어 답을 확인
Kanana-2 30B-A3B공식 GGUF 품질 미확인32~64GBKanana License화면에 표시 의무, API 재판매는 별도 계약
HyperCLOVA X SEED 32B약 20GB (추정)32~64GB별도 라이선스월 사용자 1천만 초과·경쟁 서비스는 별도 계약

LG EXAONE은 LG에 확인하기 전에는 회사 업무에 쓰지 마세요. 라이선스 3.1조가 모델과 출력물의 상업적 사용을 금지하고, 사내 업무 사용을 허용하는 조항도 없습니다. 한국 회사 모델이라는 이유로 고르기 전에 라이선스 원문부터 읽으세요.

한국어 품질을 같은 조건으로 비교한 공개 자료는 2026년 10월 15일의 KBS 논문 하나입니다. Gemma 4 31B는 평가된 오픈 모델 중 지시 따르기와 계산에서 1위였습니다.

지시 따르기는 앞서고 계산은 뒤집니다 (Gemma 4 31B와 GPT-5.5)

지시 따르기 · Gemma 4 31B85.02%

지시 따르기 · GPT-5.581.09%

계산 · Gemma 4 31B82.71%

계산 · GPT-5.596.29%

KBS(Korean Benchmark Suite) Ko-IFEval과 Ko-GSM8K. 오픈 모델은 NVIDIA B200 GPU에서 16비트로 평가했습니다. 요약 품질은 평가 범위에 없습니다.

이 표를 읽을 때 두 가지를 고려하세요. 논문은 16비트 원본을 큰 GPU에서 돌렸고, 맥미니는 보통 4비트로 줄인 파일을 돌립니다. Command R 계열로 시험한 양자화 연구에서 한국어 같은 비라틴 문자 언어는 손실이 더 컸고, 자동 지표는 그 손실을 작게 보였습니다. 한국어 품질이 중요하면 큰 모델의 4비트와 한 단계 작은 모델의 8비트를 같은 문서로 비교하세요.

Qwen 계열은 사고 모드를 끄고 시험합니다. 같은 논문에서 Qwen3.5 27B는 사고를 켜면 영어로 생각만 쓰다가 한국어 답을 내지 못해 계산 점수가 0%였고, 끄면 80.67%였습니다.

문서 검색용 임베딩은 Ollama에 공식으로 있는 bge-m3로 시작하세요. Open WebUI의 기본 임베딩 모델(all-MiniLM-L6-v2)은 한국어 검색 품질을 확인한 자료가 없습니다. 임베딩 모델을 바꾸면 기존 문서를 다시 처리해야 합니다.

시험할 장비가 없다면 구매 전에 가린 문서 예시, 원하는 출력, 가장 긴 문서와 동시에 들어올 요청을 정리하세요. 로보텍스트는 이 자료로 시험할 모델과 업무를 좁히고, 필요한 응답 시간과 운영 범위에 맞춰 장비 구성을 제안합니다.

맥미니로 부족할 때: GPU 장비 시세

동시 사용자가 늘거나 큰 모델이 필요하면 GPU 장비로 넘어갑니다. 올해 이 시장은 크게 올랐습니다. 아래는 2026년 11월 3일 다나와 최저가입니다. 부가세가 포함된 표시가이고 재고를 뜻하지는 않습니다.

장비메모리한국 최저가맞는 쓰임
RTX 508016GB266만원작은 모델 시험
RTX 509032GB1,121만원소수 인원, 27~31B 모델
NVIDIA L40S48GB약 1,380만원서버용 장착, 32B 모델
RTX PRO 500072GB1,748만원긴 문서와 동시 요청
RTX PRO 600096GB2,632만원100B급 모델, 여러 요청
DGX Spark128GB1,005만원큰 모델을 한두 명이 사용
Ryzen AI Max+ 395 미니PC128GB약 418만원 (해외구매)큰 모델 시험, Linux 조정 필요
RTX 5090의 한국 최저가는 정가 환산액의 3.8배입니다

RTX 5090 · 정가 환산296만원

RTX 5090 · 한국 최저가1,121만원

RTX 5080 · 정가 환산148만원

RTX 5080 · 한국 최저가266만원

DGX Spark 128GB · 첫 정가 환산591만원

DGX Spark 128GB · 한국 최저가1,005만원

정가 1,999·999·3,999달러에 1달러 1,344.57원과 부가세 10%를 적용했습니다. 한국 가격은 2026년 11월 3일 다나와 값입니다.

미국의 2026년 8~9월 판매가와 비교해도 RTX 5090은 한국이 약 1.5배 비쌉니다. RTX 5080은 1.16배, RTX PRO 6000은 1.11배입니다. 시점이 두 달 다른 비교입니다. 5090의 차이가 유독 큰 이유를 설명하는 자료는 찾지 못했습니다.

메모리 계약가는 올해 약 네 배가 됩니다

범용 DRAM 계약가는 TrendForce 분기 수치를 곱하면 2025년 말의 약 4배가 됩니다. 맥미니 시작가가 오른 때와 같은 시기이고, 서버 메모리 부족이 GPU와 소형 AI PC 가격에도 함께 나타났습니다.

범용 DRAM 계약가는 2025년 말의 약 네 배입니다

2025년 말100

2026년 1분기196

2026년 2분기314

2026년 3분기362

2026년 4분기408

2025년 말을 100으로 놓고 TrendForce의 분기별 상승 구간 중앙값을 곱했습니다. 2분기 이후는 전망치입니다. 구간 하단과 상단으로 계산하면 3.8~4.4배입니다.

현물가 쪽을 보면 DDR5 16Gb는 2026년 11월 2일 평균 61.5달러입니다. 다나와의 삼성 DDR5-5600 서버 메모리 64GB는 1개 446만 5,000원입니다. 같은 용량이라도 판매처에 따라 219만~624만원으로 2배 넘게 차이가 나므로, 메모리 단가는 견적마다 대조하세요.

메모리는 이제 구성비의 큰 부분입니다. RTX PRO 6000 2장(약 5,264만원)에 서버 메모리 512GB(약 3,572만원)를 넣으면 이 두 항목만 약 8,836만원이고, 메모리가 그중 40%입니다. CPU, 보드, 전원, 저장장치, 설치비는 별도입니다. 메모리를 256GB로 줄이면 합계가 약 7,050만원으로 내려갑니다. 문서 검색과 모델 적재에 실제로 쓰는 양을 측정한 뒤 메모리를 정하면 구축비를 천만 원 단위로 줄일 수 있습니다.

가격이 내릴 때까지 기다려야 할까

기다려서 해결될 가능성은 낮습니다. TrendForce는 2026년 4분기에도 범용 DRAM이 1015% 오른다고 봤습니다. 이번에 찾은 전망 중 하락을 예고한 곳은 없습니다. 완화 시점은 가장 빠른 쪽이 2027년 하반기2028년 초(경계현 전 삼성전자 DS 부문장)이고, Micron은 의미 있는 신규 생산을 2028년 말 이후로 봅니다.

반대로 공급이 풀리면 지금 산 장비의 가치가 떨어질 위험이 있습니다. 그래서 순서를 이렇게 권합니다. 가린 문서로 GPU를 시간제로 빌려 사양을 확정하고, 구매가 꼭 필요한 업무만 삽니다. RunPod의 RTX PRO 6000 임대료 시간당 2.49달러로 부가세를 뺀 구매가로 계산하면 카드값 회수에 약 7,100시간이 걸립니다. 하루 8시간 쓰는 사내 서버라면 약 3.4년입니다. 24시간 돌리는 업무라면 약 10개월입니다. 카드값만 비교한 값이므로 전기료와 관리비를 더해 판단하세요. 해외 임대 서버에는 고객 원본을 올리지 마세요. 시험용 가린 문서만 씁니다. 국내 GPU 클라우드의 시간당 요금은 공개 페이지에서 확인하지 못했으니 견적을 받아 비교하세요.

공개된 구축 사례에서 확인되는 것

사내 LLM을 구축했다고 밝힌 곳은 많아도 장비와 금액을 함께 밝힌 곳은 거의 없습니다. 사양, 금액, 사용자 수, 기간을 모두 공개한 한국 사례는 찾지 못했습니다. 찾은 기업 사례 중 맥미니를 쓴 곳은 없었고, 철회나 클라우드 복귀를 밝힌 사례도 없었습니다.

사례공개된 내용공개되지 않은 내용
제주국제자유도시개발센터사내 생성형 AI 낙찰 약 7억 2,000만원, 6개월, 30B·120B급 모델GPU 서버 포함 여부, 사용자 수, 운영 성과
서울아산병원폐쇄망 지식 검색, 병원 IT 인력이 자체 개발장비, 금액, 사용자 수
한국벤처투자Dell XE7745 서버, 소스 분석·내부망 챗봇 시험GPU 수량, 금액
독일 보험그룹 (벤더 발표, 익명 고객)L40S 2장, 초기 3만 8,500유로, 월 약 1,030유로, 답변 수용률 93.4%(외부 모델 94.6%)고객 이름, 독립 검증
Latham & Watkins (미국 로펌)H200 여러 대를 외부 데이터센터에 운영비용. 청구 시간은 줄지 않았다고 밝힘
GWDG Chat AI (독일 대학 연합)H100 40장 규모 HPC, 가입 약 9,000명, 평일 활성 400~500명 (2024)이 서비스 전용 수량, 비용

규모별로 공개된 숫자는 적지만 방향은 같습니다. 동시 요청이 늘면 사용자당 속도가 빠르게 떨어집니다.

RTX 5090 한 장도 4명이 동시에 쓰면 사용자당 속도가 4분의 1로 줄었습니다

1명192토큰/초

4명 동시47토큰/초

논문 arXiv 2512.23029. Qwen3 30B-A3B, llama.cpp, 합성 부하 측정이며 4명 동시에는 전체 응답에 57.8초가 걸렸습니다.

규모공개된 구성성격
동시 10명 문서 검색Ollama는 3명에서 막혀 vLLM으로 바꿨고, H100 2장이 거의 찼다는 보고개인 운영자 댓글, 모델 미기재
피크 동시 34건L40S 2장, Qwen3 32B 4비트, 응답 95%가 7.1초 안벤더 자기 보고
평일 활성 400~500명H100 40장 규모 HPC 위 운영논문, 전용 수량 불명

벤더가 말하는 "동시 접속 50명"이나 "200명"은 모델과 문서 길이 조건이 없으면 비교할 수 없습니다. 견적을 받을 때 그 숫자가 어떤 모델, 어떤 입력 길이, 어떤 응답 시간 기준인지 함께 요구하세요. 구축비를 큰 금액으로 단정하는 글도 있지만 근거를 밝히지 않아 판단에 쓰지 않았습니다.

외부 교수의 반론도 봐야 합니다. Latham 보도에서는 서버를 계속 돌려야 비용이 정당화되고, 사용률이 낮으면 외부 업체가 합리적이라고 지적했습니다. 앞의 임대 계산과 같은 결론입니다. 사용 시간이 적으면 사지 않는 편이 낫습니다.

구성도: 직원은 WebUI로, 모델 API는 제한된 경로로

직원은 WebUI를 거치고 모델 API는 내부 경로로 제한합니다
  1. 직원 접속

    • 허용된 사내망·VPN
    • 사용자 계정
  2. Open WebUI

    • 대화 화면·접근 관리
    • 업로드·대화 저장 정책
  3. Ollama·로컬 모델

    • 내부 모델 요청
    • 비인가 직접 접근 차단
  4. 결과 검수

    • 원문·결과 대조
    • 시스템 수정·발송은 승인

외부 공개 주소부터 만들지 말고 직원용 접속 경로와 모델 API의 접근 범위를 나누어 설정합니다.

문서 검색을 추가한다면 문서 저장소와 검색 인덱스도 이 구성에 포함됩니다. 사용자 A가 볼 수 없는 문서가 검색 결과나 답변으로 나오는지 반드시 시험하세요. 연결 방식은 RAG 시스템 가이드에서 이어서 볼 수 있습니다.

사내에 둔다고 안전해지지는 않습니다

Ollama에는 사용자 계정도 API 키도 없습니다. 맥의 기본 주소는 자기 자신(127.0.0.1)이라 처음엔 안전합니다. 위험은 직원이 쓰게 하려고 OLLAMA_HOST=0.0.0.0으로 여는 순간 시작됩니다.

인터넷에 열린 Ollama는 조사마다 발견됐습니다
  1. Wiz: 1,000대 이상다수가 취약한 버전
  2. Oligo: 약 1만 개 IP약 4분의 1이 취약
  3. Cisco: 1,139대214대가 인증 없이 응답
  4. SentinelLABS·Censys: 175,108대130개국, 48% 이상이 도구 호출 기능을 공개
  5. Cyera: 약 30만 대 추정산정 방법 비공개

조사 방법과 기준이 달라 증가율로 이어서 읽으면 안 됩니다.

실제 피해는 세 가지입니다.

  • 대화와 비밀값 유출: CVE-2026-7482(CVSS 9.1)는 인증 없이 서버 메모리를 읽어 프롬프트, 시스템 지시, API 키를 빼낼 수 있는 취약점입니다. 0.17.1에서 고쳐졌지만 릴리스 노트에는 보안 수정이라는 표시가 없었습니다. 노출된 적이 있는 서버는 키를 교체하세요.
  • 남의 연산에 쓰이는 서버: 인증 없는 서버는 누구나 모델을 실행하고, 내려받고, 지울 수 있습니다.
  • 문서 검색을 통한 내부 자료 유출: 도구 호출이나 문서 검색을 붙인 서버가 노출되면 내부 자료까지 함께 열립니다.

Open WebUI도 자주 고쳐야 합니다. 2026년 9월 9일부터 10월 18일 사이에 보안 공지 10건이 나왔고, 그중 2건은 위험도 High였습니다. 하나는 어느 웹사이트든 로그인한 직원의 세션을 훔칠 수 있다는 내용입니다. 공식 문서도 공개 인터넷에 직접 열지 말고 VPN 뒤에 두라고 안내합니다. 보안 공지를 매주 확인할 담당자가 없다면 이 구성은 운영하지 않는 편이 낫습니다.

외부 AI 차단이 먼저 필요한 회사라면 삼성전자의 경우가 참고가 됩니다. 2023년 직원들이 설비 소스코드와 회의 내용을 ChatGPT에 입력한 일이 알려졌고, 회사는 사내 PC의 외부 AI 사용을 제한한 뒤 자체 번역·요약 도구 개발에 나섰습니다. 대기업의 자체 개발 사례이지 소형 장비 사례는 아닙니다.

법적 의무는 어떻게 달라지나

로컬 처리는 일부 쟁점만 줄입니다. 개인정보보호위원회의 생성형 AI 안내서는 자체 호스팅을 따로 면제하지 않습니다. 2026년 9월 11일 시행된 개정 개인정보보호법까지 놓고 보면 아래처럼 정리됩니다. 로펌 요약과 보도를 바탕으로 한 저희 해석입니다.

구분내용
줄어드는 것외부 API 사업자에게 보내는 데서 생기는 국외 전송·위탁 계약 쟁점
그대로 남는 것접근 통제, 접속·감사 기록, 보존·삭제, 정보주체 요구 대응
강화된 것대표자 최종 책임, 유출 가능성 단계의 통지, 일정 요건의 과징금 상한 매출 10%
달라지지 않는 것AI 기본법의 고지·표시 의무. 고객에게 보이는 서비스인지가 기준이고 서버 위치는 기준이 아닙니다

직원만 쓰는 내부 도구는 AI 기본법의 고지·표시가 대체로 면제되는 구조입니다. 상담 챗봇처럼 고객이 보는 곳에 쓰면 대상이 됩니다. 사내 AI 서버가 개인정보처리시스템에 해당하는지는 다루는 자료에 따라 달라지므로, 고객 개인정보를 넣기 전에 담당 변호사나 개인정보보호책임자와 정리하세요.

금융권은 별도입니다. 금융위원회의 망분리 완화는 2026년 6월 선정된 10곳과 보안 목적에 한정됩니다. 금융 회사가 일반 업무에 로컬 AI를 쓸 수 있다는 근거로 읽으면 안 됩니다.

1단계: Ollama 설치와 단일 요청 확인

Ollama는 Docker 밖에서 맥에 직접 설치합니다. Ollama 공식 블로그는 Docker Desktop이 맥 GPU를 지원하지 않는다고 밝혔습니다(2023년). 최신 Docker 공식 문서에도 맥 GPU 연결 안내는 없습니다. 다음은 Homebrew의 Ollama formula와 서비스 명령을 사용하는 경로입니다. Ollama macOS 앱을 이미 사용 중이면 먼저 실행 방식을 하나로 정하세요. 앱과 Homebrew 서비스를 동시에 띄우면 같은 포트와 모델 저장 위치를 혼동하기 쉽습니다.

# Apple Silicon macOS, Homebrew 설치 상태를 전제로 합니다.
brew install ollama
brew services start ollama
 
# 예시 모델을 다운로드하고 설치된 태그를 확인합니다.
ollama pull gemma4:12b
ollama list
curl -sS http://127.0.0.1:11434/api/tags
 
# 민감한 원본 대신 짧은 시험 문장을 사용합니다.
curl -sS http://127.0.0.1:11434/api/chat \
  -H 'Content-Type: application/json' \
  -d '{"model":"gemma4:12b","messages":[{"role":"user","content":"회의록을 한 문장으로 정리해줘: 다음 주 수요일에 재고 목록을 점검한다."}],"stream":false}'
 
ollama ps

명령 종료 여부와 함께 응답의 모델 이름, 실제 답변, 오류와 처리시간을 확인하세요. ollama ps의 CONTEXT 열에서 문맥 길이도 봅니다. 문맥이 작으면 긴 문서는 조용히 잘리고, Open WebUI 문서 검색도 찾은 내용을 잘라냅니다. 공식 문서 기준으로 문서 검색에는 8,192 이상을 설정하세요.

Ollama는 거의 매일 새 버전이 나옵니다. 앱 자동 업데이트가 켜진 서버는 업무 시간에 동작이 바뀔 수 있으므로 업데이트 시점을 정해 둡니다.

Homebrew 사용자 서비스는 로그인 이후 실행되는 구성입니다. 재부팅 후 아무도 로그인하지 않아도 서비스가 떠야 한다면 아래 표에서 구성을 고르세요.

사람 없이 살아나야 할 때FileVault 끔 + 자동 로그인FileVault 켬 + SSH 잠금 해제
재부팅 후 동작자동으로 로그인하고 서비스 시작SSH로 잠금을 풀어야 시작
조건민감 자료가 없거나 장비실 잠금Apple silicon, macOS 26 이상, 원격 로그인 켬
감수할 점장비 도난 시 디스크 보호가 약해짐재부팅마다 담당자 작업 필요

정전 뒤 자동 시동은 macOS 26.5 이상과 2024년 이후 맥미니에서 설정 > 에너지의 "전원 연결 시 시동"을 항상으로 두면 됩니다. Tailscale 앱은 로그인 전에 실행되지 않으므로 재부팅 직후 원격 접속 경로는 따로 시험하세요. 서버에서는 macOS 자동 설치를 끄고 정해진 시간에 직접 적용합니다.

2단계: Open WebUI를 로컬에서 연결

Docker Desktop이 실행 중인 상태에서 시작합니다. 직원 250명 미만이고 연매출 1,000만 달러 미만이면 Docker Desktop은 무료입니다. OrbStack은 상업 사용 시 1인당 월 8달러입니다. 먼저 개인 시험용으로 WebUI 포트를 맥미니의 loopback 주소에만 연결하세요.

-p 8080:8080처럼 주소를 생략하면 다른 인터페이스에도 열릴 수 있습니다.

아래 v0.12.5는 2026년 10월 29일 릴리스입니다. 이 버전의 노트는 모든 배포에 빠른 업데이트를 권합니다. :main 태그는 계속 바뀌므로 운영에는 쓰지 말고, 버전을 고정한 뒤 올릴 때마다 볼륨을 백업하세요.

# WEBUI_SECRET_KEY는 비밀값 보관소에서 생성·보관한 지속값을
# 현재 셸에 로컬 주입합니다. 소스나 채팅에 값을 적지 않습니다.
: "${WEBUI_SECRET_KEY:?WEBUI_SECRET_KEY를 로컬에 먼저 설정하세요}"
 
docker run -d --name open-webui --restart always \
  -p 127.0.0.1:8080:8080 \
  -e WEBUI_SECRET_KEY \
  -e OLLAMA_BASE_URL=http://host.docker.internal:11434 \
  -v open-webui:/app/backend/data \
  ghcr.io/open-webui/open-webui:v0.12.5

브라우저에서 http://127.0.0.1:8080을 열어 관리자 계정을 만들고 모델 목록과 대화를 확인합니다.

데이터는 open-webui 볼륨에 남습니다. 컨테이너 삭제와 데이터 볼륨 삭제를 구분하세요. 사용자가 늘면 기본 SQLite에서 잠금 오류가 날 수 있어 공식 문서는 PostgreSQL을 권합니다. 고객사 로고로 바꾸려면 최근 30일 사용자가 50명 이하여야 하고, 그보다 많으면 기업용 라이선스가 필요합니다. Open WebUI는 OSI 승인 오픈소스가 아닙니다.

WebUI는 뜨는데 모델이 보이지 않을 때

컨테이너의 localhost는 맥미니가 아니라 컨테이너 자신입니다. Docker Desktop의 호스트 연결 안내에 따라 host.docker.internal을 사용합니다. Desktop 버전과 호스트의 리스닝 주소를 확인하고, 아래 명령으로 컨테이너에서 Ollama까지 연결되는지 시험하세요.

# WebUI 컨테이너 안에서 Ollama까지 닿는지 확인합니다.
docker exec open-webui python -c \
  'import urllib.request; print(urllib.request.urlopen("http://host.docker.internal:11434/api/tags", timeout=5).status)'

실패하면 Open WebUI 연결 문제 안내와 Ollama 로그를 보고 호스트 이름·포트·방화벽부터 확인하세요.

접속을 해결하려고 OLLAMA_HOST=0.0.0.0부터 열면 인증 없는 API가 네트워크에 노출될 수 있습니다. 외부 인터페이스를 사용해야 하는 구성은 허용된 컨테이너 경로만 접근하도록 방화벽·네트워크를 함께 정하고, 비인가 장비에서 차단되는지 시험해야 합니다.

3단계: 사내 직원 접속과 권한

직원 접속을 열 때는 WebUI와 Ollama API의 공개 범위를 구분하세요. 직원은 로그인 화면을 통해 들어오고, 모델 API는 제한된 내부 경로에서만 호출하게 구성합니다.

한 가지 방법은 Tailscale macOS 앱과 Tailscale Serve를 사용하는 것입니다. 승인된 tailnet에 맥미니와 직원 기기를 등록하고 사용자별 접근 정책을 설정한 뒤, loopback의 WebUI를 tailnet HTTPS로 연결합니다.

# Tailscale 앱 로그인과 HTTPS/MagicDNS 준비 후 실행합니다.
# 전경 실행 예시이며 터미널이 닫힌 뒤의 지속 동작은 별도로 구성합니다.
tailscale serve 8080

Serve와 Funnel은 다릅니다. Serve는 tailnet 안에서만 열리고, Funnel은 주소를 아는 누구에게나 열립니다. WebUI의 관리자 계정과 일반 직원 계정을 나누고 업무별 문서 접근 권한을 정합니다. Open WebUI 권한은 더하기 방식이라 한 그룹에서 끈 권한도 다른 그룹이나 전역 기본값에 남아 있으면 살아 있습니다. 퇴사자 계정 제거, 장비 분실, 비밀번호 초기화, 업로드 문서 열람 권한까지 담당자를 정하세요. 인증서·VPN 운영을 이미 하고 있다면 그 체계와 맞추는 편이 좋습니다. 감사 로그는 기본으로 꺼져 있으니 AUDIT_LOG_LEVEL을 설정합니다.

동시 사용자 수는 부하 시험으로 정합니다

직원 20명이 계정을 갖는 것과 20개 요청이 동시에 문장을 생성하는 것은 다릅니다. 한 번에 긴 문서를 올리는지, 짧은 질문을 간헐적으로 보내는지에 따라 필요한 자원이 달라집니다.

맥미니에서는 이 차이가 더 큽니다. Ollama 0.40부터 Gemma 4와 Qwen 계열은 자동으로 MLX 엔진에서 실행됩니다. MLX 엔진은 OLLAMA_NUM_PARALLEL 값을 무시하고 요청을 한 건씩 처리합니다. 고치는 변경안(#17317)은 10월 28일 승인됐지만 11월 3일 현재 병합되지 않았습니다.

문서 한 건 80초면 8명이 동시에 올릴 때 마지막 사람은 10분 넘게 기다립니다

동시 1건80초

동시 2건160초

동시 4건320초

동시 8건640초

M6 24GB의 공개 측정값(프리필 초당 약 270토큰, 생성 초당 약 9.8토큰)으로 8,000토큰 문서를 읽고 500토큰을 쓰는 경우를 계산했습니다. 한 건씩 처리한다고 가정한 값이며, M5 Pro의 공개 측정은 찾지 못했습니다.

여러 명이 동시에 쓰는 업무라면 병렬 설정이 적용되는 GGUF 모델과 llama.cpp 경로를 쓰거나, 병렬 처리가 정식 릴리스에 들어간 뒤 올리세요. 맥의 동시 사용자 처리량을 공개 측정한 자료는 찾지 못했습니다. 인원 한계는 아래 시험으로 직접 정해야 합니다.

  1. 업무 담당자가 대표 문서와 질문을 정하고, 허용할 수 없는 오류와 답을 받아야 할 시간을 적습니다.
  2. 개발 담당자가 같은 자료로 동시 요청 1·2·4·8개를 순차적으로 시험합니다.
  3. 목표를 충족하면 필요한 실제 피크까지 동시 요청을 늘립니다.
검수 항목기록할 내용통과 판단
답변 품질누락·잘못된 숫자·근거 없는 답, 사람이 고친 내용업무 담당자가 정한 허용 오류 이내
응답 시간첫 토큰 시간, 전체 완료시간의 중앙값·상위 지연평상시와 피크 모두 업무 기한 충족
동시 처리실제 생성 요청 수, 대기열과 오류요청이 누락되지 않고 기다리는 상태가 보임
자원메모리·스왑·디스크·평균 소비전력장시간 시험에서 안정적으로 유지
운영 복구재부팅·인터넷 단절·컨테이너 재시작·백업 복원정한 복구 시간 안에 서비스 재개

Ollama의 eval_count / eval_duration × 10^9는 출력 생성 구간의 초당 토큰 계산입니다. 긴 문서를 읽는 시간과 대기시간은 여기에 들어가지 않으니 따로 재세요. 스왑은 특히 봅니다. MLX 캐시 때문에 32GB 맥에서 스왑이 10GB 넘게 쌓인다는 이슈(#18131)가 11월 현재 열려 있습니다.

비용: 전기료에 관리 시간과 초기 비용을 더하세요

맥미니를 이미 보유했는지, 새로 구매하는지부터 구분하세요. API 비용은 요청 수와 건당 입력·출력 토큰에 사용 모델의 단가를 곱합니다. 두 방식 모두 같은 업무량과 품질을 기준으로, 문서 검색·재시도·관리 시간을 함께 계산하세요.

계산 예시: 장비 299만원, 24개월 사용, 평균 50W, 전력 단가 200원/kWh를 가정했습니다. API 단가와 관리 시간도 설명용 값입니다. 실제 장비 견적·전력·사용량을 넣어 비교하세요.

로컬 AI·API 월비용 계산기

아래는 가정한 값으로 계산한 예시입니다. 실제 장비 구입비·사용량·관리 시간으로 바꿔 비교하세요. API 요금은 사용할 모델의 원화 환산 단가를 입력합니다.

계산 결과로 이동 ↓
전력·관리 시간·API 단가 상세 조건

로컬 AI 월 환산 비용

231,783원

장비 월 환산 124,583원 + 전력 7,200원 + 관리 100,000원

API 월비용

250,000원

토큰 사용 200,000원 + 연동 관리 50,000원

첫해 비용 비교

장비를 새로 사는 경우입니다. 로컬은 구입비 전액과 12개월 전력·관리비를 더하며, API도 관리 인건비를 포함합니다. 초기 설치·연동 개발비는 별도입니다.

로컬 AI 첫해 합계
4,276,400원
API 첫해 합계
3,000,000원

이 입력값에서는 첫해 API 비용이 1,276,400원 적습니다. 처리 품질과 응답 속도를 같은 업무로 시험한 뒤 구성을 고르세요.

동일한 품질·처리량을 충족한다는 조건에서 비교하세요. 초기 설치·연동 개발비, 저장장치·백업·네트워크, 장애 대응, 세금·환율·요금제와 재시도·문서 검색 비용은 별도입니다. 입력값은 저장하거나 전송하지 않습니다.

초깃값에서는 장비 비용을 24개월로 나눈 로컬 월 환산 비용이 약 23만 1,783원, API 월비용이 25만원입니다. 그러나 첫해 현금 지출은 로컬 약 427만 6,400원, API 300만원입니다. 장비를 월 환산한 숫자만 보면 초기 지출을 놓칠 수 있습니다. 로컬 현금 운영비는 전력 7,200원과 관리 인건비 10만원, API는 토큰 20만원과 연동 관리 5만원으로 계산한 예입니다.

이 가정에서 299만원을 회수하려면 월 현금 비용 차이 14만 2,800원이 계속 유지돼야 하며 약 20.9개월, 완결된 월로는 21개월째입니다. 구매 판단에는 같은 품질·처리량에서 측정한 값과 실제 관리 시간을 사용합니다.

월 차이가 0 이하라면 이 비교에서는 투자금을 회수하지 못합니다.

회수 기간은 어떤 API를 대신하느냐로 결정됩니다. 같은 업무량에 2026년 11월 공식 요금을 넣으면 결과가 이렇게 갈립니다.

대신할 APIAPI 월 토큰비관리비 포함 월 차이299만원 회수
Claude Sonnet 5.5약 23.1만원약 17.4만원 절약약 17개월
OpenAI gpt-5.4-mini약 9.6만원약 3.9만원 절약약 77개월
Google Gemini 2.5 Flash약 4.7만원약 1.0만원 손해회수 못 함
Claude Haiku 5.5약 1.2만원약 4.6만원 손해회수 못 함

가정은 직원 20명, 1인 하루 30요청, 월 22일(월 13,200요청), 요청당 입력 3,000·출력 700토큰, 1달러 1,345원, 로컬 관리 월 10만원과 전기 7,200원, API 관리 월 5만원입니다.

Sonnet급을 대신해야 회수 기간이 2년 안에 들어옵니다. 그런데 맥미니에서 돌아가는 27~31B 모델이 Sonnet급과 같은 품질을 낸다는 근거는 없습니다. Artificial Analysis 지수에서 Qwen3.8 27B는 20점, Claude Sonnet 5.5는 54점입니다. 로컬을 고를 이유는 비용이 아니라 문서를 외부로 보낼 수 없다는 조건입니다. 그 조건이 없다면 API로 먼저 시작하세요.

Apple의 전력 자료는 기기 구성과 시험 조건을 함께 제시합니다. 업무의 평균 전력은 콘센트 전력계로 평일·야간·피크를 포함해 측정하면 운영비 계산이 훨씬 정확해집니다.

업무에 넣기 전 운영 검수표

  • 접근: 허용되지 않은 장비에서 WebUI와 Ollama API에 접속할 수 없는가. 일반 사용자에게 관리자 기능과 다른 부서 문서가 보이지 않는가.
  • 데이터: 외부 검색·모델·플러그인·백업의 목적지를 확인했는가. 대화·업로드·로그의 보존 기간과 삭제 담당자가 정해졌는가.
  • 실행: 문서 요약과 실제 업무 시스템 수정이 분리돼 있는가. 발송·삭제·금액 변경은 승인 후 실행되는가.
  • 복구: 장비 재부팅과 로그인 전후를 시험했는가. 백업에서 다른 시험 환경으로 복원했는가. 서버가 멈추면 누가 어떤 경로로 업무를 이어가는가.
  • 업데이트: 운영 담당자가 Ollama·Open WebUI 보안 공지를 매주 확인하고 변경 전 대표 문서로 재검수하는가. 모델 태그·WebUI 버전·설정·결과를 남기고, 이전 버전으로 되돌릴 때 데이터 호환성을 확인했는가.

로보텍스트와 구축 범위를 정하는 방법

로보텍스트는 쇼핑몰 정산·재고 정리와 세무사무소 자료 정리처럼 반복 업무를 자동화해 설치하고 관리합니다. 회사 소개와 작업 방식, 직접 운영에 적용한 흐름을 먼저 살펴보세요.

로보텍스트는 처리할 문서와 업무 순서, 사용자 수, 외부 전송 제한을 바탕으로 모델·접속·기존 프로그램 연결·사람 검수·백업을 설계합니다. 업무 자료로 모델을 비교하고, 사용자가 결과를 확인하는 화면과 실패했을 때 다시 처리하는 흐름을 연결합니다. 설치 후에는 접속 권한·재부팅·백업 복원을 검수 항목으로 정리합니다. 가린 문서 예시, 월 처리량, 원하는 결과 형식을 알려주시면 구성안과 시험할 항목부터 구체적으로 이야기할 수 있습니다. 민감한 원본이나 비밀번호는 첫 문의에 보내지 마세요.

이어서 읽기: 클라우드 AI와 로컬 AI 선택 기준, 카카오톡 업무 지시 흐름, 문서 검색과 RAG.

사내 AI 서버를 실제 업무에 연결하려면 hello@robotext.co.kr로 구축 문의를 보내주세요. 업무 설명을 바탕으로 설치 범위, 운영 담당과 검수 기준을 함께 정하겠습니다.

참고한 자료

2026년 11월 2~3일에 확인했습니다. 가격과 버전은 이후 바뀔 수 있습니다.

  • 장비: Apple 한국 Mac mini 사양·뉴스룸(2026-08-25), Apple 지원 문서 103253·125517·128108, llama.cpp 토론 4167, mlx-lm 토론의 M6 측정, Jeff Geerling의 Mac Studio RDMA 측정(2025-12-18)
  • 소프트웨어: Ollama FAQ와 릴리스 v0.40.0·v0.40.13, Ollama 이슈 #17280·#18131과 변경안 #17317, Open WebUI 문서·릴리스 v0.12.5·보안 공지 목록, Docker 구독 안내, OrbStack 가격표, Tailscale Funnel 문서, Apple FileVault 배포 문서
  • 모델: Ollama 모델 라이브러리, EXAONE AI Model License 1.2-NC, Kanana License, HyperCLOVA X SEED 라이선스, KBS: A Korean Benchmark Suite(2026-10-15), Marchisio 등 양자화 연구(2024-10-12), Artificial Analysis 지수
  • 보안: Wiz(2024-06), Oligo(2024-10), Cisco(2025-09), SentinelLABS(2026), Cyera(2026-05), Indusface(2026-05)
  • 법규: 개인정보보호위원회 생성형 AI 안내서 관련 법무법인 자료와 보도(2025-08), 개정 개인정보보호법 관련 율촌 브리핑과 머니투데이(2026-09), AI 기본법 관련 세종 자료와 SK AX(2026), 금융위원회 망분리 보도(2026-06)
  • 사례·비용: 이코노미스트(2023-03-30), 연합뉴스(2023-05-02), Anthropic·OpenAI·Google API 공식 요금표, 아이티데일리·입찰 집계(JDC, 2026-09~10), 전자신문(2026-05-18), 이코노믹리뷰(2026-09-22), Bloomberg Law(2026-09-11), Valletta Software 사례, arXiv 2407.00110·2512.23029, GeekNews 스레드(2025-07)
  • 시세: 다나와 목록(2026-11-03), DRAMeXchange(2026-11-02), TrendForce 보도자료(2026-07~09), RunPod 요금표(2026-10-28), Micron 실적 보도, Notebookcheck(경계현 발언)

로보텍스트와 업무에 적용하기

우리 업무에 맞는 AI 서버 구성을 정해보세요

문의에 적어주실 내용
처리할 업무, 문서 종류, 사용자 수와 외부 전송 제한. 가린 예시나 업무 설명이면 충분합니다.
함께 정할 내용
로컬·클라우드 구성안, 설치 범위와 운영 검수 항목을 정리합니다.
사내 AI 서버 문의하기

hello@robotext.co.kr

관련 글

공유하기