Ollama 로컬 LLM 실행 완벽 가이드 — 설치부터 API 연동까지

Ollama 설치 — macOS / Linux / Windows

macOS — Homebrew 설치
brew install ollama

# 서버 시작
ollama serve

Linux — 공식 설치 스크립트
curl -fsSL https://ollama.com/install.sh | sh

# systemd 서비스 등록 및 시작
sudo systemctl enable ollama
sudo systemctl start ollama

# 상태 확인
sudo systemctl status ollama

모델 다운로드와 실행 — llama3, mistral, gemma

모델 다운로드 및 실행
# 모델 내려받기
ollama pull llama3.2
ollama pull mistral
ollama pull gemma2:9b

# 대화 시작 (내려받기 포함)
ollama run llama3.2

# 설치된 모델 목록
ollama list

# 특정 모델 삭제
ollama rm mistral

Ollama REST API — 자체 앱 연동

curl로 API 직접 호출
# 기본 generate
curl http://localhost:11434/api/generate \
  -d '{"model":"llama3.2","prompt":"Node.js에서 비동기 처리란?","stream":false}'

# chat (멀티턴)
curl http://localhost:11434/api/chat \
  -d '{"model":"llama3.2","messages":[{"role":"user","content":"타입스크립트와 자바스크립트 차이를 설명해줘"}],"stream":false}'

OpenAI SDK로 Ollama 연결 (Node.js)
import OpenAI from 'openai';

const client = new OpenAI({
  baseURL: 'http://localhost:11434/v1',
  apiKey: 'ollama', // 아무 문자열이나 가능
});

const response = await client.chat.completions.create({
  model: 'llama3.2',
  messages: [{ role: 'user', content: 'Express 미들웨어 작성 예시를 보여줘' }],
});

console.log(response.choices[0].message.content);

Modelfile로 커스텀 모델 만들기

Modelfile 작성 예시
# Modelfile
FROM llama3.2

SYSTEM """
너는 시니어 백엔드 개발자 전문 어시스턴트다.
항상 Node.js, Python, Go 예시를 포함하고,
보안 취약점이 있는 코드는 반드시 경고해라.
"""

PARAMETER temperature 0.3
PARAMETER num_ctx 8192
PARAMETER top_p 0.9

Modelfile로 모델 빌드 및 실행
# Modelfile 기반 모델 생성
ollama create backend-assistant -f ./Modelfile

# 생성된 모델 확인
ollama list

# 실행
ollama run backend-assistant

GPU 가속 설정과 메모리 관리

GPU 상태 확인 및 메모리 설정
# GPU 사용 현황 확인
ollama ps

# 모델을 메모리에 상시 유지 (keep_alive=-1)
curl http://localhost:11434/api/generate \
  -d '{"model":"llama3.2","keep_alive":-1,"prompt":""}'

# 모델을 즉시 메모리에서 해제
curl http://localhost:11434/api/generate \
  -d '{"model":"llama3.2","keep_alive":0,"prompt":""}'

# NVIDIA GPU 레이어 수 제한 (VRAM 4 GB 환경)
export OLLAMA_NUM_GPU=20
ollama serve

Open WebUI 연동 — 로컬 ChatGPT UI 구축

Docker로 Open WebUI 실행
# CPU 전용 (Ollama가 같은 호스트에서 실행 중인 경우)
docker run -d \
  -p 3000:8080 \
  --add-host=host.docker.internal:host-gateway \
  -v open-webui:/app/backend/data \
  --name open-webui \
  --restart always \
  ghcr.io/open-webui/open-webui:main

# 브라우저에서 확인
# http://localhost:3000