로컬 LLM 실행 가이드 — Ollama, LM Studio, llama.cpp

로컬 LLM을 쓰는 이유 — 프라이버시, 비용, 오프라인

도구 비교 — Ollama vs LM Studio vs llama.cpp

Ollama 설치 — 모델 다운로드부터 실행까지

Ollama 설치 (macOS / Linux)
# macOS — Homebrew
brew install ollama

# Linux — 공식 설치 스크립트
curl -fsSL https://ollama.com/install.sh | sh

# Windows — winget
winget install Ollama.Ollama

모델 다운로드 및 실행
# Ollama 서버 시작 (백그라운드 실행)
ollama serve

# 모델 다운로드 + 대화 시작 (새 터미널)
ollama run llama3.2

# 다른 모델 예시
ollama run mistral
ollama run phi3
ollama run codellama:13b

# 다운로드된 모델 목록 확인
ollama list

# 특정 모델 삭제
ollama rm phi3

Ollama REST API 호출 (curl)
# chat completions (OpenAI 호환 엔드포인트)
curl http://localhost:11434/v1/chat/completions \
  -H "Content-Type: application/json" \
  -d '{
    "model": "llama3.2",
    "messages": [
      {"role": "user", "content": "Python으로 피보나치 함수를 작성해줘"}
    ]
  }'

# 스트리밍 응답 (기본 Ollama API)
curl http://localhost:11434/api/generate \
  -d '{"model": "llama3.2", "prompt": "Hello", "stream": false}'

LM Studio — GUI 환경에서 모델 관리하기

LM Studio 로컬 서버 API 호출 (Python openai SDK)
from openai import OpenAI

# LM Studio 로컬 서버 연결
client = OpenAI(
    base_url="http://localhost:1234/v1",
    api_key="lm-studio"  # 임의 값, 로컬이므로 검증 안 함
)

response = client.chat.completions.create(
    model="lmstudio-community/Meta-Llama-3-8B-Instruct-GGUF",
    messages=[
        {"role": "system", "content": "당신은 Python 전문 개발자입니다."},
        {"role": "user", "content": "비동기 HTTP 클라이언트 예시를 작성해줘"}
    ],
    temperature=0.7
)

print(response.choices[0].message.content)

llama.cpp — 저사양 환경에서 직접 빌드하기

llama.cpp 빌드 및 실행 (macOS Apple Silicon 기준)
# 저장소 클론
git clone https://github.com/ggerganov/llama.cpp
cd llama.cpp

# macOS Metal 가속 빌드
cmake -B build -DLLAMA_METAL=ON
cmake --build build --config Release -j$(sysctl -n hw.logicalcpu)

# GGUF 모델 파일 다운로드 (Hugging Face CLI)
pip install huggingface_hub
huggingface-cli download \
  bartowski/Meta-Llama-3.1-8B-Instruct-GGUF \
  Meta-Llama-3.1-8B-Instruct-Q4_K_M.gguf \
  --local-dir ./models

# 추론 실행
./build/bin/llama-cli \
  -m ./models/Meta-Llama-3.1-8B-Instruct-Q4_K_M.gguf \
  -p "Python으로 퀵소트 구현해줘" \
  -n 512

# HTTP 서버 모드 (OpenAI 호환)
./build/bin/llama-server \
  -m ./models/Meta-Llama-3.1-8B-Instruct-Q4_K_M.gguf \
  --host 0.0.0.0 --port 8080

모델 추천 및 VRAM 요구사항

API 호출 예시 및 프롬프트 체이닝

Ollama Python SDK로 프롬프트 체이닝
import ollama

def review_and_fix_code(raw_code: str) -> dict:
    """코드 리뷰 후 개선안 생성 — 2단계 프롬프트 체이닝"""

    # 1단계: 코드 리뷰
    review = ollama.chat(
        model="llama3.2",
        messages=[
            {
                "role": "system",
                "content": "당신은 Python 시니어 개발자입니다. 코드를 리뷰하고 문제점을 JSON으로 반환하세요."
            },
            {
                "role": "user",
                "content": f"다음 코드를 리뷰해줘:\n\n{raw_code}"
            }
        ]
    )
    review_result = review["message"]["content"]

    # 2단계: 개선된 코드 생성
    fixed = ollama.chat(
        model="llama3.2",
        messages=[
            {
                "role": "system",
                "content": "당신은 Python 시니어 개발자입니다. 리뷰 결과를 바탕으로 개선된 코드를 작성하세요."
            },
            {
                "role": "user",
                "content": f"원본 코드:\n{raw_code}\n\n리뷰 결과:\n{review_result}\n\n개선된 코드를 작성해줘."
            }
        ]
    )

    return {
        "review": review_result,
        "fixed_code": fixed["message"]["content"]
    }

# 사용 예시
result = review_and_fix_code("""
def get_user(id):
    users = db.query('SELECT * FROM users')
    for u in users:
        if u.id == id:
            return u
""")
print(result["fixed_code"])

자주 겪는 문제와 해결법