로컬 AI 개발 환경 구축 — GPU 없이 LLM 돌리기

로컬 LLM 실행 도구 비교 — Ollama, LM Studio, llama.cpp

Ollama 설치와 기본 사용

Ollama 설치 및 기본 명령
# macOS/Linux 설치
curl -fsSL https://ollama.com/install.sh | sh

# Windows: https://ollama.com/download 에서 설치 파일 다운로드

# 모델 실행 (없으면 자동 다운로드)
ollama run llama3.2          # Meta Llama 3.2 3B (2GB)
ollama run llama3.2:1b       # 경량 1B 버전 (1.3GB)
ollama run qwen2.5:7b        # Alibaba Qwen 2.5 7B (4.7GB)
ollama run gemma3:9b         # Google Gemma 3 9B (5.6GB)
ollama run mistral:7b        # Mistral 7B (4.1GB)
ollama run deepseek-r1:7b    # DeepSeek-R1 7B (4.7GB)

# 모델 목록 확인
ollama list

# 모델 삭제
ollama rm llama3.2

# 백그라운드 서버 실행 (기본: localhost:11434)
ollama serve

# REST API 호출 (curl)
curl http://localhost:11434/api/chat -d '{
  "model": "llama3.2",
  "messages": [{"role": "user", "content": "TypeScript 제네릭을 설명해줘"}],
  "stream": false
}'

# OpenAI 호환 엔드포인트 (drop-in replacement)
curl http://localhost:11434/v1/chat/completions   -H "Content-Type: application/json"   -d '{
    "model": "llama3.2",
    "messages": [{"role": "user", "content": "hello"}]
  }'

양자화 모델(GGUF) 선택 가이드

Apple Silicon — Metal GPU와 MLX 프레임워크

MLX — Apple Silicon에서 LLM 실행
# MLX LM 설치 (Python 3.11+, macOS Apple Silicon 전용)
pip install mlx-lm

# Hugging Face에서 MLX 변환 모델 실행
python -m mlx_lm.generate   --model mlx-community/Llama-3.2-3B-Instruct-4bit   --prompt "Rust의 소유권 개념을 설명해줘"

# 대화 모드
python -m mlx_lm.chat   --model mlx-community/Qwen2.5-7B-Instruct-4bit

# 서버 모드 (OpenAI 호환 API)
python -m mlx_lm.server   --model mlx-community/Llama-3.2-3B-Instruct-4bit   --port 8080

# 성능 참고 (M3 Pro 18GB 기준, 4bit 양자화)
# Llama 3.2 3B:  ~80 tokens/sec
# Qwen 2.5 7B:   ~40 tokens/sec
# Llama 3.1 8B:  ~35 tokens/sec

llama.cpp 직접 빌드 — 최고 성능 최적화

llama.cpp 빌드 및 서버 실행
# 소스 클론
git clone https://github.com/ggerganov/llama.cpp
cd llama.cpp

# macOS Apple Silicon (Metal GPU 가속)
cmake -B build -DGGML_METAL=ON
cmake --build build --config Release -j$(nproc)

# Linux CUDA (NVIDIA GPU)
cmake -B build -DGGML_CUDA=ON
cmake --build build --config Release -j$(nproc)

# Linux CPU 전용 (AVX2 최적화)
cmake -B build -DGGML_AVX2=ON
cmake --build build --config Release -j$(nproc)

# GGUF 모델 다운로드 (Hugging Face CLI)
pip install huggingface_hub
huggingface-cli download   bartowski/Llama-3.2-3B-Instruct-GGUF   Llama-3.2-3B-Instruct-Q4_K_M.gguf   --local-dir ./models

# HTTP 서버 실행 (OpenAI 호환)
./build/bin/llama-server   --model ./models/Llama-3.2-3B-Instruct-Q4_K_M.gguf   --port 8080   --ctx-size 4096   --n-gpu-layers 99   --parallel 4

# 직접 추론 (CLI)
./build/bin/llama-cli   -m ./models/Llama-3.2-3B-Instruct-Q4_K_M.gguf   -p "TypeScript 제네릭을 코드 예시와 함께 설명해줘"   -n 512

개발 환경 통합 — REST API와 LangChain 연동

TypeScript — OpenAI SDK로 Ollama 연동
import OpenAI from 'openai'

// baseURL만 변경 — 나머지 코드는 동일
const client = new OpenAI({
  baseURL: 'http://localhost:11434/v1',
  apiKey: 'ollama', // 값은 무관, 필드는 필요
})

async function chat(prompt: string): Promise<string> {
  const response = await client.chat.completions.create({
    model: 'llama3.2',
    messages: [
      { role: 'system', content: '당신은 시니어 TypeScript 개발자입니다.' },
      { role: 'user', content: prompt }
    ],
    temperature: 0.7,
    max_tokens: 1024,
  })
  return response.choices[0].message.content ?? ''
}

// 스트리밍
async function streamChat(prompt: string) {
  const stream = await client.chat.completions.create({
    model: 'llama3.2',
    messages: [{ role: 'user', content: prompt }],
    stream: true,
  })
  for await (const chunk of stream) {
    process.stdout.write(chunk.choices[0]?.delta?.content ?? '')
  }
}

Python — LangChain + Ollama 연동
from langchain_ollama import ChatOllama
from langchain_core.messages import HumanMessage, SystemMessage
from langchain_core.output_parsers import StrOutputParser
from langchain_core.prompts import ChatPromptTemplate

# 기본 사용
llm = ChatOllama(model='llama3.2', temperature=0.7)

response = llm.invoke([
    SystemMessage(content='당신은 코드 리뷰 전문가입니다.'),
    HumanMessage(content='이 함수를 리뷰해주세요: def add(a, b): return a + b'),
])
print(response.content)

# 체인 구성
prompt = ChatPromptTemplate.from_messages([
    ('system', '당신은 {role}입니다.'),
    ('human', '{question}'),
])

chain = prompt | llm | StrOutputParser()

result = chain.invoke({
    'role': '시니어 백엔드 개발자',
    'question': 'REST API와 GraphQL의 차이를 설명해줘',
})
print(result)