Meta Llama Stack 실전 가이드 — OpenAI 호환 API로 Llama 4 로컬·프로덕션 배포

Llama Stack 설치
# Python 3.10+ 필요
pip install llama-stack

# Ollama로 Llama 4 Scout 모델 다운로드
ollama pull llama4:scout

로컬 Llama Stack 서버 시작
# Ollama provider로 서버 시작
llama stack build --template ollama --image-type conda

# 서버 실행 (기본 포트 5001)
llama stack run ollama

# 서버 상태 확인
curl http://localhost:5001/v1/health

OpenAI SDK로 Llama Stack 서버 사용
from openai import OpenAI

# base_url만 Llama Stack 서버로 교체
client = OpenAI(
    base_url="http://localhost:5001/v1",
    api_key="llama-stack"  # 로컬에서는 임의 값 가능
)

response = client.chat.completions.create(
    model="meta-llama/Llama-4-Scout-17B-16E-Instruct",
    messages=[
        {"role": "system", "content": "당신은 코드 리뷰 전문가입니다."},
        {"role": "user", "content": "이 함수의 문제점을 찾아줘: def div(a, b): return a/b"}
    ]
)

print(response.choices[0].message.content)

Llama Stack 에이전트 with 도구 호출
from llama_stack_client import LlamaStackClient
from llama_stack_client.types import Attachment
from llama_stack_client.lib.agents.agent import Agent
from llama_stack_client.lib.agents.event_logger import EventLogger

client = LlamaStackClient(base_url="http://localhost:5001")

# 에이전트 생성
agent = Agent(
    client,
    model="meta-llama/Llama-4-Scout-17B-16E-Instruct",
    instructions="당신은 웹 검색과 코드 실행이 가능한 어시스턴트입니다.",
    tools=["builtin::websearch", "builtin::code_interpreter"],
)

# 세션 시작 및 실행
session_id = agent.create_session("my-session")
response = agent.create_turn(
    messages=[{"role": "user", "content": "Python 최신 버전을 확인하고 Hello World를 실행해줘"}],
    session_id=session_id,
)

for log in EventLogger().log(response):
    log.print()

run.yaml — MCP 서버 등록
# ~/.llama/run.yaml
tools:
  tool_groups:
    - toolgroup_id: mcp::filesystem
      mcp_endpoint:
        uri: http://localhost:8000/sse
    - toolgroup_id: mcp::github
      mcp_endpoint:
        uri: http://localhost:8001/sse

vLLM provider로 프로덕션 배포
# vLLM 서버 시작 (GPU 서버에서 실행)
python -m vllm.entrypoints.openai.api_server \
  --model meta-llama/Llama-4-Scout-17B-16E-Instruct \
  --port 8080 \
  --tensor-parallel-size 2

# Llama Stack을 vLLM provider로 실행
VLLM_URL=http://gpu-server:8080 llama stack run vllm