LLM 옵저버빌리티 도구 완전 비교 — LangSmith vs Langfuse vs Helicone 2026

LangSmith 설정 — 환경 변수 2개로 LangChain 자동 트레이싱
# .env
LANGCHAIN_TRACING_V2=true
LANGCHAIN_API_KEY=lsv2_pt_your_api_key_here
LANGCHAIN_PROJECT=my-ai-app  # 선택사항, 기본값: default

# Python — 추가 코드 없이 LangChain 자동 추적
from langchain_anthropic import ChatAnthropic
from langchain_core.messages import HumanMessage

# 이 호출부터 자동으로 LangSmith에 트레이스됨
llm = ChatAnthropic(model="claude-sonnet-4-6")
response = llm.invoke([HumanMessage(content="SQL 인젝션 방어 방법 3가지")])

# 수동 트레이싱 (LangChain 외 스택)
from langsmith import traceable

@traceable(name="my-llm-call", tags=["production"])
def call_llm(prompt: str) -> str:
    import anthropic
    client = anthropic.Anthropic()
    msg = client.messages.create(
        model="claude-sonnet-4-6",
        max_tokens=1024,
        messages=[{"role": "user", "content": prompt}]
    )
    return msg.content[0].text

result = call_llm("Redis 캐시 패턴 설명해줘")
# LangSmith 대시보드: https://smith.langchain.com 에서 확인

Langfuse 통합 — Python SDK로 Anthropic API 트레이싱
# pip install langfuse anthropic

import os
from langfuse import Langfuse
from langfuse.decorators import observe, langfuse_context
import anthropic

# Langfuse 초기화
langfuse = Langfuse(
    public_key=os.environ["LANGFUSE_PUBLIC_KEY"],
    secret_key=os.environ["LANGFUSE_SECRET_KEY"],
    host="https://cloud.langfuse.com"  # 셀프호스팅: 자체 URL
)

@observe()  # 이 데코레이터로 함수 전체가 트레이스됨
def generate_code_review(code: str, user_id: str) -> str:
    langfuse_context.update_current_observation(
        user_id=user_id,
        tags=["code-review", "production"]
    )
    
    client = anthropic.Anthropic()
    message = client.messages.create(
        model="claude-sonnet-4-6",
        max_tokens=2048,
        messages=[{
            "role": "user",
            "content": f"다음 코드를 리뷰해줘:\n\n{code}"
        }]
    )
    
    result = message.content[0].text
    
    # 수동 점수 추가 (선택)
    langfuse_context.score_current_observation(
        name="completeness",
        value=1.0,
        comment="리뷰가 충분히 구체적임"
    )
    
    return result

# 호출 — 자동으로 Langfuse에 기록됨
review = generate_code_review(
    code="def add(a, b): return a + b",
    user_id="user_123"
)

# Langfuse 대시보드에서 트레이스, 토큰, 비용 확인
# https://cloud.langfuse.com

Langfuse 셀프호스팅 — docker-compose.yml 최소 구성
# docker-compose.yml
version: '3.9'

services:
  langfuse-server:
    image: langfuse/langfuse:latest
    depends_on:
      - db
    ports:
      - "3000:3000"
    environment:
      - NODE_ENV=production
      - DATABASE_URL=postgresql://postgres:postgres@db:5432/langfuse
      - NEXTAUTH_SECRET=your-secret-32-chars-minimum-here
      - NEXTAUTH_URL=https://langfuse.yourdomain.com
      - SALT=your-salt-here
      - ENCRYPTION_KEY=0000000000000000000000000000000000000000000000000000000000000000

  db:
    image: postgres:15-alpine
    volumes:
      - langfuse_postgres:/var/lib/postgresql/data
    environment:
      - POSTGRES_USER=postgres
      - POSTGRES_PASSWORD=postgres
      - POSTGRES_DB=langfuse

volumes:
  langfuse_postgres:

# 실행: docker compose up -d
# 접속: http://localhost:3000
# 프로덕션: Nginx 리버스 프록시 + HTTPS 설정 권장

Helicone 통합 — base URL 변경 한 줄로 모니터링 시작
# pip install anthropic helicone

import anthropic
import os

# Anthropic SDK — base_url 하나만 변경
client = anthropic.Anthropic(
    api_key=os.environ["ANTHROPIC_API_KEY"],
    base_url="https://anthropic.helicone.ai",
    default_headers={
        "Helicone-Auth": f"Bearer {os.environ['HELICONE_API_KEY']}",
        # 선택: 사용자 및 세션 추적
        "Helicone-User-Id": "user_123",
        "Helicone-Session-Id": "session_abc",
        # 선택: 캐싱 활성화 (동일 프롬프트 재사용 시 비용 절감)
        "Helicone-Cache-Enabled": "true",
    }
)

message = client.messages.create(
    model="claude-sonnet-4-6",
    max_tokens=1024,
    messages=[{"role": "user", "content": "Docker 멀티스테이지 빌드 예시 보여줘"}]
)

print(message.content[0].text)

# OpenAI SDK — 동일 방식
from openai import OpenAI

client_oai = OpenAI(
    api_key=os.environ["OPENAI_API_KEY"],
    base_url="https://oai.helicone.ai/v1",
    default_headers={
        "Helicone-Auth": f"Bearer {os.environ['HELICONE_API_KEY']}"
    }
)

# Helicone 대시보드: https://helicone.ai/dashboard 에서 비용·지연·오류 확인

Claude API + Helicone 게이트웨이 + Langfuse 앱 트레이싱 동시 구성
# pip install anthropic langfuse

import anthropic
import os
from langfuse.decorators import observe, langfuse_context

# Helicone 프록시를 통한 Anthropic 클라이언트
client = anthropic.Anthropic(
    api_key=os.environ["ANTHROPIC_API_KEY"],
    base_url="https://anthropic.helicone.ai",
    default_headers={
        "Helicone-Auth": f"Bearer {os.environ['HELICONE_API_KEY']}",
        "Helicone-Cache-Enabled": "true",
    }
)

@observe(name="rag-pipeline")  # Langfuse 트레이싱
def run_rag_pipeline(query: str, context_docs: list[str], user_id: str) -> str:
    langfuse_context.update_current_observation(
        user_id=user_id,
        input={"query": query, "doc_count": len(context_docs)},
        tags=["rag", "production"]
    )
    
    context = "\n\n".join(context_docs)
    prompt = f"""다음 문서를 참고해서 질문에 답해줘.

문서:
{context}

질문: {query}"""
    
    # Helicone 게이트웨이를 통해 호출 → 모델 레이어 비용/지연 추적
    response = client.messages.create(
        model="claude-sonnet-4-6",
        max_tokens=2048,
        messages=[{"role": "user", "content": prompt}]
    )
    
    result = response.content[0].text
    
    langfuse_context.update_current_observation(
        output=result,
        usage={"input_tokens": response.usage.input_tokens,
               "output_tokens": response.usage.output_tokens}
    )
    
    return result

# Langfuse: 앱 흐름 추적 (어느 단계에서 실패했는지)
# Helicone: 모델 호출 비용·지연·캐시 히트 추적
answer = run_rag_pipeline(
    query="Kubernetes에서 OOMKilled가 발생하는 원인과 해결법",
    context_docs=["...k8s docs..."],
    user_id="engineer_456"
)