LLM API 비용 최적화 실전 가이드 2026 — 프롬프트 캐싱·배치 처리·소형 모델 라우팅으로 청구서 줄이기

앤트로픽 프롬프트 캐싱 적용 방법 (Python)
import anthropic

client = anthropic.Anthropic()

# system 프롬프트에 cache_control 추가 — 1024 토큰 이상이어야 캐싱됨
response = client.messages.create(
    model="claude-opus-4-8",
    max_tokens=1024,
    system=[
        {
            "type": "text",
            "text": """당신은 코드 리뷰 전문 AI 어시스턴트입니다.
다음 규칙을 따라 피드백을 제공합니다:
1. 보안 취약점을 최우선으로 점검합니다
2. 성능 이슈를 두 번째로 확인합니다
3. 코드 가독성과 유지보수성을 세 번째로 검토합니다
... (1,000 토큰 이상의 긴 시스템 프롬프트)
""",
            "cache_control": {"type": "ephemeral"}
        }
    ],
    messages=[
        {"role": "user", "content": "이 Python 코드를 리뷰해줘: def foo(x): return x*2"}
    ]
)

# 캐시 사용 현황 확인
print(f"캐시 생성 토큰: {response.usage.cache_creation_input_tokens}")
print(f"캐시 조회 토큰(90% 할인): {response.usage.cache_read_input_tokens}")

앤트로픽 배치 API 사용 예시 (Python)
import anthropic

client = anthropic.Anthropic()

reviews_list = ["배송이 빨라서 좋았어요", "품질이 기대 이하였습니다", "보통이에요"]

# 배치 요청 생성 — 여러 요청을 한 번에 제출
batch = client.messages.batches.create(
    requests=[
        {
            "custom_id": f"review-{i}",
            "params": {
                "model": "claude-haiku-4-5",  # 소형 모델 + 배치 = 이중 절감
                "max_tokens": 64,
                "messages": [
                    {
                        "role": "user",
                        "content": f"다음 리뷰를 긍정/부정/중립 중 하나로만 분류해: {review}"
                    }
                ]
            }
        }
        for i, review in enumerate(reviews_list)
    ]
)

print(f"배치 ID: {batch.id}")
print(f"처리 중인 요청 수: {batch.request_counts.processing}")

# 배치 완료 후 결과 조회 (실제로는 폴링 또는 웹훅)
results = client.messages.batches.results(batch.id)
for result in results:
    if result.result.type == "succeeded":
        print(f"{result.custom_id}: {result.result.message.content[0].text}")

대화 히스토리 슬라이딩 윈도우 구현 (Python)
import anthropic

client = anthropic.Anthropic()
MAX_HISTORY = 10  # 최근 10개 메시지(5턴)만 유지

def chat_with_sliding_window(user_message, history):
    if len(history) >= MAX_HISTORY:
        # 가장 오래된 사용자·어시스턴트 쌍 제거
        history = history[2:]

    history.append({"role": "user", "content": user_message})

    response = client.messages.create(
        model="claude-sonnet-4-6",
        max_tokens=1024,
        system="당신은 친절한 어시스턴트입니다.",
        messages=history
    )

    assistant_message = response.content[0].text
    history.append({"role": "assistant", "content": assistant_message})

    # 비용 모니터링용 로그
    print(f"이번 요청 입력 토큰: {response.usage.input_tokens}")

    return assistant_message, history

# 사용 예시
history = []
reply, history = chat_with_sliding_window("클로드 코드 배포 방법 알려줘", history)
print(reply)