파인튜닝 vs 프롬프트 엔지니어링 — 언제 무엇을 쓸까

LLM을 내 용도에 맞추는 방법은 크게 두 가지: 프롬프트 엔지니어링(입력을 잘 구성)과 파인튜닝(모델 자체를 재학습). 2026년 현재 대부분의 경우 프롬프트로 충분하고, 파인튜닝은 매우 특수한 경우에만 필요합니다.

프롬프트 엔지니어링은 모델을 변경하지 않고 입력을 최적화하는 방법이다. System prompt, few-shot 예제, Chain-of-Thought, RAG 등을 조합한다. 장점은 즉시 적용 가능하고, 모델 업데이트 시 자동으로 성능이 개선되며, 비용이 낮다는 것이다. 대부분의 비즈니스 요구사항은 잘 설계된 프롬프트 + RAG로 해결된다.

파인튜닝은 기본 모델을 도메인 데이터로 재학습시키는 방법이다. 수천~수만 건의 학습 데이터가 필요하고, GPU 컴퓨팅 비용이 발생하며, 모델 버전이 올라갈 때마다 재학습해야 한다. 하지만 특수한 도메인 용어, 일관된 출력 형식, 극단적인 지연 최적화가 필요한 경우에는 파인튜닝이 유일한 선택이다.

프롬프트가 적합한 경우: 범용 작업, 빠른 반복, 비용 절약, 모델 업데이트 자동 반영. 파인튜닝이 필요한 경우: 매우 특수한 도메인 용어, 일관된 출력 형식이 필수, 수만 건 이상의 학습 데이터 보유.

다음 질문에 순서대로 답하라: 1) 프롬프트 + few-shot으로 원하는 품질이 나오는가? → Yes면 프롬프트로 충분. 2) RAG로 도메인 지식을 보강하면 해결되는가? → Yes면 RAG 구축. 3) 독자적 용어/형식/톤이 필수인가? → Yes면 파인튜닝 검토. 4) 학습 데이터 1000건 이상 확보 가능한가? → No면 프롬프트로 돌아가라.