네이버가 AI 검색 환각 현상을 줄이는 쿼리 명확화 기술을 공개했다. 모호한 질문을 감지해 되묻는 메커니즘, 하이퍼클로바 X 기반 쿼리 재작성, RAG 품질 개선 방법을 분석했다. 개발자가 자체 AI 검색·RAG 시스템에 적용할 수 있는 쿼리 명확화 패턴과 Python 구현 코드, LangChain·LlamaIndex 연동 방법도 함께 정리했다.
한 줄 요약: 네이버가 AI 검색의 환각 현상을 줄이는 기술을 공개했다. 핵심은 '모호한 질문에는 답 대신 되묻는다'는 전략이다. 모호한 쿼리를 먼저 감지하고 명확화 질문을 던진 뒤, 명확해진 의도로 검색과 답변 품질을 높이는 방식이다.
이 글이 필요한 사람: 자체 RAG 시스템을 구축 중인 개발자, AI 검색 서비스의 환각 문제를 해결하려는 엔지니어, 챗봇이나 AI 어시스턴트에서 답변 정확도를 높이고 싶은 팀.
AI 검색에서 환각이 발생하는 진짜 이유
AI 검색 서비스의 환각(hallucination)은 모델이 '없는 사실을 만들어내는 것'으로 알려져 있지만, 실제 발생 원인은 더 구체적이다. 검색 기반 AI 답변에서 환각의 가장 흔한 원인은 '모호한 쿼리'다.
사용자가 '파이썬 설치 방법'이라고 입력하면, 이 질문은 다양하게 해석된다. 윈도우인지 맥인지, 파이썬 2인지 3인지, venv 설정까지 포함인지, 처음 설치인지 버전 전환인지. 쿼리가 모호하면 검색 시스템이 잘못된 문서를 상위에 올릴 수 있고, AI는 그 문서를 바탕으로 답변을 생성한다. 검색이 틀리면 답변도 틀린다.
두 번째 원인은 검색 범위를 벗어난 질문이다. 사용자가 최신 정보를 요구하지만 검색 인덱스에 해당 정보가 없거나, 쿼리와 관련성이 낮은 문서만 있을 때, AI는 검색 결과가 부실해도 그럴싸한 답변을 만들어낸다. 환각은 여기서 발생한다.
세 번째는 질문 자체가 사실 확인이 불가능한 주관적 영역에 걸쳐 있는 경우다. '가장 좋은 프레임워크는?'처럼 맥락 없이는 정답이 없는 질문에, 모델이 단정적으로 답하려다 근거 없는 주장을 생성한다.
네이버 AI 검색은 이 문제를 '답하기 전에 먼저 질문을 명확히 한다'는 접근으로 공략했다. 기술 자체는 단순해 보이지만, 환각을 원천에서 줄이는 효과적인 전략이다.
모호한 쿼리를 감지하면 네이버 AI 검색은 답 대신 명확화 질문을 먼저 제시한다
네이버의 해법 — 모호하면 되묻는다
네이버가 공개한 AI 검색 기술의 핵심은 쿼리 명확화(Query Clarification) 메커니즘이다. 시스템이 입력된 쿼리를 받아들이고 즉시 답하는 대신, 먼저 그 쿼리가 명확한지를 판단한다. 모호하다고 판단되면 답변 대신 되묻기(follow-up question)를 제시한다.
이 흐름을 단계별로 보면 다음과 같다.
쿼리 수신: 사용자 입력이 들어온다.
모호성 감지: 쿼리 분류기가 입력의 의도가 명확한지 판단한다. '파이썬 설치 방법'처럼 환경, 목적, 버전이 불명확한 쿼리는 모호로 분류된다.
명확화 질문 생성: 모호한 쿼리에 대해 핵심 불확실 요소를 묻는 후속 질문을 생성한다. '어떤 운영체제를 사용하시나요?'처럼 간결하게.
재쿼리: 사용자가 답하면, 명확해진 쿼리로 다시 검색을 수행한다.
답변 생성: 명확화된 컨텍스트를 바탕으로 훨씬 정확한 문서를 검색해 답변을 생성한다.
이 방식은 검색 품질을 높이면서 동시에 AI가 부정확한 정보를 자신 있게 제공하는 상황을 줄인다. '모르는 것에 대해 솔직하게 되묻는다'는 단순한 원칙이 환각을 실질적으로 줄이는 효과를 낸다는 점이 핵심이다.
기술 구현 방식 — 쿼리 분류기와 명확화 질문 생성
네이버가 공개한 기술의 구체적 구현 방식을 개발자 관점에서 분석하면 다음과 같다.
쿼리 의도 분류기: 입력 쿼리를 '명확 / 모호 / 특정 불가'로 분류하는 경량 분류기를 앞단에 둔다. 이 분류기는 별도 대형 LLM 호출 없이도 동작하도록 설계하는 것이 실용적이다. 단어 수, 지시어 유무, 특정 기술이나 제품명 포함 여부 같은 규칙 기반 신호를 먼저 사용하고, 판단이 불명확한 케이스만 소형 LLM으로 분류하는 방식이 효율적이다.
명확화 질문 생성기: 모호로 분류된 쿼리에 대해, 핵심 불확실 요소를 파악하고 그에 맞는 후속 질문을 생성한다. 이때 '너무 많이 되묻지 않는다'는 원칙이 중요하다. 최대 2~3개의 핵심 질문만 제시하고, 가능하면 선택지(버튼 형태) 방식으로 제공한다. 자연어 답변보다 클릭 한 번으로 답할 수 있는 선택지가 사용자 경험 측면에서 유리하다.
하이퍼클로바 X(HyperCLOVA X) 연동: 네이버의 자체 언어 모델을 활용한 의미 기반 쿼리 확장도 병행한다. 한국어 특성상 동일 의미를 표현하는 방식이 다양하기 때문에, 모호성 감지 외에도 동의어·관련어 확장을 통해 검색 재현율(recall)을 높인다. 한국어에 특화된 모델이 한국어 검색 품질을 결정적으로 개선한다.
쿼리 모호성 감지 — Python 예시
# 소형 모델로 쿼리 모호성 판단
CLARIFICATION_PROMPT = """
사용자 질문을 보고 답변에 필요한 정보가 충분한지 판단하세요.
질문: {query}
- CLEAR: 질문이 구체적이어서 바로 답할 수 있음
- AMBIGUOUS: 추가 정보 없이는 정확히 답하기 어려움
- 모호하다면 핵심 불확실 요소 1~2개를 작성
형식: CLEAR 또는 AMBIGUOUS: [불확실 요소]
"""
def check_query_ambiguity(query: str) -> dict:
result = llm.invoke(CLARIFICATION_PROMPT.format(query=query))
if result.startswith("CLEAR"):
return {"is_ambiguous": False}
else:
return {
"is_ambiguous": True,
"unclear_aspects": result.replace("AMBIGUOUS: ", "")
}
쿼리 명확화 → 재검색 → 답변 생성으로 이어지는 RAG 파이프라인 구조
개발자가 자체 RAG 시스템에 적용하는 법
네이버 기술을 자체 RAG 시스템에 적용할 수 있는 실전 패턴을 정리했다.
패턴 1: 모호성 감지 프롬프트 쿼리를 LLM에 던지기 전에, 먼저 소형 모델에 '이 질문이 명확한가, 모호한가'를 판단하게 한다. 위 코드처럼 분류기를 먼저 실행하면 불필요한 대형 모델 호출을 줄이면서 모호한 쿼리를 사전에 걸러낼 수 있다.
패턴 2: 명확화 질문 생성 모호로 판단된 경우, 사용자에게 돌려보낼 후속 질문을 생성한다. 선택지 방식이 가장 효과적이다. 예를 들어 '파이썬 설치 방법'이 들어오면 [윈도우] [맥] [리눅스] 세 버튼을 제시한다. 자유 입력보다 선택지가 사용자 이탈을 막는다.
패턴 3: 명확화 후 재검색 사용자가 후속 질문에 답하면, 원래 쿼리와 답변을 합쳐 새로운 검색 쿼리를 구성한다. '파이썬 설치 방법' + '맥OS' = '맥OS 파이썬 설치 방법'처럼 자동으로 컨텍스트가 보강된 쿼리가 만들어진다. 이 쿼리로 재검색하면 훨씬 정확한 문서를 가져올 수 있다.
패턴 4: 되묻기 회수 제한 되묻기가 너무 많으면 사용자 경험이 나빠진다. 최대 1~2회 명확화 후에는 모호한 상태로라도 답변을 제공하도록 설계한다. '가장 일반적인 경우를 기준으로 답변합니다'라는 안내와 함께 복수의 시나리오를 동시에 제공하는 방법도 효과적이다.
패턴 5: 대화 맥락 활용 챗봇에 적용할 때는 이전 대화에서 이미 밝혀진 정보를 다시 묻지 않도록 해야 한다. 세션 컨텍스트를 추적해 '이미 알고 있는 정보'와 '아직 모르는 정보'를 구분하면, 중복 질문 없이 최소한의 되묻기로 최대한의 명확화가 가능하다.
기술의 한계와 UX 트레이드오프
쿼리 명확화 방식은 환각 감소에 효과적이지만, 한계도 분명하다.
UX 마찰 증가: 사용자는 즉각적인 답변을 기대한다. 되묻기가 반복되면 검색보다 불편하다는 인식을 줄 수 있다. 특히 빠른 답변을 원하는 사용자에게는 되묻기 자체가 장벽이다. 모호성 임계값을 보수적으로 설정해 명확한 질문에는 무조건 즉시 답하고, 정말 모호한 경우에만 되묻도록 튜닝하는 것이 중요하다.
모호성 판단의 정확도: 쿼리 분류기 자체가 틀릴 수 있다. 명확한 질문을 모호로 분류하거나, 실제 모호한 질문을 명확으로 통과시키면 역효과다. 이 분류기의 정확도를 지속적으로 개선하는 것이 시스템 품질의 핵심이며, 사용자 피드백 데이터를 통해 지속적으로 fine-tuning이 필요하다.
단발성 쿼리의 한계: 검색엔진에서 사용자가 후속 질문에 반드시 답한다는 보장이 없다. 사용자가 명확화 질문을 무시하고 이탈하면 되묻기가 오히려 이탈률을 높이는 역효과를 낸다. 채팅형 UX보다 검색엔진에서 더 신중한 적용이 필요한 이유다.
이런 한계 때문에 쿼리 명확화는 일반 검색보다 전문 분야 AI 어시스턴트(의료, 법률, 기술 지원)에서 더 자연스럽게 받아들여진다. 전문 분야에서는 정확성이 속도보다 중요하기 때문에 사용자도 되묻기를 자연스럽게 수용한다.
쿼리 명확화는 모호한 쿼리로 인한 검색 정밀도 저하를 직접 해결하기 때문에, 특히 모호한 질문 비율이 높은 도메인에서 효과가 크다. 정확한 수치는 도메인과 데이터셋에 따라 다르지만, 명확화 후 재검색이 정밀도를 의미 있게 높이는 결과는 RAG 관련 연구에서 반복적으로 확인된 패턴이다.
LangChain이나 LlamaIndex 같은 프레임워크에서 이 패턴을 구현하기 쉬운가요?
두 프레임워크 모두 이 패턴 구현을 지원한다. LangChain에서는 쿼리 분류 → 조건 분기 → 재검색으로 이어지는 체인을 구성할 수 있고, LlamaIndex에서는 RouterQueryEngine과 자체 쿼리 전처리 단계를 활용할 수 있다. 추가 라이브러리 없이 LLM 프롬프트 엔지니어링만으로도 기본 구현은 가능하다.
되묻기가 너무 많으면 사용자가 이탈하지 않나요?
그래서 임계값 설정이 중요하다. 실무에서는 정말 핵심 정보가 빠진 경우에만 되묻도록 보수적으로 설정하고, 단순 용어나 배경 지식 차이는 답변 내에 복수 시나리오를 제공하는 방식으로 대응한다. 되묻기는 최대 1~2회로 제한하는 것이 UX 관점에서 안전하다.
한국어 특성상 영어 기반 RAG 패턴을 그대로 적용할 수 있나요?
기본 원리는 동일하지만 한국어 특성에 맞는 조정이 필요하다. 한국어는 주어 생략이 흔하고, 동음이의어와 맥락 의존적 표현이 많다. 이런 특성 때문에 영어 쿼리보다 한국어 쿼리에서 모호성이 더 자주 발생한다. 한국어에 특화된 모델을 쿼리 분류기로 사용하거나, 한국어 특성에 맞게 모호성 감지 규칙을 추가하는 것이 효과적이다.
이 기술을 사내 AI 어시스턴트에 적용하면 어떤 효과가 있나요?
사내 문서 검색이나 기술 지원 챗봇처럼 전문 도메인에서 특히 효과적이다. 직원이 모호하게 질문해도 명확화 과정을 거쳐 정확한 문서와 답변을 제공할 수 있다. 잘못된 정보로 인한 오류나 업무 지연을 줄이는 효과가 크다. 되묻기를 자연스럽게 수용하는 사내 사용자 특성상 일반 검색엔진보다 UX 마찰도 적다.
