하이브리드 검색 (Hybrid Search)
벡터 검색과 키워드 검색을 결합해 검색 정확도와 재현율을 함께 높이는 방식
#하이브리드 검색#Hybrid Search#벡터 검색#키워드 검색#BM25
하이브리드 검색이란?
하이브리드 검색은 벡터 데이터베이스 기반 의미 검색과 전통적인 키워드 검색(BM25 등)을 함께 사용하는 검색 전략입니다.
의미가 비슷한 문서를 잘 찾는 벡터 검색의 장점과, 고유명사/코드/정확 문구를 잘 찾는 키워드 검색의 장점을 동시에 활용하는 것이 핵심입니다.
왜 중요한가요?
실무 질의는 의미 유사도와 정확 문자열 일치가 동시에 필요합니다.
- "환불 정책"처럼 표현이 다양한 질문: 벡터 검색이 강함
- "GPT-4o-mini", "ERR-1042" 같은 정확 식별자: 키워드 검색이 강함
하이브리드 검색은 두 신호를 결합해 한쪽 편향을 줄여, 검색 누락과 노이즈를 함께 낮출 수 있습니다.
운영 팁
초기에는 벡터/키워드 가중치를 고정해 시작하고, 질의 유형별 평가셋으로 가중치를 조정하는 방식이 가장 안정적입니다.
관련 용어
자연어 처리 (NLP)
어텐션 (Attention)
입력 데이터에서 중요한 부분에 집중하는 딥러닝 메커니즘
자연어 처리 (NLP)
에이전트 (AI Agent)
스스로 판단하고 도구를 활용해 작업을 수행하는 자율 AI
자연어 처리 (NLP)
임베딩 (Embedding)
텍스트나 이미지를 숫자 벡터로 변환하는 표현 기술
자연어 처리 (NLP)
재랭킹 (Reranking)
초기 검색 결과를 다시 평가해 더 관련도 높은 순서로 재정렬하는 후처리 단계
자연어 처리 (NLP)
정보 유실 현상 (Lost in the Middle)
긴 컨텍스트에서 문서 중간 정보가 상대적으로 덜 활용되어 답변 정확도가 떨어지는 현상
자연어 처리 (NLP)
제로샷/퓨샷 (Zero-shot/Few-shot)
예시 없이 또는 소수의 예시만으로 AI가 새로운 작업을 수행하는 방법