SHRAG: 사람처럼 검색하는 방식을 RAG에 결합하는 프레임워크

읽기 판단

skim · confidence: high — 새로운 모델이나 학습 기법은 없고, 기존 검색엔진 위에 얹는 엔지니어링 레시피다. 그래서 이론적으로 배울 것은 적지만, 다국어 학술 검색 RAG를 실제로 만들어야 한다면 파이프라인 5단계(Sec 3)와 OR vs AND 비교(Sec 5.1.1)가 곧바로 쓸모 있다. RAG 방법론 연구자에게는 skip에 가깝고, 시스템 구현자에게는 Sec 3 + Algorithm 1만 읽으면 충분하다.

1분 요약

RAG는 좋은 검색 시스템을 직접 만들려면 전문성이 필요하고, 검색+생성 2단계라 순수 검색보다 느리다는 실용적 제약이 있다(Abstract). SHRAG(Search like Human with RAG)는 LLM의 역할을 “질의 변환” 한 단계로 축소해 이 비용을 줄인다. LLM이 사용자 질문에서 한국어·영어 키워드를 각각 뽑고, 이를 OR로만 묶은 Boolean 질의를 키워드 10개→1개로 점진 축소하며 생성해 기존 검색엔진에 던진 뒤, mGTE 다국어 임베딩으로 top-5를 재랭킹하고 Gemini 2.5 Flash가 최종 답변을 만든다. 핵심 실증 결과는 두 가지다. (1) AND를 섞으면 문서를 더 많이(약 2,000건 이상) 긁어오지만 정답 문서 포함률은 오히려 떨어졌고, OR 전용(약 1,500건 미만)이 더 나았다(Fig 3). (2) MIRACL 50문항(한 25 / 영 25)에서 QSR 94 — 영어 100, 한국어 88(Table 1). 이 구성으로 KISTI ScienceON AI Challenge에서 종합 1위를 했다. source-coverage: fulltext.

핵심 아이디어

“더 좋은 임베딩·리트리버를 새로 만든다”가 아니라 이미 잘 만들어진 검색 인프라를 LLM으로 더 잘 쓴다는 발상이다. 여기서 두 가지 설계 판단이 나온다.

1. LLM은 질의 변환에만: 생성 단계 밖의 모든 무거운 작업을 기존 검색엔진에 위임해 계산비용·지연을 줄이고, 파인튜닝 없이 plug-and-play로 붙인다. 저자들은 LLM을 Boolean Query Generator로 쓴 첫 사례라고 주장한다(Sec 1 contribution).
2. 정밀도가 아니라 재현율을 노린다: 질의를 정교하게 좁히면 핵심 문서 하나만 빠져도 RAG가 답을 못 만든다. 그래서 AND(교집합)를 버리고 OR(합집합)로 넓게 긁은 뒤, 좁히는 일은 임베딩 재랭킹에 맡긴다. 사람 검색자가 넓게 시작해 점차 좁히는 행동을 모사한 것이 “human-inspired”의 실체다.

무엇을 했나

• Step 1 다국어 키워드 추출 (Sec 3.1): LLM으로 영어·한국어 키워드를 각각 top-$k$ 추출 → 두 단어 이상의 복합 키워드는 검색 성능을 떨어뜨려 공백으로 분리 → 중요도 순 상위 10개 확정.
• Step 2 전략적 질의 생성 (Sec 3.2): $S{Q}_n={\bigvee }_{i=1}^n{k}_i$ 를 $n=10$부터 1까지 만들어, 중요도 낮은 키워드부터 떨어져 나가는 점진적 축소 질의 10개를 얻는다. NOT 연산자는 깊은 문맥 추론이 필요해 이번 범위에서 제외.
• Step 3 수집·중복 제거 (Sec 3.3): 질의마다 검색엔진 top-10 → 중복 및 초록 결손 문서 제거 → 통합 문서 집합 $D$.
• Step 4 다국어 재랭킹 (Sec 3.4): MMTEB를 기준으로 Snowflake·mGTE를 후보로 두고(Jina는 환경 제약으로 제외) 8,000 토큰 이상 장문 임베딩 + 한영 성능으로 선별 → 유사도가 가장 높게 나온 mGTE 채택, cosine top-5.
• Step 5 구조화 답변 생성 (Sec 3.5): Gemini 2.5 Flash에 질의 + top-5 문서를 주고 Title / Introduction / Main Body 형식으로 생성. (Gemini 2.5 Pro와 비교해 처리시간 대비 성능이 우수.)
• 평가 (Sec 4–5): ScienceON AI Challenge 50문항으로 AND 개수 0~9를 바꿔가며 각 조건 10회 반복 실행, 그리고 플랫폼 의존성을 확인하려 MIRACL(Wikipedia) 기반 동일 실험.

핵심 근거

claim	위치	관측	조건·유의사항	claim_origin
OR 전용 질의가 AND 포함보다 정답 문서 포함률이 높다	Sec 5.1.1, Fig 3	AND 포함 시 수집량은 약 2,000건 이상으로 늘지만 관련도는 하락; OR 전용은 약 1,500건 미만으로 더 나은 포함률	50문항 × 10회 반복. 정확한 포함률 수치는 그림으로만 제시되고 표로 보고되지 않음	author-stated
다국어 환경에서 근거 문서 확보력이 높다	Table 1	QSR 94 (영어 100, 한국어 88)	MIRACL에서 한 25 + 영 25 무작위 표집, 질의당 약 15문서 회수. “관련 문서 최소 1건 포함”만 보는 느슨한 지표이며 baseline 비교 없음	author-stated
한국어 성능이 영어보다 뚜렷이 낮다	Table 1	88 vs 100 (12점 차)	표본 25문항이라 신뢰구간이 넓다. 원인 분석은 논문에 없음	analyst-inference
실전 경쟁 환경에서 종합 1위	Sec 5.1.3	Relevance / Evidence Coverage / Retrieval Ratio / Total Elapsed Time 종합 평가에서 우승	대회 순위이지 통제된 baseline 비교가 아님. 50GB GPU 제약 환경	author-stated
이 과제는 single-hop이 유리했다	Sec 5.1.2	multi-hop 가정 제출과 점수 차 미미, 사람 심사에서 대부분 single-hop으로 확인	데이터셋 특성에 따른 결과이며 일반적 결론이 아님. multi-hop 설계는 Appendix B에만 존재	author-stated

어디까지 믿을까

• Baseline이 없다: 표준 dense RAG, BM25 하이브리드, HyDE 같은 질의 재작성 기법과의 직접 비교가 전혀 없다. “OR이 AND보다 낫다”는 프레임워크 내부 ablation일 뿐, SHRAG가 기존 RAG보다 낫다는 근거는 아니다.
• 지표가 느슨하다: QSR은 “정답 문서 1건이라도 회수했는가”만 본다. 순위 품질(nDCG/MRR)이나 최종 답변 품질은 대회 순위 외에 별도로 측정되지 않았다.
• 표본이 작다: ScienceON 50문항, MIRACL 50문항. 도메인도 학술 검색에 한정되어 일반 웹 QA로의 전이는 미검증.
• 저자가 인정한 구조적 한계 (Sec 6): (1) 질의 조합 로직이 수작업이라 특정 검색 플랫폼에 강하게 결합된 경직된 구조, (2) 질의 키워드가 문서 본문에 그대로 없으면 실패하는 lexical gap 취약성 — 키워드 기반 Boolean 검색을 택한 대가다.
• 재현성: 코드 공개 링크가 없고 프롬프트 3종만 Appendix에 있다. 검색 백엔드(ScienceON)와 상용 LLM(Gemini 2.5 Flash) 의존이라 독립 재현이 어렵다.
• 저자 표기 주의: 배포 목록에 3저자가 “Hyun Kim”으로 적힌 경우가 있으나, PDF·arXiv 원문은 모두 Hyun Park(GIST College of Information Computing)이다.

원문 읽기 지도

목적	읽을 위치
파이프라인을 그대로 구현하려면	Section 3 (5단계 수식 정의) + Algorithm 1 의사코드 + Appendix A (프롬프트 3종)
OR vs AND 판단 근거를 확인	Section 5.1.1 + Figure 3 (좌: 정답 포함률, 우: 평균 수집 문서 수)
다국어 임베딩 선정 이유	Section 3.4 (MMTEB 기준, Snowflake/mGTE/Jina 후보 비교)
한계와 후속 방향	Section 6 Future Work (플랫폼 결합·lexical gap)

읽기 전 용어

용어	정의
Boolean retrieval	AND/OR/NOT 연산자로 키워드를 조합해 문서 집합을 정의하는 전통적 검색 방식. 재현율·정밀도를 동시에 노릴 수 있으나 숙련이 필요해 사용성이 낮다(Sec 2.5).
QSR (Query Success Rate)	저자들이 MIRACL 평가용으로 정의한 지표. 질의 $q_i$의 회수 집합 $S_i$가 정답 집합 $A_i$와 하나라도 겹치면($A_i\cap S_i\ne \varnothing$) 성공으로 세고 그 비율을 %로 낸다.
Cross-lingual retrieval	질의와 문서의 언어가 다를 때 공통 임베딩 공간에서 의미를 매칭해 검색하는 방식. 한·영이 섞인 ScienceON 환경 때문에 도입되었다.

Wiki 연결

• Do Retrieval Augmented Language Models Know When They Dont Know — RAG의 검색 실패를 ‘모른다고 말하기’ 쪽에서 다룬 대응. SHRAG는 같은 실패를 회수 범위를 넓혀 막으려 한다.
• Adaptive Retrieval Without Self-Knowledge - Bringing Uncertainty Back Home — 언제 검색할지를 불확실성으로 조절하는 노선. SHRAG의 “항상 넓게 긁는다” 전략과 비용 관점에서 대조된다.
• Beyond Retrieval - Embracing Compressive Memory in Real-World Long-Term Conversations — 검색 대신 압축 메모리로 문맥을 확보하는 대안 계열.

태그

paper #2025 RAG information-retrieval boolean-retrieval multilingual CIKM-workshop DS-Lab

---

BibTeX

@inproceedings{ryu2025shrag,
  title={SHRAG: A Framework for Combining Human-Inspired Search with RAG},
  author={Ryu, Hyunseok and Shin, Wonjune and Park, Hyun},
  booktitle={Proceedings of RDGENAI '25: First International Workshop on Retrieval-Driven Generative AI at CIKM 2025},
  address={Seoul, Republic of Korea},
  year={2025},
  eprint={2512.00772},
  archivePrefix={arXiv},
  primaryClass={cs.IR},
  url={https://arxiv.org/abs/2512.00772}
}