패스트캠퍼스 환급챌린지 12일차 : 실전 AI Agent의 모든 것 - 34개 프로젝트로 MCP부터 GraphRAG Agent까지 (by. 공원나연) 강의 후기
본 포스팅은 패스트캠퍼스 환급 챌린지 참여를 위해 작성하였습니다.
'50일의 기적 AI 환급반' 도전 11일차 입니다.
오늘은 part2의 'ch2. 컨텍스트 품질을 보장하는 RAG' 중
03. 환각 여부를 평가하는 RAG
위 1개의 강의를 수강하였습니다.
요즘 RAG 기반의 서비스가 쏟아지고 있지만, 여전히 사용자의 질문에 대해 부정확하거나 엉뚱한 답변을 생성하는 경우가 종종 있습니다. 이번 강의에서는 이런 '환각(hallucination)' 문제를 어떻게 효과적으로 줄일 수 있을지에 대한 하나의 접근 방법을 소개해 주셨습니다.
이번에 다룬 구조는 '환각 여부를 평가하는 RAG'입니다. 기존에는 사용자의 질문을 벡터 DB에 넘겨서 연관 문서를 찾고 LLM이 답변을 생성하는 구조였다면, 이번에는 문서의 관련성과 답변의 정확성까지 다단계로 평가하는 시스템을 구성했습니다. 즉, 단순히 검색하고 답변하는 것을 넘어서, “이 문서가 진짜 질문과 관련 있는가?”, “이 답변은 실제로 문서를 기반으로 하고 있는가?”, “이 답변은 질문에 실제로 도움이 되는가?”를 하나하나 점검하는 방식이었습니다.
개인적으로 흥미로웠던 부분은 '질문 재작성' 단계였습니다. 검색된 문서가 질문과 연관성이 낮다고 판단되면, LLM이 더 나은 질문을 생성해서 다시 검색을 시도합니다. 사람이라면 당연히 할 수 있는 행동이지만, 이를 자동화하여 루프를 구성했다는 점이 놀라웠습니다. 실제 서비스에 적용한다면, 사용자가 애초에 잘못된 질문을 했을 때도 보다 정확한 정보를 제공할 수 있다는 점에서 꽤 강력한 무기가 될 수 있다고 생각했습니다.
또한, '답변 평가'를 통해 생성된 답변이 문서에 기반하고 있는지(=환각 여부), 그리고 질문에 실질적인 도움이 되는지까지 자동으로 판단하게 했습니다. 만약 환각이 있다면 다시 생성 루프로 돌리고, 도움이 안 되는 경우엔 질문 자체를 재작성하는 흐름으로 이어집니다. 이렇게 세심한 판단 과정이 포함된 구조는 그 동안 사용해 본 대부분의 RAG 시스템에서는 보기 어려웠습니다. 대부분은 검색된 문서가 있든 없든 무조건 답변을 생성하거나, 신뢰성 평가 없이 출력해버리기 때문입니다.
이번 강의를 들으며 다시금 느낀 것은, 좋은 RAG 시스템이란 단순한 검색과 생성의 조합이 아니라, ‘판단’과 ‘제어’의 흐름이 정교하게 설계된 구조라는 점입니다. 앞으로 저도 RAG 프로젝트를 진행할 때 이러한 구조를 참고하여 더욱 정밀한 시스템을 설계해보고 싶다는 동기를 얻었습니다.
- 필수 URL 가이드
https://fastcampus.info/4n8ztzq
- 인증샷
