본 포스팅은 패스트 캠퍼스 환급 챌린지 참여를 위해 작성하였습니다.
'50일의 기적 AI 환급반' 도전 36일차 입니다.
오늘은 part3의 'ch3. GraphRAG' 중
05. Vector 기반 GraphRAG 구현하기
위 1개의 강의를 수강하였습니다.
이번 강의에서는 GraphRAG을 실제로 구현하는 실습 시간을 가졌습니다.
GraphRAG 구현의 첫걸음은 Neo4j 그래프 DB 연결이었습니다. Aura DB를 사용하여 간단히 연결하고, 이후 텍스트에서 노드와 관계를 추출하기 위한 파이프라인을 구성하였습니다. LangChainTextSplitterAdapter를 활용해 텍스트를 청크로 나누는 과정이 흥미로웠습니다. 일반적인 텍스트 처리에서는 잘 다루지 않던 "문맥에 맞는 청크"라는 개념이, 이후 임베딩과 LLM을 통한 엔티티-관계 추출의 정확도에 큰 영향을 주는 것을 직접 확인할 수 있었습니다.
이후 임베딩 단계에서는 OpenAI의 text-embedding-ada-002를 활용해 각 청크에 벡터를 부여하고 GPT-4o 모델을 이용해 엔티티와 관계를 추출하였습니다. 예시로 "Marie Curie는 노벨상을 받았다"는 문장에서 'Marie Curie'와 'Nobel Prize'라는 노드, 그리고 그 사이의 'WON'이라는 관계가 생성되는 과정을 통해 그래프가 구성되었습니다.
단순히 그래프를 구성하는 데 그치지 않고 벡터 인덱스를 추가함으로써 벡터 기반 검색까지 가능하게 만들었습니다. 즉, 관계형 구조의 질의(예: 누구와 관련이 있는가)와 의미 기반 질의(예: "이 인물은 어떤 업적이 있는가?")를 동시에 해결할 수 있습니다.
또한 SimpleKGPipeline을 사용해 PDF 논문에서 그래프를 추출하고, 임베딩하고 적재하는 파이프라인까지 구성해보았습니다. 이는 실제 프로젝트에서 비정형 문서를 자동 처리하고 지식 그래프를 구축하는 데 있어 매우 유용하게 활용될 수 있다고 느꼈습니다. 특히, 도메인 지식이 담긴 문서들을 자동으로 요약, 구조화하는 데 이 방식이 큰 역할을 할 수 있겠다는 가능성을 보았습니다.
개인적으로 가장 흥미로웠던 점은 기존에 존재하는 그래프 DB에 임베딩을 추가하고 이를 기반으로 검색 질의를 수행할 수 있다는 것이었습니다. 이미 구축된 데이터라도 임베딩만 추가하면 곧바로 GraphRAG 파이프라인에 통합할 수 있다는 유연성은, 다양한 도메인의 실제 데이터셋에 바로 적용할 수 있다는 실용적인 장점을 의미합니다.
이번 강의를 통해 GraphRAG의 전체 구조를 직접 다뤄보면서 느낀 점은, 단순히 '그래프 + RAG'라는 조합을 넘어서, 정보의 의미와 구조를 동시에 이해하고 활용할 수 있는 진정한 하이브리드 지식 시스템이라는 것이었습니다. 앞으로 제가 구축하게 될 AI 시스템에 이 아키텍처를 어떻게 녹여낼 수 있을지 고민해보게 만드는 유익한 시간이었습니다.
- 필수 URL 가이드
https://fastcampus.info/4n8ztzq
- 인증샷-
