[LLM] PDF 멀티모달 RAG 구현을 위한 효과적인 기술 조합

PDF 멀티모달 RAG 구현을 위한 효과적인 기술 조합

PDF 문서에서 그림과 표와 같은 시각적 요소가 중요한 정보를 담고 있을 때, 이를 버리지 않고 RAG(Retrieval-Augmented Generation) 시스템에 효과적으로 활용하는 것은 고급 검색 및 답변 생성에 필수적인 부분이다. 텍스트와 시각적 데이터를 모두 벡터 데이터베이스에 저장하고 매핑하여 함께 검색될 수 있도록 하는 기술 조합은 다음과 같다.

1. PDF 멀티모달 파싱 및 데이터 추출

PDF 문서에서 텍스트뿐만 아니라 그림과 표를 정확하게 추출하는 것이 첫 번째 단계이다. 이 과정에서 시각적 레이아웃과 구조를 이해하는 전문 파싱 도구를 사용해야 한다.

1. 전문 PDF 파싱 도구 활용:
   • LlamaParse: LlamaIndex에서 제공하는 이 도구는 PDF에서 텍스트, 이미지, 표 등을 구조화된 형태로 추출하는 데 탁월하다. 특히 복잡한 레이아웃을 가진 문서에서도 표를 정확하게 인식하고, 자연어 지시를 통해 원하는 형식으로 데이터를 파싱할 수 있는 강력한 기능을 제공한다.
   • Unstructured.io: 이 라이브러리는 다양한 문서 유형(PDF 포함)에서 텍스트, 이미지, 표를 포함한 모든 요소를 파싱하고 전처리하는 데 매우 효과적이다. 추출된 데이터를 LLM에 최적화된 형식으로 변환하여 RAG 파이프라인에 쉽게 통합할 수 있다.
   • PyMuPDF (Fitz) 및 PdfPlumber: Python 기반의 라이브러리로, 이미지 추출 및 표 추출 기능이 뛰어나다. 세부적인 제어가 가능하며, 추출된 데이터를 사용자 정의 형식으로 처리할 수 있다.
2. 추출 전략:
   • 텍스트: 일반 텍스트는 물론, 표 내부의 텍스트도 정확히 추출한다.
   • 표: 표는 단순히 텍스트를 추출하는 것을 넘어, 행과 열의 구조를 보존하여 CSV, JSON, Markdown 등 구조화된 형태로 추출해야 한다.
   • 이미지: 이미지는 원본을 추출하고, 이미지 내용에 대한 캡션이나 설명을 생성하여 텍스트와 함께 저장하는 것이 중요하다. LLaVA나 Llama3.2-Vision과 같은 멀티모달 LLM을 사용하여 이미지 캡션을 자동으로 생성할 수 있다.

2. 멀티모달 임베딩 및 벡터 데이터베이스 저장

추출된 텍스트, 표, 이미지 데이터를 임베딩하여 벡터 데이터베이스에 저장하는 과정은 RAG 시스템의 핵심이다.

1. 임베딩 전략:
   • 텍스트 임베딩: 추출된 텍스트(문서 본문, 표 텍스트, 이미지 캡션 등)는 text-embedding-ada-002와 같은 고품질 텍스트 임베딩 모델을 사용하여 벡터로 변환한다.
   • 이미지 임베딩: 추출된 이미지는 CLIP(Contrastive Language-Image Pre-training)과 같은 이미지 임베딩 모델 또는 LLaVA, Llama3.2-Vision과 같은 멀티모달 모델의 비전 인코더를 사용하여 벡터로 변환한다. 이미지 자체를 임베딩하거나, 생성된 이미지 캡션을 텍스트 임베딩으로 변환하여 활용할 수 있다.
   • 표 임베딩: 표는 여러 방식으로 임베딩할 수 있다.
     • 텍스트 변환 후 임베딩: 표를 Markdown 또는 CSV 형식의 텍스트로 변환한 다음, 텍스트 임베딩 모델로 임베딩한다. 이 방식은 표의 구조적 정보를 텍스트에 포함시켜 검색에 활용할 수 있다.
     • 시각적 표 임베딩: 표를 이미지로 간주하여 이미지 임베딩 모델로 임베딩하거나, 표 구조를 이해하는 LayoutLM과 같은 모델의 임베딩을 활용할 수 있다.
2. 벡터 데이터베이스 선택 및 저장:
   • Pinecone, Weaviate, Chroma, Qdrant와 같은 벡터 데이터베이스는 대규모 벡터 데이터를 효율적으로 저장하고 검색하는 데 적합하다.
   • 각 텍스트 청크, 이미지, 표에 대한 임베딩 벡터를 저장하고, 메타데이터(원본 PDF 파일명, 페이지 번호, 요소 유형(텍스트, 그림, 표), 이미지 캡션, 표 요약 등)를 함께 저장하여 검색 시 활용도를 높인다.

3. RAG (Retrieval-Augmented Generation) 구현

질의가 들어왔을 때, 벡터 데이터베이스에서 관련 정보를 검색하고 이를 바탕으로 답변을 생성하는 과정이다.

1. 질의 임베딩 및 멀티모달 검색:
   • 사용자 질의를 텍스트 임베딩 모델로 벡터화한다.
   • 이 질의 벡터를 사용하여 벡터 데이터베이스에서 가장 유사한 텍스트, 이미지(캡션/임베딩), 표(텍스트 변환/임베딩) 벡터를 검색한다.
   • 검색 결과에는 텍스트 청크뿐만 아니라, 관련 이미지의 캡션이나 원본 이미지, 관련 표의 구조화된 데이터도 포함되어야 한다.
2. 컨텍스트 구성:
   • 검색된 관련 텍스트 청크, 이미지 캡션 또는 이미지 자체, 표 데이터(예: Markdown 형식의 표)를 조합하여 LLM에 전달할 컨텍스트를 구성한다.
   • LLaVA나 Llama3.2-Vision과 같은 멀티모달 LLM은 텍스트와 이미지 입력을 동시에 처리할 수 있으므로, 검색된 원본 이미지를 직접 LLM에 전달하여 시각적 추론을 수행할 수도 있다.
3. 답변 생성 (LLM 활용):
   • 구성된 컨텍스트를 OpenAI의 GPT-4o, Anthropic의 Claude, 또는 Llama3.2-Vision과 같은 강력한 LLM에 입력하여 사용자 질의에 대한 답변을 생성한다.
   • LLM은 제공된 텍스트, 이미지 정보(캡션 또는 원본 이미지), 표 데이터를 종합하여 정확하고 포괄적인 답변을 생성할 수 있다.

4. 효과적인 기술 조합의 시너지 효과

위에서 언급된 기술들을 조합하면 다음과 같은 시너지 효과를 얻을 수 있다.

1. 정확한 정보 추출: LlamaParse나 Unstructured.io와 같은 전문 파싱 도구는 PDF의 복잡한 레이아웃 속에서도 그림과 표의 내용을 손실 없이 정확하게 추출한다.
2. 멀티모달 임베딩: 텍스트, 이미지, 표 데이터를 모두 벡터 공간에 임베딩하여, 텍스트 질의만으로는 검색하기 어려운 시각적 정보까지도 검색할 수 있게 된다.
3. 풍부한 컨텍스트 제공: 검색된 텍스트, 이미지, 표 정보가 통합된 형태로 LLM에 전달되므로, LLM은 더욱 풍부하고 다각적인 컨텍스트를 기반으로 답변을 생성할 수 있다. 이는 특히 "이 그림에서 무엇을 의미하는가?" 또는 "이 표의 데이터를 바탕으로 요약해줘." 와 같은 질의에 효과적이다.
4. 정확도 및 신뢰도 향상: 시각적 정보가 답변 생성 과정에 포함됨으로써, 생성된 답변의 정확도와 신뢰도가 향상된다.

PDF 문서에서 그림과 표가 중요한 RAG 시스템을 구축하기 위해서는, 단순히 텍스트만 처리하는 것을 넘어, 멀티모달 파싱, 임베딩, 그리고 검색 전략을 통합적으로 고려하는 것이 성공의 열쇠이다.