[LLM] 문서 임베딩, 어떤 형식이 가장 효율적일까?

문서 임베딩, 어떤 형식이 가장 효율적일까?

오늘은 AI 기술 중 LLM(거대 언어 모델) 성능을 좌우하는 핵심 요소, 바로 문서 임베딩에 대해 이야기해 본다. 우리가 가진 방대한 문서를 LLM이 똑똑하게 이해하고 활용하려면, 단순한 텍스트 이상의 무언가가 필요하다. 그렇다면, 어떤 형식으로 문서를 가공해야 가장 효율적인 임베딩이 가능할까? txt, md, json 등 다양한 형식들이 있지만, 각각의 장단점과 효율성을 극대화하는 방법을 알아본다.

---

1. txt (Plain Text): 가장 단순하지만 한계가 명확하다.

txt 파일은 말 그대로 순수한 텍스트이다.

• 장점: 가장 단순하고 범용적인 형식이다. 특별한 변환 과정 없이 바로 텍스트를 임베딩 모델에 입력할 수 있다.
• 단점: 문서의 구조 정보가 전혀 없다는 점이 가장 큰 약점이다. 제목, 단락 구분, 표, 목록 등 중요한 시각적, 논리적 구조가 모두 사라진다. 이는 임베딩 모델이 텍스트의 문맥을 이해하는 데 큰 어려움을 준다. 특히 긴 문서의 경우, 단순히 글자 수로 잘라내면 의미론적인 연결이 끊어지기 쉽다.

---

2. md (Markdown): 구조를 담아 문맥을 강화한다.

Markdown은 텍스트와 함께 문서의 구조를 표현할 수 있는 경량 마크업 언어이다.

• 장점: txt와 달리 제목(#), 목록(), 표(|) 등 *문서의 계층적 구조를 표현할 수 있다. 이는 임베딩 모델이 텍스트가 어떤 논리적 관계를 가지고 있는지 이해하는 데 큰 도움을 준다. 예를 들어, 특정 섹션별로 텍스트를 나누어 임베딩하거나, 제목과 내용을 함께 임베딩하여 **문맥을 훨씬 더 강화할 수 있다. 업스테이지의 도큐먼트 파서가 문서를 Markdown으로 변환하는 중요한 이유 중 하나도, LLM이 이해하기 쉬운 구조화된 텍스트 형식이기 때문이다.
• 단점: Markdown 문법 사용 방식에 따라 파싱이 다소 복잡해질 수 있다.

---

3. json (JavaScript Object Notation): 의미론적 구조를 완벽하게 표현한다.

json은 데이터를 키-값 쌍의 형태로 구조적으로 표현하는 데 최적화된 형식이다.

• 장점: 데이터를 매우 정교하고 계층적으로 표현할 수 있다는 점이 가장 큰 강점이다. 예를 들어, 문서를 { "title": "문서 제목", "sections": [ { "heading": "섹션 1", "content": "내용" }, ... ] }와 같이 구조화하여 저장할 수 있다. 이는 LLM이 특정 필드의 정보만 추출하거나, 특정 조건에 맞는 데이터만 임베딩하는 등 고급 활용에 매우 유리하다. RAG(검색 증강 생성) 시스템에서 쿼리에 따라 특정 구조화된 정보만 찾아 임베딩하고 검색하는 데 용이하다는 것이 입증된다.
• 단점: 텍스트 문서 자체를 json으로 변환하려면, 문서의 구조를 json 스키마로 잘 정의하는 전처리 과정이 추가적으로 필요하다.

---

결론: 문서 임베딩의 효율성은 '구조화'에 있다.

결론적으로, 문서 임베딩의 효율성은 단순히 파일 형식 자체보다는 문서의 정보가 얼마나 잘 '구조화'되어 있는지에 달려 있다.

• txt는 가장 단순하지만, 정보의 맥락 손실이 크다.
• md는 텍스트와 함께 문서의 논리적 구조를 담아 임베딩의 효율을 높인다.
• json은 데이터를 가장 정교하고 의미론적으로 구조화하여 LLM이 특정 정보를 찾아 활용하는 데 최적화되어 있다.

따라서, 가장 효율적인 방법은 문서의 레이아웃과 구조를 정확히 파악하여 Markdown이나 JSON과 같은 형태로 데이터를 전처리하고, 이를 기반으로 의미 있는 단위로 분할(청킹)하여 임베딩하는 것이다. 이렇게 하면 LLM은 문서의 핵심 정보를 정확하고 빠르게 파악하여 원하는 답변을 생성할 수 있다.