[LLM] 대규모 임베딩 검색의 핵심, FAISS 알아보기

대규모 임베딩 검색의 핵심, FAISS 알아보기

최근 인공지능 분야에서 임베딩(Embedding)은 데이터를 벡터 형태로 표현하는 강력한 수단으로 자리 잡았다. 텍스트, 이미지, 오디오 등 다양한 형태의 데이터를 벡터 공간에 표현함으로써 데이터 간의 유사성을 계산하고 활용하는 것이 가능해졌다. 하지만 데이터의 양이 방대해지면, 이 임베딩 벡터들 중에서 특정 벡터와 가장 유사한 벡터들을 빠르게 찾아내는 것이 중요한 과제가 된다. 이때 등장하는 것이 바로 FAISS와 같은 고성능 벡터 검색 라이브러리이다.

1. FAISS와 임베딩의 만남

• 임베딩: 앞서 설명했듯이, 임베딩은 복잡한 데이터를 기계가 이해할 수 있는 수치형 벡터로 변환하는 과정이다. 의미적으로 유사한 데이터는 벡터 공간에서 서로 가까운 거리에 위치하게 된다는 특징을 가진다.
• FAISS(Facebook AI Similarity Search): FAISS는 이러한 임베딩 벡터들의 대규모 컬렉션에서 효율적이고 빠른 유사도 검색 및 클러스터링을 가능하게 하는 라이브러리이다. 페이스북 AI 연구소에서 개발되었으며, 수백만 또는 수십억 개의 벡터를 다루는 데 최적화되어 있다.
• FAISS는 임베딩 벡터들을 특정 인덱스(Index) 구조에 저장하고 관리한다. 이 인덱스는 검색 속도를 극대화하기 위해 다양한 알고리즘과 데이터 구조를 활용한다. 쿼리 임베딩이 주어지면, FAISS는 이 인덱스를 통해 전체 벡터를 모두 비교하는 비효율적인 방식 대신, 빠르게 유사한 벡터 후보군을 찾아낸다.

2. FAISS 데이터는 어디에 저장될까? (메모리 vs 디스크)

• FAISS를 사용하여 임베딩 벡터를 검색할 때, 활성화된 FAISS 인덱스 객체는 기본적으로 메모리(RAM)에 데이터를 저장하고 있다. 이는 디스크 접근보다 훨씬 빠른 메모리 접근 속도를 활용하여 고성능 검색을 가능하게 한다.
• 하지만 프로그램이 종료되거나 메모리 용량의 한계가 있다면, 메모리 상의 인덱스는 사라지게 된다. 따라서 구축한 인덱스를 영구적으로 보존하거나 나중에 다시 사용하기 위해서는 인덱스 데이터를 파일 형태로 디스크에 저장하는 과정이 필요하다.
• langchain과 같은 라이브러리를 통해 FAISS.from_documents(...) 코드를 실행하는 것은 임베딩 벡터를 생성하고 이를 기반으로 메모리 상에 FAISS 인덱스 객체를 구축하는 단계이다. 이 코드 자체는 데이터를 파일로 저장하지는 않는다.
• 메모리에 생성된 vectorstore 객체를 파일로 저장하려면, vectorstore.save_local("저장할_경로")와 같이 별도의 저장 메서드를 호출하고 저장할 경로를 명시적으로 지정해주어야 한다. 이렇게 저장된 파일은 나중에 FAISS.load_local("저장된_경로", embeddings)와 같이 불러와 메모리에 다시 로드하여 사용할 수 있다.

3. 왜 FAISS를 사용할까? 주요 이점

• 압도적인 검색 속도: 대규모 벡터 데이터셋에서도 매우 빠른 유사도 검색 성능을 제공한다.
• 뛰어난 확장성: 수백만에서 수십억 개의 벡터를 효율적으로 관리하고 검색할 수 있도록 설계되었다.
• 다양한 인덱스 옵션: 사용 목적(속도, 메모리, 정확도)에 맞는 다양한 인덱스 타입을 선택하고 조합할 수 있다.
• GPU 가속: GPU를 활용하여 검색 속도를 더욱 향상시킬 수 있다.
• 이러한 장점 덕분에 시맨틱 검색, 추천 시스템, 이미지/영상 검색, 이상 탐지 등 임베딩 기반의 다양한 애플리케이션에서 FAISS가 널리 활용된다.

4. FAISS 외 다른 벡터 임베딩 스토어 간략 소개

FAISS는 강력한 라이브러리이지만, 벡터 데이터를 관리하고 검색하는 데 사용되는 솔루션은 FAISS만 있는 것이 아니다. 다양한 특징과 기능을 가진 다른 벡터 임베딩 스토어들이 존재한다. 몇 가지를 간략히 소개한다.

• Chroma: 개발자 친화적인 API와 쉬운 설치가 특징인 오픈소스 벡터 데이터베이스이다. 로컬에서 쉽게 시작하고 사용할 수 있으며, 다양한 임베딩 모델과의 연동을 지원한다.
• Weaviate: 그래프 기반의 벡터 검색 엔진으로, 스키마를 정의하고 객체와 관계를 저장할 수 있다. 시맨틱 검색 외에도 지식 그래프 구축에 활용될 수 있다.
• Pinecone: 클라우드 기반의 완전 관리형 벡터 데이터베이스 서비스이다. 대규모 데이터셋을 쉽게 관리하고 확장할 수 있도록 설계되었으며, 인프라 관리에 신경 쓸 필요가 없다.
• Milvus: 고가용성 및 확장성을 고려하여 설계된 오픈소스 벡터 데이터베이스이다. 대규모 클러스터 환경 구축에 적합하며, 다양한 인덱스 타입을 지원한다.
• LanceDB: 임베딩을 위한 내장형(Embedded) 오픈소스 벡터 데이터베이스이다. 파일 기반으로 작동하여 서버 구축 없이 애플리케이션 내에 쉽게 통합할 수 있는 것이 특징이다.

이 외에도 많은 벡터 스토어 솔루션들이 존재하며, 각각의 특징(성능, 확장성, 관리 용이성, 기능 등)이 다르므로 사용 목적과 환경에 맞는 스토어를 선택하는 것이 중요하다.

FAISS는 대규모 임베딩 벡터 검색을 위한 핵심 도구 중 하나이며, 메모리 기반의 고성능 검색과 파일 저장을 통한 영속성 관리가 가능하다는 점을 이해하는 것이 활용에 도움이 된다. 다른 벡터 스토어들도 각자의 장점을 가지고 있으므로 비교 검토 후 선택하는 것이 바람직하다.