문서 임베딩, 어떤 형식이 가장 효율적일까?오늘은 AI 기술 중 LLM(거대 언어 모델) 성능을 좌우하는 핵심 요소, 바로 문서 임베딩에 대해 이야기해 본다. 우리가 가진 방대한 문서를 LLM이 똑똑하게 이해하고 활용하려면, 단순한 텍스트 이상의 무언가가 필요하다. 그렇다면, 어떤 형식으로 문서를 가공해야 가장 효율적인 임베딩이 가능할까? txt, md, json 등 다양한 형식들이 있지만, 각각의 장단점과 효율성을 극대화하는 방법을 알아본다.1. txt (Plain Text): 가장 단순하지만 한계가 명확하다.txt 파일은 말 그대로 순수한 텍스트이다.장점: 가장 단순하고 범용적인 형식이다. 특별한 변환 과정 없이 바로 텍스트를 임베딩 모델에 입력할 수 있다.단점: 문서의 구조 정보가 전혀 없다는 점이..

내 PC에서 나만의 AI를! Ollama 사용법 완벽 가이드인공지능 기술이 빠르게 발전하면서, 우리 일상에서도 LLM(Large Language Model)을 활용하는 사례가 늘고 있다. 하지만 클라우드 기반의 서비스는 데이터 프라이버시나 비용 측면에서 부담이 될 수 있다. 이러한 고민을 해결해 줄 수 있는 훌륭한 도구가 바로 Ollama이다.1. Ollama는 누가 만들었을까?Ollama는 2023년 Jeffrey Morgan과 Michael Chiang이 공동으로 설립한 회사에서 제공하는 오픈소스 플랫폼이다. 미국 팔로알토에 위치한 이 회사는 아직 투자를 유치하지 않은 스타트업이지만, 로컬 환경에서 LLM을 쉽게 실행하고 통합할 수 있도록 지원하는 혁신적인 도구를 개발하여 많은 주목을 받고 있다.2...

대규모 임베딩 검색의 핵심, FAISS 알아보기최근 인공지능 분야에서 임베딩(Embedding)은 데이터를 벡터 형태로 표현하는 강력한 수단으로 자리 잡았다. 텍스트, 이미지, 오디오 등 다양한 형태의 데이터를 벡터 공간에 표현함으로써 데이터 간의 유사성을 계산하고 활용하는 것이 가능해졌다. 하지만 데이터의 양이 방대해지면, 이 임베딩 벡터들 중에서 특정 벡터와 가장 유사한 벡터들을 빠르게 찾아내는 것이 중요한 과제가 된다. 이때 등장하는 것이 바로 FAISS와 같은 고성능 벡터 검색 라이브러리이다.1. FAISS와 임베딩의 만남임베딩: 앞서 설명했듯이, 임베딩은 복잡한 데이터를 기계가 이해할 수 있는 수치형 벡터로 변환하는 과정이다. 의미적으로 유사한 데이터는 벡터 공간에서 서로 가까운 거리에 위치하게..

LangChain과 ChromaDB 사용 시 겪을 수 있는 두 가지 함정: 인코딩과 저장 문제 해결하기LangChain과 벡터 데이터베이스를 활용하여 RAG(Retrieval Augmented Generation) 시스템을 구축하는 것은 이제 익숙한 패턴이 되었다. 특히 ChromaDB는 사용하기 편리하여 많은 경우에 선택된다. 하지만 개발 과정에서 예상치 못한 문제에 직면할 때가 있다. 이번 글에서는 문서를 로드할 때 발생하는 한글 인코딩 문제와 ChromaDB가 persist_directory에 데이터를 저장하지 않는 문제를 다루고, 해결 방법을 공유한다.1. 문서 로드 시 한글 인코딩 깨짐 문제문제 현상: WebBaseLoader 등으로 웹에서 한국어 문서를 로드했을 때, 문서 내용(page_con..

LangGraph에서 GraphRecursionError 해결하기: 올바른 상태 관리의 중요성LangGraph를 사용하여 에이전트 워크플로우를 구축할 때 가장 자주 마주치는 오류 중 하나는 GraphRecursionError이다. 이 오류는 그래프가 종료 조건에 도달하지 못하고 최대 반복 횟수를 초과할 때 발생한다. 오늘은 이 오류의 주요 원인과 해결 방법을 실제 사례를 통해 살펴보겠다.문제 상황: 무한 재귀 발생LangGraph를 사용하여 계획 수립 및 실행 에이전트를 구현하는 중 다음과 같은 오류가 발생했다:GraphRecursionError: Recursion limit of 10 reached without hitting a stop condition. You can increase the lim..

LLM에서의 에이전트 리즈닝(Agent Reasoning)LLM(Large Language Model) 기술이 발전하면서, 단순히 텍스트를 생성하는 것을 넘어 스스로 생각하고, 계획하며, 도구를 사용하여 복잡한 문제를 해결하는 '에이전트(Agent)'로서의 가능성이 주목받고 있다. 이러한 LLM 에이전트의 핵심 능력 중 하나가 바로 '리즈닝(Reasoning)'이다.1. LLM 에이전트와 리즈닝이란 무엇인가?LLM 에이전트: 목표를 달성하기 위해 환경과 상호작용하고, 도구를 사용하며, 스스로 판단하여 행동하는 LLM 기반 시스템이다. 주어진 작업을 완료하기 위해 단순히 정보를 생성하는 것을 넘어, 능동적으로 계획을 세우고 실행하는 주체이다.에이전트 리즈닝: LLM 에이전트가 목표를 달성하기 위해 수행하는..

1. 왜 LangChain 같은 프레임워크를 사용할까? (단순 API 호출과의 차이점) "그냥 ChatGPT API 쓰면 되는 거 아니에요?" 라는 질문을 받을 수 있다. 이 질문에 대한 답변을 다음과 같이 해볼 수 있겠다."네, 맞습니다. OpenAI 같은 LLM API만 사용해도 간단한 챗봇이나 글 요약 같은 기능은 만들 수 있습니다. 하지만 우리가 만들고 싶은 '진짜 쓸모있는' 애플리케이션은 그것만으로는 부족할 때가 많습니다.""LLM API를 '아주 똑똑하지만 자기 방에만 있는 천재'라고 생각해보세요. 방 안의 지식(학습 데이터)은 풍부하지만, 몇 가지 한계가 있습니다." "최신 정보나 우리 회사 내부 자료는 몰라요."API만으로는 LLM이 학습한 시점 이후의 정보나, 외부에 공개되지 않은 회사 ..

AI, 이제 까먹지 마! 모델 컨텍스트 프로토콜(MCP) 쉽게 이해하기최근 AI 기술 커뮤니티에서 '모델 컨텍스트 프로토콜(Model Context Protocol, MCP)'이라는 용어가 자주 등장하고 있다. 이는 AI를 더 똑똑하고, 일관성 있으며, 실제 업무에 더 유용하게 만들기 위한 중요한 개념이다. MCP가 무엇인지, 왜 중요한지, 그리고 어떻게 작동하는지 쉽게 알아보자. 1. 왜 MCP가 중요할까? AI의 '기억력' 문제우리가 챗봇이나 AI 그림 도구를 사용하다 보면 답답할 때가 있다. 분명히 이전 대화에서 특정 내용을 설명했거나 지시했는데, AI가 금세 잊어버리고 매번 새로운 요청처럼 반응하는 경우이다.사례 1: 웹툰 캐릭터 그리기: AI에게 파란 머리의 특정 눈 모양을 가진 소년 캐릭터를..