(주)이파피루스 블로그

PyMuPDF Pro를 조금이라도 써본 개발자라면 한 번쯤 이런 생각을 했을 수 있습니다. “라이브러리 이름은 PyMuPDF Pro인데, 왜 예전에는 import fitz였지?” 이 글은 바로 그 질문에서 출발합니다.fitz는 그냥 예전 이름이 아니었습니다PyMuPDF Pro의 중심에는 MuPDF라는 C 기반 문서 엔진(C-based document engine)이 있습니다. MuPDF는 Artifex가 오래 다듬어 온 엔진으로, PDF 렌더링(PDF rendering), 텍스트 추출(text extraction), 주석 처리(annotation handling) 같은 복잡한 작업을 빠르게 처리하는 걸 강점으로 합니다.여기서 `fitz`는 MuPDF의 초기 내부 프로젝트 코드명인 Fitz에서 나온 이름입..

컨텍스트 윈도우의 한계모든 LLM에는 한 번에 처리할 수 있는 최대 텍스트 길이, 즉 **컨텍스트 윈도우(context window)**가 존재합니다. 최신 모델들은 100,000토큰을 넘는 긴 컨텍스트를 지원하기도 하지만, 문서 전체나 데이터베이스를 그대로 모델에 입력한다고 해서 항상 좋은 결과가 나오지는 않습니다.컨텍스트가 길어질수록 모델이 그 안에서 정말 중요한 정보를 정확히 찾아내는 능력은 오히려 떨어질 수 있습니다.이때 데이터 청킹(chunking)이 큰 역할을 합니다. 콘텐츠를 논리적인 단위로 나누면, 모델은 불필요한 정보 없이 필요한 부분만 전달받을 수 있습니다.검색 정확도 향상RAG(Retrieval-Augmented Generation) 시스템에서는 청킹 방식이 검색 품질에 직접적인 영향..