비전 모델이 따라올 수 없는 문서 이해력: PDF 네이티브 접근 방식의 힘

Google이 최근 Gemini 3.0을 공개하면서 문서 AI 업계가 꽤 들썩이고 있습니다.
멀티모달 성능이 좋아졌다는 얘기도 많고, 실제로 문서 처리 회사들 중 일부는 벌써 파싱 작업에 적용해서 필기체 인식이나 읽기 순서 감지 같은 부분의 개선을 확인했다고 합니다.

하지만 초기 사용자들은 여전히 해결되지 않은 문제도 발견했습니다.
복잡한 레이아웃에서는 성능이 떨어지고, 취소선 같은 텍스트 스타일을 제대로 못 잡는 경우가 많으며, 특정 텍스트 위치를 박스로 표시해 인용하는(bounding-box citation) 기능도 정확하지 않다는 점이죠.

사실 이건 그렇게 놀라운 일도 아닙니다.
PDF를 다룰 때 비전 기반 시스템은 근본적으로 넘어야 할 벽이 있어요.
쉽게 말하면:

애초에 문제 자체를 잘못 정의하고 있는 셈입니다.

---

Vision Model이 바라보는 PDF

Gemini 3.0 같은 VLM(Vision Language Model)은 PDF를 그냥 “이미지”로 취급합니다.

• 페이지를 픽셀로 렌더링하고
• 하나의 큰 모델이 텍스트 인식, 레이아웃 감지, 의미 파악까지 전부 처리

이 방식이 강력한 건 맞습니다. 태스크 전체를 통으로 최적화할 수 있으니까요.
하지만 단점도 명확합니다:

• 연산량 폭발: 픽셀을 처리해야 하니 파라미터도 크고 GPU 자원도 많이 필요함
• 텍스트 정확도 보장 어려움: PDF에 이미 존재하는 고유 텍스트를 쓰는 게 아니기 때문에 폰트·취소선·굵기 같은 포맷을 자주 틀림
• 오류 수정이 힘듦: 틀리면 패치를 못 하고 프롬프트 수정이나 모델 튜닝이 필요함
• 문서에는 이미 있는 정보를 복구하려고 너무 많은 파라미터를 씀

스캔 문서나 필기 노트라면 이 방식이 맞을 수 있지만,
대부분의 비즈니스 문서가 born-digital PDF라는 점을 생각하면 좀 과합니다. 효율도 떨어지고요.

---

PDF는 이미지가 아니다

PDF 안에는 비전 모델이 전혀 접근할 수 없는 정보들이 잔뜩 들어 있습니다:

• 텍스트 객체 + 폰트 속성(볼드, 이탤릭, 모노스페이스, 취소선, 하이라이트 등)
• 테이블 선, 그리드 등 각종 레이아웃을 구성하는 벡터 그래픽
• 로고 같은 이미지 객체
• 주석, 하이라이트
• 문서 구조/북마크/읽기 순서 같은 메타데이터

PDF를 이미지로 렌더링하면 이 정보가 전부 사라집니다.
그러면 비전 모델은 이걸 픽셀에서 다시 유추해야 합니다.
당연히 부정확하고 비싸죠.

---

PDF-Native 접근 방식의 장점

PyMuPDF-Layout은 PDF 내부 구조를 그대로 읽습니다.
즉, 이미 문서 안에 존재하는 정보만 잘 활용하면 됩니다.

import pymupdf.layout
import pymupdf4llm

# Extract structured content as markdown
doc = pymupdf.open("document.pdf")
md_text = pymupdf4llm.to_markdown(doc)

# Or extract as JSON
json_text = pymupdf4llm.to_json(doc)

이 방식이 좋은 이유는 명확합니다:

1. 텍스트 정확도 100%

OCR 추론이 아니라 PDF에 저장된 텍스트 그 자체를 읽습니다.
취소선, 폰트 스타일, 코드 폰트 등도 정확하게 가져옵니다.

2. 정확한 테이블 감지

우리 GNN 모델은 테이블 경계를 잡고,
PyMuPDF는 벡터 그래픽을 분석해 행·열을 뽑습니다.

최근 복잡한 금융 문서에서 97% 정확도로 테이블 구조를 감지했습니다.
이건 비전 모델이 자주 놓치는 부분이죠.

3. 리소스 효율성

PyMuPDF-Layout은 CPU에서, 1.8M 파라미터로 실행됩니다.
Gemini 3.0은 GPU + 수십억 파라미터가 필요하죠.

수천 건의 문서를 매일 처리하는 기업 입장에서 비용 차이는…
말할 필요도 없습니다.
게다가 대부분의 문서는 1초 미만에 처리됩니다.

---

스캔 문서는 어떡하죠?

PyMuPDF-Layout에는 OCR이 내장되어 있습니다.
페이지를 분석해서 OCR이 유용하다고 판단되면 자동으로 Tesseract를 호출합니다.
이후에는 born-digital 문서와 똑같이 처리합니다.

RapidOCR 같은 다른 엔진도 추가될 예정이어서 선택지가 더 넓어질 거예요.

물론 손글씨가 많거나 심하게 훼손된 스캔은 비전 모델이 유리할 수 있습니다.
하지만 일반적인 비즈니스 스캔 문서는 GPU 없이도 충분히 해결됩니다.

---

우리의 전략: 경쟁이 아니라 보완

우리는 VLM이 하는 모든 걸 따라가려는 게 아닙니다.
오히려 VLM이 접근할 수 없는 PDF 내부 구조를 활용해
더 효율적이고 정확한 문서 추출을 만들고 있습니다.

차세대 모델은 teacher-student 방식으로 학습 중입니다:

• 공개 데이터셋(DocLayNet, PublayNet 등 40만 페이지)
• 비공개 비즈니스 문서(50만 페이지)
• VLM과 비교 평가를 통한 지속 개선

이 방식은 PDF-native 효율성과
비전 기반의 유연성을 함께 가져갈 수 있는 접근입니다—GPU 없이요.

---

만약 여러분이 주로 청구서, 재무 보고서, 계약서, 기술 문서처럼 ‘디지털 원본 PDF(born-digital PDF)’를 파싱한다면,
PDF 네이티브(구조분석) 방식의 문서 추출 소프트웨어가 비전 모델보다 더 빠르고, 더 정확하며, 비용도 압도적으로 적게 듭니다.

스캔 문서를 다루는 경우에도 PyMuPDF-Layout의 OCR 통합 기능으로 대부분 해결 가능합니다.
굳이 무거운 비전 모델을 쓸 이유가 없죠.

이미 읽을 수 있는 것을 다시 복구하려 하지 마세요.
그냥 읽으면 됩니다.

PyMuPDF-Layout은 PyPI에서 설치할 수 있고,
라이브 데모도 바로 사용해볼 수 있습니다.

---

🎉 Happy Coding! 🙂

앞으로, 다양하고 유익한 PyMuPDF Pro 튜토리얼로 찾아오겠습니다. 기대해주세요! 감사합니다 :)
PyMuPDF Pro 제품소개페이지 바로가기 >