구글 PDF 색인 방식 공개: 내 PDF가 검색에 읽히는지 확인하는 법

구글 PDF 검색 노출은 PDF 파일을 HTML로 바꾼 뒤 그 HTML을 색인(검색 결과에 올릴 수 있게 구글 목록에 등록하는 일)하는 방식으로 이뤄진다. 구글 검색팀의 마틴 스플릿과 존 뮬러가 10월 13일 공개한 팟캐스트 「PDFs in Search: Indexing, AI & Pitfalls」에서 설명한 내용이다. 회사소개서, 제품 카탈로그, 가격표를 PDF로 올려 둔 사이트는 그 파일이 검색에 읽히는 상태인지 한 번 확인해 볼 만하다.

구글 PDF 검색 노출은 어떤 순서로 이뤄지나

구글이 PDF를 읽는 방식은 우리가 PDF를 읽는 방식과 다르다. 외국어 책을 번역가가 먼저 우리말 원고로 옮겨 놓아야 도서관이 목록에 올릴 수 있는 것과 비슷하다. 구글도 PDF 파일을 그대로 보관하지 않고 변환기로 HTML 문서로 옮긴 뒤, 그 결과물을 일반 웹페이지처럼 색인한다. 번역이 잘 안 되는 책은 목록에 제대로 못 오르듯, 변환기가 글자를 읽지 못하는 PDF는 검색에서 불리하다.

이 설명을 정리한 서치 엔진 저널 기사에 따르면 스플릿은 구글에 PDF 뷰어가 없고, PDF 안의 링크도 변환된 HTML 안에서 일반 링크처럼 따라간다고 말했다. 변환된 PDF는 일반 검색뿐 아니라 AI 모드와 AI 개요에도 나올 수 있다고 한다. PDF가 색인 가능한 파일 형식이라는 점은 구글 검색 센터의 지원 파일 형식 문서에도 올라 있다.

구글은 2011년 검색 센터 블로그에서 암호가 걸리거나 암호화된 PDF가 아니면 다양한 문자 인코딩의 글자 내용을 색인할 수 있다고 밝혔으므로, 암호를 건 PDF는 색인에서 빠질 수 있다. 스플릿은 PDF 안에 든 이미지가 색인되는지는 확실하지 않고, 되지 않는다고 보는 편이 안전하다고 했다. 이미지에는 따로 주소가 없어서 이미지 검색에 웹 이미지처럼 올라가기도 어렵다. 그래서 가격표나 도표를 이미지로만 넣은 PDF는 그 정보가 검색에 잡히지 않을 수 있다.

내 PDF가 검색에 읽히는지 확인하는 방법

확인은 1분이면 된다. PDF를 열어 본문 글자를 마우스로 드래그해 보고, 선택되어 복사되면 변환기가 글자를 읽을 가능성이 높다. 서치 엔진 저널 정리에 따르면 선택해서 복사할 수 있는 PDF가 순위에 쓸 만한 상태이고, 스캔한 이미지로만 이뤄진 PDF는 제약이 있다. 선택이 안 되면 문서 프로그램에서 원본을 PDF로 다시 내보내거나 이미지 속 글자를 텍스트로 바꿔 주는 글자 인식(OCR) 기능으로 처리한 뒤 올린다.

색인 여부는 서치 콘솔의 URL 검사에 PDF 주소를 넣어 확인한다. 'URL이 Google에 등록되어 있음'으로 나오면 색인된 것이고, 아니면 그 PDF로 연결되는 링크가 사이트 안에 있는지 먼저 본다. 서치 콘솔 없이도 구글 검색창에 site:내도메인.com filetype:pdf를 입력하면 구글이 가진 내 PDF가 나열되는데, 전부 보여 주는 것은 아니므로 빠진 파일은 URL 검사로 따로 본다. 서치 콘솔 사용법은 구글 서치 콘솔 시작 가이드에 정리해 두었다.

PDF를 계속 쓸까, 웹페이지로 바꿀까

서치 엔진 저널 정리에 따르면 스플릿과 뮬러는 인쇄용 서식, 정교한 레이아웃, 양식처럼 PDF가 꼭 필요하면 써도 된다고 했다. 식당 메뉴를 웹에 아예 올리지 않는 것보다 PDF로라도 올리는 편이 낫다는 예도 들었다. 다만 같은 내용을 HTML로 만들 수 있다면 HTML이 검색엔진과 방문자 모두에게 낫다고 한다. 이유는 검색엔진이 처리하기 쉽고 방문자가 쓰기도 편하기 때문이라는 것이다.

상황	권장
회사소개서·제품 소개처럼 웹페이지로 만들 수 있는 내용	웹페이지(HTML)를 만들고 PDF는 내려받기용으로 둔다
인쇄용 카탈로그, 서식, 양식	PDF를 유지하고 글자가 선택되는지 확인한다
스캔본 문서	글자 인식을 거치거나, 핵심 내용을 웹페이지 본문에도 옮긴다

같은 내용을 HTML과 PDF로 모두 공개하면 어느 쪽이 검색에 나올지 구글이 고르게 된다. 구글은 중복 URL 정리 문서에서 PDF 같은 HTML이 아닌 파일은 서버가 파일과 함께 보내는 응답 헤더에 Link: <대표 주소>; rel="canonical"을 넣어, 같은 내용이 여러 주소에 있을 때 대표 주소(canonical)를 알릴 수 있다고 안내한다. 대표 주소는 절대 주소로 쓴다. 서버 설정을 바꿀 수 없는 환경이면 PDF에서 HTML 페이지로 가는 링크를 본문 첫머리에 넣는 정도가 현실적이다.

PDF를 검색에서 빼고 싶을 때와 용량 한도

내부 자료나 만료된 가격표처럼 검색에 나오면 곤란한 PDF는 서버 응답 헤더로 막는다. PDF에는 HTML 메타 태그를 넣을 수 없어서, 구글 문서가 비HTML 파일용으로 안내하는 X-Robots-Tag 응답 헤더를 쓴다. 아파치는 <Files ~ "\.pdf$"> 안에 Header set X-Robots-Tag "noindex"를, 엔진엑스는 location ~* \.pdf$ 블록에 add_header X-Robots-Tag "noindex";를 넣는다. robots.txt로 크롤링을 막아 두면 구글이 이 헤더를 읽지 못하므로, 색인에서 빼는 파일은 크롤링을 막지 않아야 한다. 국내에서 많이 쓰는 호스팅이나 쇼핑몰 빌더는 서버 헤더 설정이 막혀 있는 경우가 있어서, 그때는 호스팅 업체에 문의하거나 해당 파일을 아예 비공개 주소로 옮기는 방법을 쓴다.

파일이 너무 크면 어떻게 되는지도 궁금할 수 있다. 팟캐스트에서 스플릿은 PDF 크롤링 한도가 일반 웹페이지보다 크다고 짐작하면서도 정확한 수치는 모른다고 답했다. 구글 크롤러 문서에는 구글 크롤러가 기본적으로 파일의 처음 15MB만 읽는다고 적혀 있고, 크롤러별로 이보다 작은 한도를 둘 수 있다고 한다. PDF만의 공식 한도는 문서에 없다. 수십 MB짜리 카탈로그라면 챕터별로 나눠 올리는 쪽이 한도 걱정이 없다는 것이 맥피의 판단이다.

AI 답변에서 내 PDF가 인용되게 하려는 접근은 AI 검색 최적화 크롤러 허용·차단 방법과 함께 보면 된다. PDF를 봇이 읽을 수 있게 열어 두는 것이 출발점이다.

앞으로 확인할 점

이번 설명은 구글 검색팀이 팟캐스트에서 말한 내용이고, 공식 문서가 바뀐 것은 아니다. 스플릿도 PDF 이미지 색인과 크기 한도는 상황에 따라 바뀔 수 있다고 했다. 구글 검색 센터의 업데이트 기록이나 파일 형식 문서에 PDF 관련 문구가 추가되는지 지켜볼 만하다.

자주 묻는 질문

PDF 안의 링크도 검색에 반영되나요?

스플릿에 따르면 PDF의 글자 링크는 변환된 HTML 안에 남아 일반 링크처럼 따라간다.

PDF와 같은 내용의 웹페이지를 둘 다 올리면 중복 문서로 불이익을 받나요?

구글 문서는 대표 주소를 지정하라고 안내할 뿐 불이익을 단정하지 않는다. 대표로 밝히고 싶은 쪽을 헤더나 링크로 알려 주면 된다.

PDF 안에 넣은 이미지에도 대체 텍스트가 필요한가요?

PDF 이미지는 색인되지 않을 수 있다는 것이 스플릿의 설명이므로, 이미지에만 담긴 가격이나 조건은 본문 글자로도 적어 두는 것이 안전하다.