CDN 이전 구글봇 차단 막는 법｜캐시 예열과 429·503 대응

CDN 이전 때 구글봇 차단과 오리진 서버 과부하를 피하려면 구글이 안내한 세 가지를 순서대로 하면 된다. 구글 검색센터는 2026년 11월 11일 공식 블로그에서 사이트를 CDN 뒤로 옮기면 크롤링이 바로 늘어나는 이유와 대응 순서를 밝혔다. 방어 설정에서 검증된 봇을 허용하고, 전환 전에 캐시를 미리 채우고, 그래도 서버가 버티지 못하면 429나 503을 짧게만 돌려주라는 내용이다. CDN(Content Delivery Network)은 전 세계에 흩어진 서버가 사이트 파일을 방문자 가까이에서 대신 내주는 서비스이고, 오리진은 원래 콘텐츠를 가진 우리 쪽 서버를 말한다.

CDN으로 옮기면 크롤링이 늘어나는 이유

구글은 사이트 서버가 건강한지를 계속 보고 크롤링 속도의 상한을 정한다. 이 상한을 크롤링 용량 한도(crawl capacity limit, 다른 이름은 hostload)라고 부른다. 공식 글에 따르면 응답이 느려지면 한도가 내려가고, 빠르고 안정적인 응답이 이어지면 크롤링 수요가 있는 한 한도가 차츰 올라간다.

DNS가 CDN 가장자리 서버를 가리키면 연결과 응답 시간이 줄어든다. 구글봇은 이것을 서버가 더 많은 요청을 받아도 된다는 신호로 읽고 요청을 늘린다. 문제는 새 CDN의 캐시가 비어 있다는 점이다. 아래 표가 구글이 설명한 방문자와 크롤러의 차이다.

구분	사람 방문자	구글봇
요청 대상	인기 페이지에 몰린다	사이트의 URL 전체를 훑는다
캐시 적중	인기 페이지는 금방 채워져 빨리 올라간다	URL이 많아 캐시에 없는 요청(캐시 미스)이 오래 이어진다
오리진 부담	작다	캐시가 찰 때까지 크다

계산 예(가정)를 들면 페이지가 10만 개인 쇼핑몰에서 방문자가 주로 보는 상품이 500개라면, 500개 캐시가 차는 순간부터 방문자 요청은 오리진에 거의 가지 않는다. 구글봇은 10만 개를 모두 요청하므로 캐시에 없는 URL마다 오리진에서 가져와야 한다. 구글은 증가 배율 같은 구체 수치를 공개하지 않았다.

구글봇 차단을 피하는 방법: 검증된 봇 허용

요청 그래프가 치솟으면 CDN 관리 화면에서 봇 방어를 통째로 켜고 싶어진다. 공식 글은 포괄 방어(blanket protection)의 문제를 이름에서 찾았다. 예외 없는 포괄 방어는 구글 크롤러까지 같은 자동 트래픽으로 취급해 오류 페이지나 CAPTCHA 앞에 세워 두고, 크롤러는 이런 상태가 이어지면 물러나며 페이지가 검색에서 빠질 수 있다.

순서는 이렇다.

1. CDN과 WAF 설정에서 봇 차단 규칙이 켜져 있는지 본다. 대부분의 주요 CDN과 WAF는 알려진 봇, 검증된 봇을 허용하는 스위치나 관리형 규칙을 제공한다고 구글은 안내했다.
2. 그 항목을 켜고, 차단이 필요한 봇은 robots.txt나 특정 봇만 겨냥한 규칙으로 따로 막는다.
3. 구글봇을 직접 가려내야 하면 구글이 공개한 IP 대역을 쓴다. 구글 요청 확인 문서에는 로그의 IP로 역방향 DNS 조회(host 명령)를 해서 이름이 googlebot.com으로 끝나는지 보고, 그 이름을 다시 조회해 처음 IP와 같은지 대조하는 방법과 common-crawlers.json 같은 IP 대역 파일이 있다.

CDN과 WAF마다 항목 이름이 다르므로 이름보다 기능을 본다. 봇 방어 규칙에 검증된 크롤러 예외가 있는지, 규칙 로그에 구글봇 요청이 차단으로 찍히지 않는지가 확인할 대상이다.

전환 전에 캐시를 미리 채우는 예열

구글은 공식 글에서 캐시가 비어 있으면 처음 요청마다 오리진으로 간다고 했다. 그래서 트래픽을 전부 CDN으로 돌리기 전에 프로그램으로 주요 URL을 먼저 요청해 캐시를 채우라고 권했다. 구글이 꼽은 대상은 세 종류다.

예열 대상	예
방문이 가장 많은 페이지	홈, 인기 글, 인기 상품 상세
곧 몰릴 페이지	프로모션이나 시즌 행사 페이지
구글봇이 자주 가져가는 URL	카테고리, 사이트맵에 오른 주요 URL

요청 속도는 조절해서 보내야 한다. 예열 스크립트가 한꺼번에 몰리면 그 자체가 오리진 과부하가 된다. 구글봇이 자주 가져가는 URL은 서버 로그에서 구글봇 요청을 URL별로 세어 보면 나온다.

429·503으로 임시 제동: 얼마나 써도 되나

예열과 허용 설정을 해도 오리진이 버티지 못하면 구글은 429(요청이 너무 많음)나 503(서비스 일시 중단)을 짧게 돌려주라고 했다. 크롤링 속도 낮추기 문서에 따르면 구글봇은 이 응답을 받으면 해당 호스트 전체의 크롤링을 늦추고, 오류가 멈추면 다시 속도를 올린다.

응답	쓰는 때	유의점
429, 503	오리진 보호용 임시 제동	몇 시간, 길어야 하루나 이틀. Retry-After 헤더로 재시도 시점을 알릴 수 있다
403	쓰지 않는다	WAF나 CAPTCHA가 크롤러를 막을 때 나타나는 벽이다. 제동 수단으로 권하지 않았다

기간이 핵심이다. 같은 URL에서 이 오류가 여러 날 이어지면 그 URL이 구글 색인에서 빠질 수 있고, 새 페이지 발견과 수정 반영이 느려지며, 삭제한 페이지가 색인에 더 오래 남는다. 제동 규칙은 해제 날짜까지 정해서 켜 두는 것이 안전하다. 오류 없이 속도만 낮추고 싶다면 구글 문서에 따라 서치 콘솔의 Googlebot 신고 양식으로 적정 크롤링 속도를 요청할 수 있지만, 검토에 며칠이 걸리고 속도를 올려 달라는 용도로는 쓸 수 없다.

전환 뒤 잘 됐는지 확인하는 방법

아래 확인 기준은 공식 글의 문구가 아니라 위 안내를 점검 항목으로 바꾼 것이다. 성공 기준은 세 가지다. 서버 로그나 CDN 로그에서 구글봇 요청이 403이나 챌린지 페이지로 끝나지 않고 200으로 끝난다. 오리진 요청 수와 응답 시간이 전환 며칠 안에 내려온다. 서치 콘솔의 크롤링 통계 보고서에서 서버 오류와 평균 응답 시간이 눈에 띄게 나빠지지 않는다. 크롤링 요청 수가 늘어난 것 자체는 구글이 설명한 정상 반응이다.

자주 묻는 질문

CDN을 쓰면 SEO 순위가 올라가나요?

이 공식 글은 순위 이야기를 하지 않는다. 응답이 빨라지면 구글봇의 크롤링 속도가 오른다는 점만 설명한다.

작은 블로그도 캐시 예열이 필요한가요?

페이지 수가 적고 서버가 여유로우면 필요하지 않을 가능성이 크다. 확인할 것은 봇 방어 설정에서 구글봇이 막히지 않는지다.

구글봇을 막은 것 같을 때 어디부터 보나요?

CDN·WAF 규칙 로그에서 구글봇 요청이 차단이나 챌린지로 기록됐는지 보고, 검증된 봇 허용 항목을 켠다. 그다음 서치 콘솔 크롤링 통계에서 서버 오류가 줄어드는지 보고, 검색 노출 변화는 서치콘솔 실적 보고서에서 따로 확인한다.