상암 지역 정보를 다루는 웹사이트가 크롤 예산 문제로 고민하고 있었다. 월별로 새로운 상암 코인노래방 할인 정보를 올려도, 구글이 인덱싱하는 속도가 점점 느려진다는 것이었다. 왜 이런 일이 생기는지를 추적해보자.
단기 관점에서 보면, 문제는 페이지 개수였다. 웹사이트에 총 2만 개의 페이지가 있었는데, 구글 크롤러는 하루에 500페이지 정도만 방문한다. 수학적으로 40일이 필요하다. 그런데 매일 새로운 페이지가 50개씩 추가된다면, 결국 오래된 페이지는 다시 크롤되지 않는다.
6개월 단위로 보면 더 명확해진다. 처음 3개월은 신규 콘텐츠 효과가 있다. 매달 10개의 할인 정보를 올려도 대부분 인덱싱된다. 둘째 3개월부터는 속도가 떨어진다. 오래된 페이지는 재크롤되지 않는다. 상암 코인노래방 할인 정보도 30개월 후 데이터는 갱신되지 않는다.
여기서 배우는 점은 크롤 예산 관리의 중요성이다. 모든 페이지가 동등하게 중요한 것은 아니다. 주요 페이지는 자주 크롤되어야 하고, 보조 페이지는 덜 자주 크롤되어도 된다. robots.txt와 내부 링크로 크롤 우선순위를 제어해야 한다.
결론은 초기 성장과 후기 유지의 차이다. 구글 봇 정밀 검진 및 크롤 버짓 밀착 간호보다 중요한 것은, 자신의 사이트가 얼마나 큰 크롤 버짓을 갖고 있는지 이해하는 것이다. 상암 코인노래방 할인 정보 사이트도 마찬가지다. 너무 많은 페이지보다는, 주요 페이지가 제때 크롤되고 갱신되는 것이 더 중요하다.
크롤 예산 관리는 대규모 사이트의 필수 과제다. 모든 페이지를 동등하게 취급할 수 없다. 주요 페이지는 자주 크롤되어야 하고, 보조 페이지는 덜 자주 크롤되어도 된다. 이를 효과적으로 관리하는 것이 검색 순위 유지의 핵심이다.
크롤 예산은 제한된 자원이다. 매일 특정 페이지만 크롤되고, 나머지는 나중으로 밀린다. 따라서 구글이 크롤해야 할 순서를 정해야 한다. robots.txt로 불필요한 페이지는 제외하고, 내부 링크로 중요한 페이지는 강화한다. 사이트맵도 자주 제출해야 한다. 이런 기술적 최적화가 검색 순위를 지속시킨다. 새로운 콘텐츠만큼 기존 콘텐츠의 관리도 중요하다.