[티스토리] 구글 서치 콘솔 '제외됨', '색인이 생성되지 않음' 오류에 관하여

얼마전 제2블로그(mothist.tistory.com)으로 게임 글을 이전했는데, 꽤 오랜 기간이 지났는데도 다음과 카카오톡에서만 유입이 되고 네이버와 구글에서 유입이 되지 않는 것을 확인했습니다.

 

분명 Google Search Console과 네이버 웹마스터 도구 모두에 사이트맵과 RSS를 제출했고 일부 글은 수동 등록 요청도 해놓았는데, 아직까지도 색인 생성이 제대로 되지 않았네요.

 

구글 서치 콘솔에 접속해보면 수집된 페이지의 목록을 확인할 수 있는데요.

제 메인 블로그의 경우엔 무려 1330여개의 페이지가 제외됨으로 표기되어있네요!

 

적절한 표준 태그가 포함된 대체 페이지, 중복 페이지

제외된 사유를 찾아보면 대부분(650+98+6개, 56%)이 해당되는 내용입니다.

 

URL만 다르고 내용은 동일한 페이지라는 뜻이므로, 블로그 구조 및 계층이 나뉘다보면 자연스레 생기는 제외 페이지입니다.

 

현재 색인이 생성되지 않음

구글에서 색인 생성 제외 세부사유를 전혀 알려주지 않아 답답한 경우입니다.

 

고객센터에서는 아래와 같이 안내하고 있는데요.

크롤링됨 - 현재 색인이 생성되지 않음: Google에서 페이지를 크롤링했지만 색인이 생성되지는 않았습니다. 이후에 색인이 생성될 수도 있고 생성되지 않을 수도 있습니다. 크롤링을 위해 이 URL을 다시 제출할 필요는 없습니다.

발견됨 - 현재 색인이 생성되지 않음: Google에서 페이지를 발견했지만 페이지가 아직 크롤링되지 않았습니다. 일반적으로 Google에서 URL을 크롤링하려고 했지만 이로 인해 사이트가 과부하 상태가 될 수 있기 때문에 Google에서 크롤링 일정을 변경한 경우입니다. 그렇기 때문에 보고서에 마지막 크롤링 날짜가 비어 있는 것입니다.

- Google, Search Console 고객센터 ^[각주:1]

 

'크롤링됨'의 경우 '이후에 색인이 생성될 수도 있고 생성되지 않을 수도 있습니다.'라고 하는데, 구글 엔진이 자체적인 판단으로 이게 중복 페이지거나 무효 페이지인지 단번에 판단하지 못해 이후로 미룬 것 같습니다.

 

'발견됨'의 경우 '사이트가 과부하 상태가 될 수 있기 때문에 Google에서 크롤링 일정을 변경한 경우입니다.'라고 하는데, 이것은 구글 봇이 너무 많이 긁어가면 사이트가 터질까봐 다음에 오기로 했다는 뜻입니다.

 

 

색인 요청

여기서 '다음'이 언제인지는 구글 엔진 본인만 알고 있는 사실이기에, 저희는 그냥 기다리거나 수동으로 색인요청을 해줘야 합니다.

 

URL 검사 + 색인 생성 요청을 넣어주면 됩니다.

 

* 색인 생성 요청은 횟수 제한이 있으니 참고 부탁드립니다! (2021.4.1 호무님 조언 감사합니다.)

 

색인 요청 후 재크롤링까지 소요시간은 2-5일 정도로 보입니다. 아래 글을 참고했습니다. (2021.10.6 굿펠라스님 좋은 질문 감사드립니다.)

 

https://ohteacher0112.tistory.com/50

티스토리 구글 노출 누락 시 해결방법(+색인 생성 요청 소요시간)

각주

1. https://support.google.com/webmasters/answer/7440203#crawled [본문으로]