구글 서치 콘솔 크롤링 빈도 높이기

구글 서치 콘솔 설정 - 크롤링 통계 호스트 상태 지난주에 호스트 문제 있었음.

최근 구글 서치 콘솔에서 티스토리글을 작성하고 구글 검색에 노출시키기 위해 URL검사를 진행하면 부쩍 실패율이 높아지고 있어 무슨 문제인지는 정확하지 않지만 아래와 같이 호스트 상태가 문제가 있다고 하여 아래와 같이 구글 서치 콘솔 크롤링 빈도 높여 봅니다.

Google에서 지난주에 콘텐츠에 액세스하지 못한 경우가 있었습니다. 아래 문제 주제를 살펴보고 모든 문제가 해결되었는지 확인하세요.

robots.txt 가져오기.

지난주 실패율이 높았습니다.

DNS 확인.

수용 가능한 실패율입니다.

서버 연결.

지난주 실패율이 높았습니다.

구글서치콘솔 크롤링 통계 보고서

구글 서치 콘솔 크롤링 통계.

위 세 가지 기준 뿐만 아니라 크롤링 요청 측정기준별 내역 및 보고서 또한 확인할 수 있습니다.

구글 서치 콘솔 호스트 상태.

호스트 상태를 통해 사이트에 어떤 문제가 있는지, 어떤 상태인지 카테고리 별로 알 수 있습니다.

구글에서는 각 카테고리를 아래와 같이 정리했습니다:

robots.txt 가져오기:

크롤링할 때 robots.txt 파일을 요청하는데 요청 오류가 하루 기준치를 초과했을 때의 문제를 표시합니다.

DNS 변환:

DNS 서버가 호스트의 이름을 인식하지 못하거나 크롤링 응답을 하지 않을 때 문제를 표시합니다.

서버 연결:

서버가 응답하지 않거나 크롤링 중 URL 전체 응답이 되지 않을 때 문제를 표시합니다.

도대체 구글 크롤러가 무엇인지 알아봅니다.

Google 크롤러 및 가져오기 도구(사용자 에이전트)에 관한 개요.

Google은 크롤러 또는 가져오기 도구를 사용하여 자동 또는 사용자 요청에 의해 트리거되는 방식으로 제품에 대한 작업을 수행합니다.

'크롤러'('로봇' 또는 '스파이더'라고도 함)는 한 웹페이지에서 다른 웹페이지로 연결되는 링크를 따라가며 웹사이트를 자동으로 검색하는 데 사용되는 프로그램을 가리키는 일반적인 용어입니다. Google의 기본 크롤러를 Googlebot이라고 합니다.

브라우저와 마찬가지로 가져오기 도구는 사용자 요청 시 단일 URL을 요청하는 도구입니다.

Google 크롤러와 가져오기 도구와 더불어 리퍼러 로그에 표시되는 방식, robots.txt에서 이를 지정합니다.

사용자 에이전트 토큰은 사이트의 크롤링 규칙을 작성할 때 크롤러 유형과 일치시키기 위해 robots.txt의 User-agent: 줄에 사용됩니다.

일부 크롤러에는 토큰이 두 개 이상 있습니다. 규칙을 적용하려면 크롤러 토큰 하나만 일치시켜야 합니다.

전체 사용자 에이전트 문자열은 크롤러의 전체 설명이며 HTTP 요청과 웹 로그에 표시됩니다.

일반 크롤러.

Google의 일반 크롤러는 Google의 검색 색인을 만들고, 다른 제품과 관련된 크롤링을 수행하며, 분석하는 데 사용됩니다. 일반 크롤러는 항상 robots.txt 규칙을 따르며 일반적으로 googlebot.json 객체에 게시된 IP 범위에서 크롤링합니다.

출처: https://developers.google.com/search/docs/crawling-indexing/overview-google-crawlers?hl=ko

크롤링 통계

구글서치콘설 설정을 클릭하면 보여지는 구글 크롤러가 내티스토리를 언제 그리고 얼마나 자주 크롤링 하는지 보여주는 통계입니다.

구글 서치 콘솔 크롤링 통계란?

크롤링이 빨리 되는 경우에는 구글봇이 사이트를 빠른 속도로 색인하고 있다는 것을 나타냅니다. 빠른 속도로 더 많은 사이트를 크롤링할수록 더 좋은 성적이 나오는 것이죠.

크롤링 통계는 총 세 가지로 나누어볼 수 있습니다:

총 크롤링 요청 횟수: 사이트에 요청된 총 크롤링 수 입니다.

총 다운로드 크기: 크롤링 중 다운로드된 모든 파일과 리소스의 크기이며, 이전에 클로링 때 캐시된 리소스는 포함되지 않습니다. 파일 종류는 HTML, 이미지, 스크립트 파일 등이 있습니다.

평균 응답 시간: 페이지 콘텐츠를 가져오기 위한 크롤링 요청 평균 페이지 응답 시간입니다.