도메인 확인후 크롤링 봇이 크롤링을 시작한후 데이터가 보이므로 몇일뒤에 다시 접속해 보시면 데이터가 보이실 겁니다.
크롤링시에 문제가 되는 일반적인 오류는 다음과 같습니다.
시간 초과
연결이 거부되었습니다
연결에 실패했습니다
연결 시간 초과
응답이 없습니다
대부분의 경우 서버 오류는 일시적으로 일어나는게 대부분이지만, 오류가 지속될 경우 서버에 문제가 있는지 점검해 보시고
간혹 호스팅 업체의 오류가 발생할수 있느니 호스팅 제공업체에 문의해 주세요
robots.txt 파일이 200 또는 404 오류를 반환하는 경우 검색 엔진이 이 파일을 검색하는 데 어려움을 겪고 있다는 뜻입니다.
robots.txt 사이트맵을 오류없게 만들어 제출하거나 서버단에서 bot에대한 차단이 일어나고 있는지 확인해야 합니다.
2. Sitemap 만들기
크롤러가 가장먼저 확인하는게 홈페이지에 있는 sitemap을 참고해서 크롤링을 시작합니다.
오류없는 sitemap을 잘 만드는게 봇이 크롤링을 하기 쉽게 만듭니다.
3. 정기적으로 새로운 콘텐츠 업데이트
정기적으로 새 콘텐츠를 제작하면 검색 엔진이 사이트를 더욱 잦은 빈도로 크롤링하게 됩니다.
4. 모바일 친화적인 사이트 만들기
모바일 우선 색인이 도입됨에 따라 모바일 색인에 모바일에 최적화된 페이지를 만들어야 합니다.
모바일에 최적화 되어있지 않으면 순위가 하락할수 있습니다.
다음은 모바일 친화적인 사이트를 만드는 대표적인 방법들 입니다.
a. 반응형 웹 디자인 구현
b. 콘텐츠에 뷰포인트 메타 태그 삽입
c. 페이지 내 리소스(CSS 및 JS) 최소화
d. AMP 캐시로 페이지 태그 지정
e. 로드 시간을 단축하기 위해 이미지 최적화
f. 페이지 내 UI 요소의 크기 줄이기
모바일 플랫폼에서 웹사이트를 테스트하고 구글 페이지스피드를 통해 최적화 하세요
페이지 속도는 중요한 순위 요소이며 검색 엔진이 사이트를 크롤링하는 속도에 영향을 줄 수 있습니다.
5. 중복된 컨텐츠 제거
중복된 컨텐츠 페이지는 패널티를 부과합니다.
canonical tag 혹은 meta tag를 최적화 함으로 이를 회피할수 있습니다.
6. 특정 페이지 노출 제한
검색 엔진이 특정 페이지를 크롤링하지 않도록 하려는 경우 다음과 같은 방법을 사용할 수 있습니다.
'noindex' 태그를 배치하기.
URL을 robots.txt 파일에 배치하기.
7. 외부사이트에 홈페이지를 백링크 시키기
백링크는 다른 웹사이트에서 당신의 웹사이트로 링크를 제공하는 것을 의미합니다.
이 링크는 당신의 웹사이트를 어떤 내용에 대한 권위 있는 소스로 연결하는 역할을 합니다
검색 엔진은 이를 통해 당신의 웹사이트의 신뢰도와 권위성을 평가합니다.
이는 신뢰할 수 있는 출처에서 링크가 제공되는 경우 더 큰 영향을 미칩니다.