[SEO 전략] 우리 홈페이지는 몇 등일까? 웹크롤링으로 구글 검색 결과 순위 자동화하기(with 지누스, 이케아)

검색 엔진 최적화는 SEO라고도 말하며 SEO는 "Search Engine Optimization"의 줄임말입니다. 이는 웹사이트 또는 웹 페이지가 검색 엔진에서 더 잘 검색되도록 최적화하는 프로세스를 의미합니다.

해시스크래퍼

Aug 1, 2023

0. 검색엔진 최적화(SEO)란?

검색 엔진 최적화는 SEO라고도 말하며 SEO는 "Search Engine Optimization"의 줄임말입니다. 이는 웹사이트 또는 웹 페이지가 검색 엔진에서 더 잘 검색되도록 최적화하는 프로세스를 의미합니다. 온라인 쇼핑몰, 블로그 등 웹사이트 운영에 있어 가장 기본적인 개념으로 자리 잡았습니다.

검색 엔진 최적화를 잘 수행하면, 광고 없이 내 웹사이트를 검색 결과 상단에 위치시켜 더 많은 방문자를 지속적으로 유치할 수 있습니다. SEO가 잘 된 사이트들은 검색 결과 1페이지에 노출되어 경쟁사 사이트나 다른 유사한 컨텐츠들보다 더 많은 방문자와 재방문율을 이끌어냅니다.

1. 구글 SEO를 위한 팁

그렇다면, 세계적인 검색 엔진인 구글에서 검색 엔진 최적화하는 방법은 어떤 것들이 있을까요?

고품질의 컨텐츠: 신뢰할만한 유용한 정보가 풍부한 콘텐츠를 지속적으로 업로드해야 합니다. 가장 기본적인 방법이지만, 나의 타겟 고객들의 관심을 끌고 그들에게 도움이 될만한 콘텐츠를 꾸준히 작성해야 재방문율을 높일 수 있습니다.

메타 태그 최적화: 각 페이지의 메타 태그(타이틀 태그, 메타 설명)를 최적화하여 해당 페이지의 내용을 요약하고, 검색 결과에서 잘 표시되도록 해야 합니다. 우리가 서점에서 책 표지, 제목, 저자, 요약, 추천사 등을 확인하듯이, 구글 검색엔진 로봇은 이러한 메타 데이터를 보고 해당 웹페이지의 정보를 확인합니다. 당연히, 메타 태그를 잘 설정해주는 것이 검색엔진 로봇의 선택을 받을 확률이 높겠죠.

URL 최적화: 구글 같은 검색엔진은 URL 또한 중요한 정보로 확인합니다. 웹페이지와 관련되고 의미있는 URL을 사용하고, URL에는 가능한 키워드를 포함시키는 것이 좋습니다.

내부 링크 구성: 웹 사이트 내에서 관련성 높은 페이지들을 서로 링크를 걸어 사용자들이 내 웹사이트에서 더 오래 머물도록 하세요. 뿐만 아니라 검색 엔진이 페이지의 구조를 이해하는데 도움이 됩니다.

이 밖에도 모바일 최적화, 사이트 속도 개선, 백링크 구축, 사이트맵 제출, 소셜 미디어 활용 등 다양한 구글 SEO 방법이 있습니다.

2. 크롤링으로 내 웹사이트의 구글 검색 결과 순위 확인하기

SEO를 어느 정도 했다면, 이제 내 웹페이지의 순위를 확인해봐야 합니다.

특히, 내가 타겟으로 하고 있는 키워드에서 내 웹사이트 또는 블로그 컨텐츠들이 구글 검색 결과 몇 번째 페이지에 나오는지 궁금하지 않으신가요? 뿐만 아니라 내 경쟁사들의 홈페이지는 구글 검색 결과 몇 페이지의 몇 번째에 노출되고 있을지 찾아보고 싶으실 거에요.

그런데, 여러분이라면 내 웹 페이지 순위를 어떻게 확인하실까요?

기본적으로 구글 검색창을 열고, 내 사이트와 관련된 키워드를 검색하고 페이지를 넘겨가며 웹사이트 url을 찾아야 할 것입니다.

그런데, 만약 내가 노출 순위를 확인하고 싶은 웹사이트 수가 10개이고 검색하고자 하는 키워드 수가 100개라면 어떻게 될까요?

웹사이트수 10개 x 검색 키워드 수 100개 x 페이지수 N 번의 페이지 이동을 하며 웹사이트 순위를 찾고 하나씩 엑셀에 기입해야 할 것입니다.

만약, 이 작업을 매주 해야한다면요?

엄청난 단순 반복 작업에 사람이 직접 작업하다보니, 시간도 오래 걸리고 오류가 발생할 가능성이 매우 높습니다.

웹크롤링을 활용해 단순 반복 작업을 자동화할 수 있습니다. 해시스크래퍼를 활용하면 코딩 없이 지금 즉시 구글 검색 결과 노출 순위를 수집할 수 있어요!

3. 해시스크래퍼 대시보드로 구글 검색결과 노출순위 수집 자동화하기

해시스크래퍼의 구글 검색결과 노출순위 수집 봇을 활용해 구글 검색결과 노출 순위를 알아볼 수 있습니다.

쉬운 설명을 위해 예시를 들어보겠습니다.

이제부터 제가 지누스라는 매트리스 브랜드의 마케팅 담당자라고 가정하겠습니다!

지누스와 관련된 키워드는 "매트리스", "메모리폼 매트리스", "매트리스 추천", "가성비 매트리스"가 있다고 가정합니다. (지누스를 고른 이유는 제가 좋아하는 브랜드이기 때문입니다^^;)

구글에서 각 키워드들을 검색했을 때, 지누스의 홈페이지는 몇 번째에 나올까요?

이를 알아보기 위해 대시보드에 "구글 검색결과 노출순위 수집 봇"에 들어가서 웹사이트 이름에는 홈페이지의 도메인 주소 zinus.co.kr 을 넣고, 검색 키워드에는 "매트리스"를 넣고 데이터 수집을 시작합니다.

수집된 결과를 확인해보니, rank 는 2위인것을 확인할 수 있습니다. 구글에서 "매트리스"로 검색했을 때, 1페이지에 2번째로 노출되고 있습니다.

이어서 다른 키워드들도 하나씩 확인해보겠습니다.

다음 키워드인 "메모리폼 매트리스", "매트리스 추천", "가성비 매트리스"를 각각 입력하면서 데이터 수집을 반복해줍니다.

"메모리폼 매트리스"에서 순위는 1위(1페이지에 1번째로 노출)로, "매트리스 추천"에서는 77위(8페이지의 7번째에 노출)로, "가성비 매트리스" 키워드 검색결과에서는 94위(10페이지의 4번째에 노출)로 결과가 나왔습니다.

4. 경쟁사 브랜드의 구글 검색 결과 순위 알아보기

여기서 한 가지 더, "과연 경쟁사의 구글 검색결과 노출순위는 어떨까?"

이케아의 매트리스 관련 키워드 검색 결과 노출 순위를 확인해보겠습니다. 지누스의 결과와 비교를 위해 구글 검색결과 노출순위 봇에게 웹사이트 이름에는 ikea.com을, 키워드도 동일하게 "매트리스", "메모리폼 매트리스", "매트리스 추천", "가성비 매트리스"를 넣어 데이터를 수집해봤습니다.

이케아는 구글 키워드 검색 결과 "매트리스"에서는 1위, "메모리폼 매트리스"에서는 2위, "매트리스 추천"에서는 102위, "가성비 매트리스"에서는 103위로 노출되고 있네요.