꼭 일이 몰려있을때 치고들어오는 ASAP (As Soon As Possible)의 대표 안건..
문제의 '회식 장소'입니다. 잘 알아봐야 본전인 이런 소모성 업무로 저녁 약속을 취소하고 계시진 않나요? 오늘은 회식장소 선정으로 고통받는 세상 모든 총무님들을 도와드릴 수 있는 방법을 '노코드 웹크롤링(No Code Web Crawling)'으로 알아보겠습니다.
1. 네이버 지도를 크롤링하면 무엇을 얻을 수 있을까?
네이버지도에서는 지역별로 등록된 업체 정보가 대량으로 포함되어있습니다. 위의 크롤링 결과물을 확인해보면 업체명, 주소정보, 영업시간, 고객 평점, 리뷰 등의 다양한 데이터를 포함하고 있는 것을 알 수 있습니다.
이번 포스팅에서는 특정 지역명+키워드로 검색했을때 나오는 정보를 수집해서 이를 선별하고 검증하는 과정까지 진행해보도록 하겠습니다.
2. 네이버 지도 크롤링봇으로 회식장소 선별하기
Step-1. 로그인하기
해시스크래퍼 공식홈페이지(www.hashscraper.com)에 로그인을 진행합니다.
계정이 따로 없으시다면 카카오 계정 및 구글 계정으로도 간편하게 가입이 가능하십니다. 현재 최초 가입시에 데이터 수집에 이용할 수 있는 50,000크레딧을 증정하고 있습니다.
Step-2. 크롤링봇 세팅
네이버지도 크롤링봇에 접속하셔서 수집 파라메터를 설정해줍니다.
해시스크래퍼 본사가 위치한 여의도 인근 일식집을 알아보기 위해 '여의도 일식'으로 검색어를 설정했습니다. 수집 목표수량은 200개입니다.
수집이 완료된 이후에 동일한 데이터셋에 다른 검색결과도 지속적으로 수집이 가능한데요, 새로운 내용의 수집 파라메터를 설정하고 아래 '유니온'기능을 활성시켜줍니다.
주로 웹크롤링 결과물의 분량이 아쉽거나, 다양한 조건의 데이터를 하나의 데이터셋에서 모아놓고 분석할때 사용하는 기능입니다.
동일한 정보는 알아서 걸러주고 새로운 내용의 데이터만 같은 장소에 계속 누적시키는게 가능하기 때문입니다.
Step-3. 데이터 수집
데이터 수집이 진행될때에는 아래 테이블에서 바로 확인할 수 있습니다.
도로명이나 구체적인 동/읍/면/리까지 키워드에 포함시켜 수집하면 더욱 자세한 수집 결과를 지속적으로 누적시킬 수 있습니다.
Step-4. 데이터 다운로드 & 분석
수집이 완료된 데이터를 엑셀로 다운로드 받고 원하는 기준으로 데이터를 정렬하고 확인해보세요. 평점이 높은 순서로 정렬하거나, 리뷰 많은 순서로 정렬해서 평가가 좋은 음식점들만 직접 확인하면 더욱 빠르게 후보를 추려낼 수 있습니다.
3. 회식 장소 이외에도 네이버지도 자동 크롤링 기술을 활용해보세요
자체로 거대한 지역 정보DB를 품고있는 네이버 지도, 사업자 DB를 직접 구축해보거나 여행지에 대한 데이터, 지역 상권 조사, 특정 프렌차이즈 업체 현황 조사 등에 다양하게 활용할 수 있습니다.
네이버 지도의 점포별 메뉴데이터를 간편하게 크롤링하는 방법을 소개합니다. 해시스크래퍼의 네이버 지도 수집 크롤러를 통해 원하는 키워드와 최대 수집 개수를 설정한 후 수집된 상점들에대한 리스트 아이디인 SRID를 이용하여 손쉽게 메뉴 데이터를 얻어보세요. 몇 번의 클릭만으로 다양한 점포의 메뉴 정보를 확인할 수 있습니다.