회식 장소는 찾았다! 이제 메뉴도 한 번에 확인해보자: 네이버 상점 메뉴 크롤링
네이버 지도의 점포별 메뉴데이터를 간편하게 크롤링하는 방법을 소개합니다. 해시스크래퍼의 네이버 지도 수집 크롤러를 통해 원하는 키워드와 최대 수집 개수를 설정한 후 수집된 상점들에대한 리스트 아이디인 SRID를 이용하여 손쉽게 메뉴 데이터를 얻어보세요. 몇 번의 클릭만으로 다양한 점포의 메뉴 정보를 확인할 수 있습니다.
TABLE OF CONTENTS
1. 데이터 준비
1.1. 스크래퍼 접속
데이터를 준비하기 위해서 저희 해시스크래퍼의 스크래퍼를 활용하였습니다.
아래 사진과 같이 SNS탭에 있는 인스타그램 포스팅 수집을 클릭하여 들어갑니다.
1.2. 파라메터 세팅
해당 빨간 부분을 클릭하여 파라미터들을 세팅하여 줍니다.
1.3. 세팅 저장
본 예제에서는 아래와 같이 파라미터들을 검색 키워드에는 더마블스, 최대 수집 건수에는 500을 세팅하여 저장하였습니다.
1.4 데이터 수집 시작
그러면 아래와 같이 데이터 개수가 500개인 세팅값에 더마블스로 적힌 데이터들이 수집되어지고 View버튼을 누릅니다.
1.5 데이터 수집 결과
아래 이미지와 같이 데이터가 잘 추출된 것을 볼 수 있습니다.
1.6 엑셀 다운로드
그리고 이 데이터를 다운받으면 이와 같이 엑셀로 다운받아 볼 수 있습니다.
2. 태블로 활용하기(Tableau)
2.1. 태블로에 공유
위에서 다운 받은 인스타 크롤링 엑셀 데이터를 태블로에서 데이터에 연결을 클릭하고 나서 Microsoft Excel을 클릭하여 열어줍니다.
2.2. 데이터 확인
태블로에서 데이터를 열어서 확인하면 아래 이미지와 같이 볼 수 있습니다.
2.3 태블로에서 해시태그 컬럼을 ,로 나누어줍니다.
2.4 태블로 아래 쪽 시트 새로 만들기 버튼을 누르면 아래 이미지와 같이 데이터 컬럼들을 눈에 쉽게 볼 수있고 드래그를 이용하여 컬럼을 분석할 수 있습니다.
3. 분석하기-1
3.1. 검색 결과 관련 해시태그 분석
더 마블스로 검색했을 때 주로 관련되어 있는 해시태그를 분석해보겠습니다.
3.2. 컬럼 설정
먼저, 아까 해시태그를 분리하여 만든 새로운 컬럼을 오른쪽으로 끌어당기고 그리고 Sheet1(카운트) 를 오른쪽으로 끌어당깁니다. 좀 더 태블로 안에서 표현하자면, 해시태그 분리를 행쪽에 차원으로 설정하고, 카운트를 측정값으로 설정합니다.
3.3. 표현방식 선택
그리고 태블로 오른쪽에 표현방식에서 막대그래프를 선택합니다.
3.4. 결과 값 확인
아래와 같이 결과는 박서준, 마블, CODE10, 배울점많은 박서준이 나오는 것을 확인할 수 있습니다.
4. 분석하기-2
4.1. 정수타입으로 변환
먼저 좋아요 수를 정수 타입으로 변환해줍니다.그러면 해당 컬럼의 표시가 해시태그로 바뀌게 됩니다.
4.2. 새 시트 생성
다음에는 새 시트를 생성하여 줍니다.
4.3. 측정값 및 표현방식 설정
좋아요 수를 측정값으로 설정합니다. 다음에 아까와 같이 해시태그 분리 컬럼을 차원으로 설정합니다. 그리고 다시 한번 표현방식을 막대그래프로 표현합니다.
4.4.해시태그 결합 및 나열
이번에는 더 마블스로 검색했을때 같이 나오는 해시태그들을 좋아요 순으로 합치고, 그 순서대로 나열을 한 것입니다.
4.5. 트리맵으로 변형
아래 이미지는 바로 위 막대그래프를 트리맵으로 변형한 그래프입니다.
5. 마무리
이번 포스팅에서는 해시스크래퍼 서비스를 통해 빅데이터를 구축하고, 데이터 시각화 서비스 태블로(Tableau)를 활용하여 시각화 작업까지 진행해보았습니다.
하지만 가장 중요한 것은, 데이터 분석의 방향이 올바르게 설정되었는지 점검하는 것입니다.
이것이 유의하셔서 다양한 솔루션으로 보다 업무효율을 증진시키실 수 있었으면 좋겠습니다.
이 글도 함께 읽어보세요:
Related Posts
배달 앱 리뷰 크롤링으로 소비자 인사이트 확보하기
배달의 민족, 요기요, 쿠팡 이츠와 같은 인기 배달 앱에서 리뷰를 크롤링하여 가치 있는 소비자 인사이트를 얻는 방법을 알아보세요. 리뷰 크롤링의 중요성, 데이터 수집 방법, 이 데이터를 분석하고 활용하는 방법에 대해 설명합니다.
![[사용가이드] 네이버 부동산 매물 정보 수집 자동화하기](
https://imagedelivery.net/IEMzXmjRvW0g933AN5ejrA/wwwnotionso-image-prod-files-secures3us-west-2amazonawscom-e4bd1549-406a-4073-9d7a-e186c2f46526-936374f3-08c6-43ea-9404-8c91dca7bfaf-e18492e185a2e18489e185b5e18489e185b3e1848fe185b3e18485e185a2e18491e185a5_e18487e185b3e186afe18485e185a9e18480e185b3_e18480e185a1e18485e185a9e18492e185a7e186bc_1png/public
)
Made with Bullet