1) 블로그, 카페 웹크롤링 블로그, 카페 같은 경우는 글 제목, 조회수, 작성일, 글 내용, 댓글, 작성자 등 웹 화면에서 볼 수 있는 모든 것들을 수집 할 수 있어요.
로그인이나 카페 가입이 필요한 폐쇄적인 블로그, 카페도 가능 합니다. 온라인 마케팅이나 광고라고 의심되는 글을 제외하여 수집 할 수도 있구요.
광고가 아닌 리얼 데이터를 수집해서 분석하게 되면 실제 온라인 마케팅에 대한 효과를 제대로 분석할 수 있습니다.
얼마 전 유명한 축구선수를 모델로 한 아이스크림 B사의 경우 온라인 마케팅 효과를 분석하기 위해 블로그와 카페 글을 수집해서 고객반응을 분석 했어요.
2) 유튜브 웹크롤링 유튜브 의 경우는 수집할 수 있는 항목이 더 많습니다.
영상 URL, 영상제목, 조회수, 게시일자, 좋아요/싫어요 수, 구독자 수, 댓글, 댓글의 답글, 아이디 등을 수집 합니다.
가장 핫한 채널인 만큼 판매 전후 실시간 반응을 분석하기 가장 좋은 채널이기도 하죠. 하지만 유튜브 댓글을 분석하는 곳은 많지는 않습니다.
왜냐?! 유튜브의 댓글은 비정형데이터, 정제가 필요한 문장이 많기 때문에 정확도가 그만큼 떨어집니다 . 때문에 데이터 수집보다는 가공과 분석에 힘을 쏟아야 하는 채널 이기도 합니다.
핸드폰 제조하시는 S 고객님은 스마트폰 판매량을 예측하기 위해 주요 유튜버들의 댓글을 수집하고 분석하여 판매예측모델 을 만드셨어요.
주요 경쟁사 제품을 홍보하는 유튜버들의 댓글 감성분석을 통해 경쟁사 제품에 대한 세부 니즈를 파악하고 벤치마킹 요소로 활용 하여 비슷한 컨셉의 제품을 저렴한 가격에 내놓아 판매량을 올린 케이스도
있습니다.
3) 온라인 마케팅의 핵심이지만 가장 어려운 인스타그램 웹크롤링 대부분의 SNS 채널의 데이터를 수집/분석하는 것에는 큰 어려움은 없습니다만, 인스타그램은 데이터 수집이 어려운 채널 입니다.
크롤링 해보신 분들은 아실겁니다. 인스타그램은 IP 차단이 어마무시하게 잘 됩니다 .
인스타그램은 크롤링 API 를 제공한다는 사실을 아십니까? 하지만 하루 건 수가 정해져 있어서 대량의 데이터를 수집할 수 없어요. 그래서 가상 IP 를 투입할 수 밖에 없지만 그래도 차단됩니다. 인스타그램
개발자들 대단하세요!
그 외에도 무한 스크롤 방식의 UX, 달라지는 클라스명, 댓글의 더보기 버튼 등의 장애물이 많아 원하는 데이터를 쉽게 크롤링 하기가 차암~ 어렵습니다. 물론 저희는 능력있는 개발자 분들이 알아서 잘 해결해주셔서 문제 없이 수집하고 있습니다.
인스타그램의 게시물 URL/이미지, 팔로워 수, 팔로우 수, 게시글, 게시일자, 댓글, 아이디, 좋아요 수 등을 수집 합니다.
특정 제품 또는 인물의 게시글과 댓글을 수집해서 고객들의 반응을 실시간으로 분석 하시는 분들 엄청 많으십니다.
특히 플랫폼 업체들은 실시간으로 제품의 반응도와 인기도를 측정 해서 고객들에게 정보를 주는 서비스를 제공하기 때문에 인스타그램 데이터를 많이 활용하세요.
이렇게 SNS에서 수집된 내용을 데이터 가공/정제, 형태소 분석, 자연어처리 등 일련의 과정을 통해 문장별로 긍/부정률을 측정 할 수 있습니다.
해시스크래퍼의 인스타그램 데이터를 수집해서 게시글 별 감성분석을 실시한 화면이 아래 화면입니다.
감성분석이라는 항목에 점수가 나와 있죠? 1점에 가까우면 긍정, -1에 가까우면 부정으로 평가할 수 있습니다.
게시물이 전반적으로 긍정에 가까운 분석결과가 나왔네요.
예시로 보여드리기 위해 게시글을 분석한 것을 보여드렸지만 댓글도 분석할 수 있어요.
과연 내가 한 온라인 마케팅이 실제 효과가 있는가? 인스타그램 댓글의 긍정률은 제품의 판매량에 영향을 끼치는가? 사이트 회원가입하는 숫자는 블로그 긍정적인 댓글 수량과의 상관관계가 있는가?
이런 질문이 머리 속에 있다면 데이터를 통해 인사이트 도출이 필요하신 순간이신 겁니다! (연락주세요)