모니터링을 시작했는데, 아무 일도 일어나지 않는다 가격 모니터링이든 평판 모니터링이든, 시작하고 몇 주가 지나면 이런 상태가 되는 조직이 있습니다. 데이터는 매일 정확하게 들어오는데, 그 데이터 때문에 누군가 움직인 적은 없는 상태. 최저가가 무너졌는데 2주 뒤에 알았고, 별점이 떨어지고 있었는데 분기 보고서에서 처음 봤다면 — 모니터링이 아니라 기록...
리뷰 3만 건을 모았는데, 아무도 읽지 않는다 리뷰 데이터 수집은 성공했는데 활용에서 막히는 경우가 많습니다. 채널마다 흩어진 리뷰를 자동으로 모으는 데까지는 왔는데, 월 수천~수만 건씩 쌓이는 텍스트를 읽을 사람이 없는 거죠. 결국 담당자가 가끔 최신 리뷰 몇 페이지를 훑어보는 수준에서 멈춥니다. 리뷰는 고객이 돈과 시간을 들여 남긴 피드백(VOC)...
같은 데이터인데, 어떤 회사는 쓰고 어떤 회사는 못 씁니다 같은 항목을, 같은 주기로, 같은 품질로 수집해 드려도 데이터 활용도는 고객사마다 크게 다릅니다. 몇 년 운영해 보니 차이를 만드는 변수가 하나 보였습니다. 데이터를 어떤 형식으로 받느냐입니다. 데이터가 도착하는 자리가 담당자의 다운로드 폴더인지, 회사 시스템인지, 팀 전체가 보는 화면인지에 ...
데이터는 쌓였는데, 달라진 게 없다면 크롤링 문의는 대부분 "이 사이트의 데이터를 수집해 주세요"로 시작합니다. 그런데 몇 달 뒤 다시 이야기를 나눠 보면, 데이터는 매일 잘 들어오는데 정작 조직에서 쓰이지 않는 경우가 적지 않습니다. 엑셀 파일이 폴더에 쌓이고, 열어 보는 사람은 담당자 한 명뿐인 상태죠. 수집 자체가 목적인 데이터는 없습니다. 가격...
같은 요청인데 크롤링 가격이 왜 이렇게 다를까 크롤링을 맡기려고 크롤링 견적을 받아 보면, 같은 요청인데도 크롤링 가격이 업체마다 크게 다릅니다. 어떤 곳은 소규모 단발 개발비만, 어떤 곳은 운영·유지보수까지 얹은 금액을 제시하죠. 같은 요청이라도 무엇을 포함해 계산했느냐가 다르기 때문입니다. 그리고 여기서 낮은 숫자에 먼저 눈이 갑니다. 그런데 크롤...
지원자가 절반도 안 들어온 이유는, 두 달 전 공고에 이미 적혀 있었다 신도시에 분원 오픈을 세 달 앞두고 간호 인력 충원 공고를 냈는데, 지원자가 예상의 절반도 안 들어옵니다. 뒤늦게 살펴보니 인근 대형 병원 두 곳이 이미 두 달 전부터 같은 지역 간호사를 대규모로 모집하며 처우까지 올려놨더군요. 그 지역 인력 풀은 경쟁사가 이미 훑고 지나간 뒤였고...
"이 지점 별점이 언제 이렇게 빠졌지?" 분기 글로벌 고객경험(CX) 리뷰 회의를 떠올려 봅니다. 슬라이드에 한 해외 대도시 지점의 별점이 4.4에서 3.6으로 주저앉아 있습니다. 그 자리에서 처음 알게 됐죠. 리뷰를 열어보니 "예약했는데 두 시간 대기", "담당자가 약속을 안 지킨다"는 같은 불만이 두 달 전부터 몰려 있었고, 사장님 답글은 하나도 ...
"일단 견적은 받았는데, 뭘 기준으로 골라야 하죠?" 웹 데이터가 필요해 크롤링 업체를 찾다 보면, 비슷비슷한 견적서 앞에서 막막해집니다. 가격만 보고 저렴한 곳에 맡겼다가 몇 달 뒤 이런 상황을 겪는 경우가 적지 않습니다. 잘 되던 수집이 어느 날 멈췄는데, 원인 파악에 며칠이 걸린다 사이트가 바뀔 때마다 "수정 비용"이 따로 청구된다 데이터는 받았...
내부 크롤링 팀, 1년 뒤에는 어떤 일을 하고 있을까요? "크롤러 하나 만드는 건 금방인데, 유지보수하다 보면 개발자 한 명이 통째로 묶여요." 데이터가 비즈니스의 핵심 자산이 된 시대, 많은 대기업이 야심 차게 자체 데이터 수집(Crawling) 팀을 꾸립니다. 하지만 1년 뒤, 그 팀의 엔지니어들은 분석이 아닌 'IP 차단'과 '캡차(CAPTCHA...
해시스크래퍼 기술 블로그의 새 글이 발행되면 이메일로 알려드립니다.
이메일은 새 글 알림에만 사용됩니다.
