같은 데이터인데, 어떤 회사는 쓰고 어떤 회사는 못 씁니다 같은 항목을, 같은 주기로, 같은 품질로 수집해 드려도 데이터 활용도는 고객사마다 크게 다릅니다. 몇 년 운영해 보니 차이를 만드는 변수가 하나 보였습니다. 데이터를 어떤 형식으로 받느냐입니다. 데이터가 도착하는 자리가 담당자의 다운로드 폴더인지, 회사 시스템인지, 팀 전체가 보는 화면인지에 ...
데이터는 쌓였는데, 달라진 게 없다면 크롤링 문의는 대부분 "이 사이트의 데이터를 수집해 주세요"로 시작합니다. 그런데 몇 달 뒤 다시 이야기를 나눠 보면, 데이터는 매일 잘 들어오는데 정작 조직에서 쓰이지 않는 경우가 적지 않습니다. 엑셀 파일이 폴더에 쌓이고, 열어 보는 사람은 담당자 한 명뿐인 상태죠. 수집 자체가 목적인 데이터는 없습니다. 가격...
같은 요청인데 크롤링 가격이 왜 이렇게 다를까 크롤링을 맡기려고 크롤링 견적을 받아 보면, 같은 요청인데도 크롤링 가격이 업체마다 크게 다릅니다. 어떤 곳은 소규모 단발 개발비만, 어떤 곳은 운영·유지보수까지 얹은 금액을 제시하죠. 같은 요청이라도 무엇을 포함해 계산했느냐가 다르기 때문입니다. 그리고 여기서 낮은 숫자에 먼저 눈이 갑니다. 그런데 크롤...
지원자가 절반도 안 들어온 이유는, 두 달 전 공고에 이미 적혀 있었다 신도시에 분원 오픈을 세 달 앞두고 간호 인력 충원 공고를 냈는데, 지원자가 예상의 절반도 안 들어옵니다. 뒤늦게 살펴보니 인근 대형 병원 두 곳이 이미 두 달 전부터 같은 지역 간호사를 대규모로 모집하며 처우까지 올려놨더군요. 그 지역 인력 풀은 경쟁사가 이미 훑고 지나간 뒤였고...
"이 지점 별점이 언제 이렇게 빠졌지?" 분기 글로벌 고객경험(CX) 리뷰 회의를 떠올려 봅니다. 슬라이드에 한 해외 대도시 지점의 별점이 4.4에서 3.6으로 주저앉아 있습니다. 그 자리에서 처음 알게 됐죠. 리뷰를 열어보니 "예약했는데 두 시간 대기", "담당자가 약속을 안 지킨다"는 같은 불만이 두 달 전부터 몰려 있었고, 사장님 답글은 하나도 ...
식약처 유관기관과 규제 대상 기업이 온라인 모니터링을 준비해야 하는 이유 온라인에서 유통되는 식약처 관할 품목 관련 게시물은 이제 담당자가 검색창에 키워드를 입력해 일일이 확인할 수 있는 규모를 넘어섰습니다. 식품의약품안전처의 온라인 모니터링 체계도 이에 맞춰 변화했습니다. 네이버 블로그, SNS, 커머스 등 여러 온라인 채널에서 최근 30일간 약...
"일단 견적은 받았는데, 뭘 기준으로 골라야 하죠?" 웹 데이터가 필요해 크롤링 업체를 찾다 보면, 비슷비슷한 견적서 앞에서 막막해집니다. 가격만 보고 저렴한 곳에 맡겼다가 몇 달 뒤 이런 상황을 겪는 경우가 적지 않습니다. 잘 되던 수집이 어느 날 멈췄는데, 원인 파악에 며칠이 걸린다 사이트가 바뀔 때마다 "수정 비용"이 따로 청구된다 데이터는 받았...
내부 크롤링 팀, 1년 뒤에는 어떤 일을 하고 있을까요? "크롤러 하나 만드는 건 금방인데, 유지보수하다 보면 개발자 한 명이 통째로 묶여요." 데이터가 비즈니스의 핵심 자산이 된 시대, 많은 대기업이 야심 차게 자체 데이터 수집(Crawling) 팀을 꾸립니다. 하지만 1년 뒤, 그 팀의 엔지니어들은 분석이 아닌 'IP 차단'과 '캡차(CAPTCHA...
"독일 매출이 왜 빠졌지?"에 아무도 답하지 못한 회의 분기 글로벌 마케팅 리뷰 회의를 떠올려 봅니다. 독일 매출이 눈에 띄게 빠졌습니다. 원인을 묻자 애널리스트가 독일어 리뷰 스무 개를 번역기에 돌려 읽고 "가격 경쟁력 문제인 듯하다"고 적어 왔죠. 그 한 줄에 근거해 할인 예산이 늘었습니다. 몇 주 뒤 다시 들여다보니, 실제 불만의 다수는 가격이 ...
해시스크래퍼 기술 블로그의 새 글이 발행되면 이메일로 알려드립니다.
이메일은 새 글 알림에만 사용됩니다.
