비교글을 열 개쯤 읽으셨을 겁니다. 그런데 아직 아무것도 결정하지 못하셨죠. 정보가 부족해서가 아닙니다. 잘못 고르면 되돌릴 수 없다고 믿기 때문입니다. 그 믿음이 틀렸습니다. 웹 데이터 수집에서 되돌릴 수 없는 선택은 딱 하나뿐이고, 그건 도구 선택이 아닙니다. 도구는 언제든 갈아탈 수 있습니다. 하지만 놓친 기간의 데이터는 소급되지 않습니다. 3줄...
"경쟁사 데이터도 우리 대시보드에서 보고 싶다"가 데이터팀에 도착하면 사내 소스는 안정적입니다. 스키마를 우리가 통제하고, 변경은 릴리스 노트로 예고되며, 실패해도 재처리 절차가 있습니다. 그런데 경영진과 현업이 "경쟁사 가격, 리뷰, 시장 데이터도 같은 대시보드에서 보고 싶다"고 요구하는 순간, 통제권 밖의 소스를 파이프라인에 붙여야 하는 문제가 생...
새벽 3시, 파서를 고치는 사람 오케스트레이터에 빨간 태스크가 없습니다. 재시도 카운트도 깨끗하고, dbt run은 초록불로 끝났고, 데이터 품질 테스트도 다 통과했습니다. 그런데 아침에 출근한 현업이 묻습니다. "어제 평균가가 왜 이렇게 떨어졌어요?" 로그를 열어 봐도 예외가 없습니다. 파서가 죽지 않았거든요. 대상 사이트가 어느 영역을 예고 없이 ...
"대량으로, 실시간으로 수집해 주세요." 수집 문의에서 가장 많이 받는 문장입니다. 그리고 이 문장에는 견적을 낼 수 있는 정보가 하나도 없습니다. 파일럿은 잘 됐을 겁니다. 몇 개 사이트, 며칠 치 데이터, 깔끔한 결과. 대상을 늘리고 주기를 좁히는 순간 차단이 시작되고, 수집이 밀리고, 크롤러 수리가 본업이 됩니다. 인프라를 잘못 골라서가 아닙니다...
"쿠팡이랑 네이버쇼핑도 수집되나요?" 가격 수집 서비스를 알아보는 분들은 열에 아홉이 이 질문부터 던집니다. 문제는, 이 질문으로 업체가 걸러지지 않는다는 것. 대부분 "가능합니다"라고 답하기 때문입니다. 아침마다 두 사이트를 열어 확인하고, 엑셀에 옮기고, 다 옮기면 가격이 또 바뀌어 있는 하루. 경쟁사 가격은 오늘도 세 번 움직였고, 우리 수집은 ...
애널리스트 한 명이 수백 종목의 여론을 다 볼 수 있을까 리서치 조직에서 커버하는 종목은 보통 수십에서 수백 개에 이릅니다. 각 종목마다 뉴스가 하루에도 수십 건씩 쏟아지고, 전자공시와 증권 커뮤니티, SNS의 언급까지 더하면 사람이 눈으로 훑는 것만으로는 한계가 분명합니다. 결국 담당 종목만 겨우 챙기고, 나머지는 악재가 이미 주가에 반영된 뒤에야 ...
지역·단지별 시세를 아직도 수기로 취합하고 계신가요? 디벨로퍼와 중개, 건자재 사업자 모두 "지금 이 단지 호가가 오르는 중인가, 빠지는 중인가"를 판단해야 하는 순간이 잦습니다. 그런데 대부분은 담당자가 여러 부동산 플랫폼을 하나씩 열어 지역·단지별 매물과 호가를 눈으로 훑고, 엑셀에 옮겨 적는 방식에 머물러 있습니다. 문제는 시세가 하루가 다르게 ...
"주기적으로 수집해서 엑셀로 정리해 주는 도구"를 찾고 계실 겁니다. 목록은 금방 나옵니다. 문제는 그 목록이 대부분 같은 구간만 자동화한다는 것입니다. 500개 이상 기업의 수집을 지원하며 본 자동화 실패는, 예약 실행이 안 돼서 생긴 경우가 거의 없었습니다. 정해진 시간에 성실하게 돌면서, 아무 말 없이 틀린 값을 쌓고 있었습니다. 엑셀이 도착하지...
경쟁 제품 조사를 아직도 담당자가 손으로 하고 계신가요? 신제품을 기획할 때 경쟁사 제품의 스펙과 가격, 구성이 어떤지 확인하는 일은 빠지지 않습니다. 문제는 이 조사를 담당자가 여러 쇼핑몰을 하나씩 열어 스펙표를 옮겨 적고, 가격을 캡처하는 방식으로 처리한다는 점입니다. 제품 수가 수십 종을 넘어가면 한 번 조사에만 며칠이 걸리고, 조사 시점마다 값...
해시스크래퍼 기술 블로그의 새 글이 발행되면 이메일로 알려드립니다.
이메일은 새 글 알림에만 사용됩니다.
