"일단 견적은 받았는데, 뭘 기준으로 골라야 하죠?"
웹 데이터가 필요해 크롤링 업체를 찾다 보면, 비슷비슷한 견적서 앞에서 막막해집니다. 가격만 보고 저렴한 곳에 맡겼다가 몇 달 뒤 이런 상황을 겪는 경우가 적지 않습니다.
잘 되던 수집이 어느 날 멈췄는데, 원인 파악에 며칠이 걸린다
사이트가 바뀔 때마다 "수정 비용"이 따로 청구된다
데이터는 받았는데 엑셀 파일로만 와서 자동 연동이 안 된다
계약은 1년 묶였는데 정작 필요한 사이트는 수집이 안 된다
크롤링은 한 번 만들고 끝나는 개발이 아니라, 계속 굴러가야 하는 운영입니다. 그래서 업체를 고를 때 봐야 할 기준도 달라야 합니다. 데이터 수집을 외주로 맡기기 전 반드시 확인해야 할 7가지를 정리했습니다.
이 글은 구독형 크롤링 서비스를 운영하는 해시스크래퍼가 썼습니다. 그래서 항목마다 **"해시스크래퍼의 답"**도 함께 적어두었습니다. 저희가 아닌 다른 업체를 검토하실 때도, 같은 질문을 그대로 던져보시면 됩니다.
1. 원하는 사이트를 실제로 수집할 수 있는가
가장 먼저 확인할 것은 "우리가 원하는 그 사이트"가 실제로 되는지입니다. 쿠팡, 네이버 쇼핑, 인스타그램처럼 차단이 강한 채널은 기술력만으로 되지 않습니다. IP차단이나 캡차 대응 같은 인프라가 함께 필요하죠.
확인할 질문
대상 사이트의 실제 수집 샘플(PoC)을 먼저 보여줄 수 있나요?
차단이 심한 채널의 수집 실패율은 어느 정도인가요?
해시스크래퍼의 답 — 계약 전에 30분 무료 컨설팅으로 수집 가능 여부를 먼저 진단하고, 가능하다면 실제 샘플 데이터를 먼저 보내드립니다. 쿠팡·네이버 쇼핑처럼 차단이 강한 채널은 프리미엄 프록시와 AI 캡차 대응을 결합해 수집하며, 이런 옵션이 필요한 경우 견적 단계에서 요율을 미리 안내합니다. 뒤늦게 "이 사이트는 추가 비용이 필요하다"는 말이 나오지 않게요.
2. 사이트 구조가 바뀌면 누가 대응하나
쇼핑몰과 SNS는 3~6개월마다 구조가 바뀝니다. 그때마다 크롤러가 멈추는데, 이 유지보수를 누가·얼마에·얼마나 빨리 해주느냐가 실제 서비스 품질을 가릅니다.
확인할 질문
사이트 변경에 따른 수정이 무상인가요, 별도 비용인가요?
수집이 멈췄을 때 복구까지 리드타임은 며칠인가요?
해시스크래퍼의 답 — 사이트 구조 변경 대응은 횟수 제한 없이 무상입니다. 구독제는 플랜에 따라 응답 시간을 24시간~6시간으로 계약서에 명시하므로, "언제 고쳐줄지 모르는" 상태가 계약상 존재하지 않습니다.
3. 요금 구조가 예측 가능한가
크롤링 업체의 비용은 보통 두 갈래로 나뉩니다.
1회성 개발비: 크롤러 커스텀 개발, 유지보수, 추가 개발
운영비: 서버비, 프록시(IP) 비용, AI API 비용 등
여기서 가장 흔한 함정이 '숨은 비용'입니다. 대부분의 기업은 1년 단위로 예산을 편성하는데, 도중에 수집 사이트를 늘리거나 항목을 추가하려 하면 그때마다 1회성 개발비가 새로 발생합니다. 예산을 이미 확정한 상태에서는 이 추가 비용이 확장을 가로막는 걸림돌이 되죠.
확인할 질문
개발비·운영비·유지보수비가 어떻게 나뉘나요?
사이트를 추가할 때마다 개발비가 다시 발생하나요?
계약 도중에 규모를 줄이거나 해지할 수 있나요?
해시스크래퍼의 답 — 해시스크래퍼 구독제는 이 구조 자체를 바꿉니다. 월 300만 원부터 시작하는 정액제에 크롤러 개발·유지보수·추가 개발이 모두 포함됩니다. 개발 요청은 무제한이고, 동시에 진행하는 개발 건수만 플랜에 따라 달라집니다. 도중에 사이트를 늘려도 추가 개발비가 붙지 않으니, 연초에 확정한 예산 그대로 1년을 운용할 수 있죠. 1년 계약 시 2개월 무료 혜택도 있습니다. 실제로 해시스크래퍼 고객사들은 1회성 개발비가 반복되는 방식과 비교해 총비용이 최대 40~50%가량 낮았다고 이야기합니다.
4. 데이터를 어떻게 받는가
데이터는 받는 방식이 활용도를 결정합니다. 엑셀 파일만 받으면 사람이 매번 열어봐야 하지만, API나 DB 연동이 되면 자사 시스템과 대시보드로 데이터가 자동으로 흐릅니다.
확인할 질문
엑셀 다운로드, 이메일 자동발송, API, DB 적재 중 무엇을 지원하나요?
API 연동에 추가 비용이 붙나요?
해시스크래퍼의 답 — 엑셀 다운로드와 이메일 자동발송은 물론, API 호출과 고객사 DB 직접 적재까지 지원합니다. 받는 쪽 시스템에 맞춰 전달 방식을 함께 설계하는 것까지가 서비스 범위입니다.
5. 얼마나 안정적으로 운영되는가
크롤링은 '돌려놓는' 게 아니라 '지켜보는' 일입니다. 수집 실패, 차단, 누락을 감지하고 재수집하는 체계가 없으면 데이터에 조용히 구멍이 생깁니다.
확인할 질문
수집 실패나 누락을 자동으로 감지하고 재수집하나요?
서비스가 중단됐을 때 보상(환불·기간 연장) 조건이 있나요?
해시스크래퍼의 답 — 수집 실패는 3단계 자동 재시도를 거치고, 그래도 실패하면 엔지니어에게 알림이 가서 1영업일 내 원인을 파악합니다. 서비스 중단 시 이용료 환불 또는 기간 연장으로 보상합니다. "100% 무결점"을 약속하는 업체보다, 실패를 어떻게 감지하고 복구하는지 설명할 수 있는 업체가 믿을 만합니다.
6. 법적으로 안전한 구조인가
크롤링은 목적과 활용에 따라 법적 판단이 갈리는 영역입니다. 계약서에 책임 범위가 명확히 나뉘어 있어야 나중에 생길 리스크를 피할 수 있습니다.
확인할 질문
수집 과정과 데이터 활용의 책임이 계약서에 어떻게 구분되나요?
개인정보나 저작물은 어떤 기준으로 처리하나요?
해시스크래퍼의 답 — 표준계약서에 "수집 과정의 책임은 해시스크래퍼, 데이터 활용의 책임은 고객사"로 명확히 구분합니다. 공개된 데이터만 수집하고 개인정보는 다루지 않는 것을 원칙으로 하며, 8년간 수집 관련 법적 분쟁은 0건입니다.
7. 계약이 유연한가
필요가 바뀌면 수집 규모도 바뀝니다. 장기 선결제만 가능한 구조보다, 월 단위로 시작해 조정할 수 있는 편이 리스크가 작습니다.
확인할 질문
월 단위 이용이 가능한가요? 중도 해지 조건은 어떻게 되나요?
규모를 늘리거나 줄일 때 정산은 어떻게 되나요?
해시스크래퍼의 답 — 약정 없는 월 단위 구독이 기본이고, 월 구독은 위약금 없이 해지할 수 있습니다. 장기 이용이 필요하실 경우, 1년 계약 단위로 진행하며 이때 2개월 분은 할인하여 제공합니다.
자체 개발 vs 일반 외주 vs 해시스크래퍼 구독제
비교 항목자체 개발일반 수집 외주(SI)해시스크래퍼 구독제초기 비용개발자 채용·인프라 구축고액 개발비개발비 0원유지보수내부 인력 상시 투입사이트 변경 시 추가비무상·응답 SLA 명시확장(사이트 추가)개발 재투입건마다 추가 개발비(숨은 비용)월정액에 포함차단 대응직접 구축 부담업체 역량 편차8년 운영한 자체 인프라데이터 연동직접 구현파일 전달 위주엑셀·API·DB 적재계약 유연성—장기 계약월 단위·위약금 없는 해지
세 방식 모두 상황에 따라 정답이 될 수 있습니다. 다만 수집할 사이트가 여럿이고 지속적으로 데이터가 필요하다면, 개발·유지보수·차단 대응이 월정액 하나에 포함된 구독제가 총비용과 안정성 면에서 유리한 경우가 많습니다.
정리
크롤링 업체는 "얼마인가"보다 "얼마나 안정적으로, 얼마나 예측 가능하게 운영되는가"로 골라야 합니다. 위 7가지 질문을 견적서 옆에 두고 하나씩 확인해 보시길 권합니다.
해시스크래퍼 구독제는 이 7가지 질문에 대한 저희의 답입니다. 크롤러 개발·유지보수·차단 대응·모니터링이 월정액에 모두 포함되고, 고객사는 정제된 데이터를 받기만 하면 됩니다. 사이트가 바뀌어도, 수집이 막혀도, 대응은 저희 몫입니다. 8년간 500곳 이상의 기업이 이 방식으로 데이터를 받고 있습니다.
지금 바로 시작하기
원하는 사이트가 실제로 수집되는지, 30분 무료 컨설팅에서 먼저 진단해 드립니다. 수집이 가능하다면 실제 샘플 데이터까지 받아보고 결정하세요. 현재 겪고 계신 수집 이슈 진단만 받으셔도 됩니다.
