크롤링 구독제 vs 개별 과금: 1년 TCO 비교

크롤링, 생각보다 비싸지 않았나요

크롤링 외주를 1년쯤 운영해 본 분들이 공통으로 하는 말이 있습니다. "견적보다 훨씬 많이 나갔다." 계약할 때 받은 금액도 만만치 않았는데, 운영을 시작하니 거기서 끝이 아니었던 겁니다. 사이트를 추가할 때마다 개발비가 다시 나오고, 사이트가 바뀌어 수집이 멈추면 유지보수비가 건당 붙습니다. 전부 처음 견적서에는 적혀 있지 않던 항목입니다.

구독제는 이 문제를 월정액 하나로 끝냅니다. 개발·유지보수·추가 개발이 전부 포함이라, 견적서의 숫자가 곧 1년 뒤의 숫자입니다.

그런데 구조가 다른 두 견적을 공정하게 비교하려면 같은 기준 위에 올려야 합니다. 그 기준은 첫 달 금액이 아니라 **1년 총비용(TCO, Total Cost of Ownership)**입니다. 크롤링 비용은 첫 달로 끝나지 않고 데이터를 받는 내내 이어지는 데다, 대부분의 기업이 예산을 1년 단위로 편성하니 비교 기준과 예산 주기도 일치합니다.

이 글은 그 비교를 직접 해 볼 수 있는 계산 프레임입니다.

두 방식의 비용 항목 분해

먼저 1년 동안 실제로 발생하는 비용 항목을 나란히 놓아 보면 이렇습니다.

비용 항목개별 과금구독제초기 개발비사이트별 1회성 개발비 발생월정액에 포함사이트 추가추가할 때마다 개발비 재발생월정액에 포함항목 추가·변경건별 개발비월정액에 포함유지보수(사이트 변경 대응)건별 청구 또는 무상 여부 업체마다 다름월정액에 포함운영비(서버·프록시 등)매달 청구수집 규모에 따른 운영비만 별도중도 축소·해지계약마다 다름(제약 흔함)조정·중도 해지 가능

포인트는 왼쪽 열입니다. 개별 과금에서 첫 견적서에 적히는 건 보통 첫 줄(초기 개발비)과 운영비뿐이고, 나머지 줄은 1년을 지나는 동안 그때그때 청구서로 나타납니다. 첫 달이 싸 보이는 이유가 여기에 있습니다.

1년 TCO 계산 프레임

수식으로 놓으면 비교가 단순해집니다.

개별 과금의 1년 총비용

1년 TCO = 초기 개발비
        + (사이트·항목 추가 횟수 × 건당 개발비)
        + (사이트 변경 대응 횟수 × 건당 유지보수비)
        + (월 운영비 × 12)

구독제의 1년 총비용

1년 TCO = (월정액 × 12) + 규모에 따른 운영비

개별 과금 쪽 수식에서 눈여겨볼 변수는 두 개입니다. 추가 횟수와 변경 대응 횟수 — 둘 다 계약 시점에는 0으로 보이고, 견적서에도 없습니다. 하지만 데이터를 쓰다 보면 수집 대상을 늘리고 싶어지고, 수집 대상 사이트는 예고 없이 구조를 바꿉니다. 이 두 변수가 커질수록 개별 과금의 1년 TCO는 첫 견적서와 멀어집니다.

반면 구독제 수식에는 변수가 사실상 하나(운영비 규모)뿐입니다. 나머지가 전부 상수라서, 연초에 잡은 예산이 연말까지 유지됩니다. 이게 총액 비교와 별개로 구독제가 갖는 예산 예측 가능성의 가치입니다.

숫자를 넣어 보면: 수집 프로그램 5개 운영 예시

감이 잡히도록 실제 숫자로 비교해 보겠습니다. 수집 프로그램 5개를 1년 운영하는 경우의 연간 비용입니다.

타사 외주 방식 — 연 1억 1,400만원

항목연간 비용초기 개발비 (5개 × 200만원)1,000만원월 운영비 (650만원 × 12개월)7,800만원유지보수 (연간)2,000만원긴급 대응 (연간)600만원합계1억 1,400만원

해시스크래퍼 올인원 구독 (베이직 기준) — 연 3,600만원

항목연간 비용월 300만원 × 12개월 (월 단위 계약)3,600만원개발·유지보수·추가 개발모두 포함개발 요청무제한1년 계약 시 2개월 무료연 3,000만원

같은 5개 프로그램을 돌리는데 연간 7,800만원(68%)이 절감되고, 1년 계약이면 최대 8,400만원(74%)까지 차이가 벌어집니다. 주목할 점은 이 예시에서 사이트 추가·항목 변경을 한 번도 하지 않았다는 것입니다 — 앞의 수식에서 변동 변수가 전부 0이어도 이만큼 차이가 나고, 운영 중 추가·변경이 생길수록 격차는 더 커집니다.

"작으면 개별 과금이 낫다"는 통념도 계산해 봐야 합니다

흔히 수집 규모가 작으면 개별 과금이 유리하다고 생각하지만, 이것도 계산해 보면 다릅니다. 크롤러 한 개를 개발하는 데만 보통 200~300만원이 듭니다. 여기에 월 운영비가 붙고, 사이트가 바뀌면 유지보수비가 더해집니다. 수집 대상이 한두 곳이어도 1년을 운영하면 총액이 만만치 않다는 뜻입니다.

정말 소량을 한 번만 수집하는 경우라면, 그때도 개발비를 내고 외주를 맡길 일이 아닙니다. 해시스크래퍼에는 이미 만들어진 공개 봇을 건당(크레딧)으로 쓰는 요금제가 따로 있어서, 크롤러를 새로 개발하지 않고 개발비 없이 바로 수집할 수 있습니다. 정리하면 — 소량·1회성이면 크레딧, 계속 운영하면 구독제. 어느 규모든 개별 과금 방식으로 개발비를 반복해서 낼 이유는 없습니다.

그리고 아래 세 조건에 해당할수록 구독제와 개별 과금의 격차는 더 벌어집니다.

사이트 수 — 수집 대상이 많을수록 개별 과금의 초기 개발비와 유지보수 대상이 함께 늘어납니다.
변경 빈도 — 도중에 사이트·항목을 자주 추가하거나, 차단·개편이 잦은 대상(대형 커머스·SNS 등)을 수집할수록 개별 과금의 변동 항목이 커집니다.
지속 기간 — 오래 쓸수록 구독제에 포함된 유지보수의 가치가 누적됩니다.

절감 폭은 조건에 따라 다르지만, 실제로 해시스크래퍼 고객사들은 개별 과금 방식과 비교해 총비용이 40~50%가량 낮았다고 이야기하기도 했습니다.

견적서 밖의 비용도 TCO입니다

숫자로 잡히는 항목 외에, 1년을 운영해 보면 체감되는 비용이 두 가지 더 있습니다.

협상·발주 비용: 개별 과금에서는 사이트를 추가할 때마다 견적 요청 → 내부 품의 → 발주의 사이클이 반복됩니다. 데이터가 필요한 시점과 실제 수집 시작 시점 사이의 간격도 비용입니다.
데이터 공백 리스크: 유지보수가 건별 협의면, 사이트가 바뀌고 수리 협의가 오가는 동안 데이터가 끊깁니다. 지나간 기간의 데이터는 소급 수집이 어려운 경우가 많아, 공백은 돈으로 메꿀 수 없는 비용이 됩니다.

이 두 가지는 어느 견적서에도 없지만, 1년 TCO 비교에서 빠뜨리면 안 되는 항목입니다.

자가진단: 우리는 어느 쪽인가

아래 문항에 몇 개나 해당하는지 세어 보세요.

수집하고 싶은 사이트가 3곳 이상이다 (또는 늘어날 계획이 있다)
데이터를 6개월 이상 계속 받아야 한다
수집 항목이 아직 확정되지 않았고, 쓰면서 조정할 것 같다
차단이 강하거나 개편이 잦은 사이트(대형 커머스·SNS 등)가 포함돼 있다
연 단위 예산으로 움직여서, 중간에 추가 비용 품의가 부담스럽다

3개 이상이면 1년 TCO는 구독제가 유리할 가능성이 높습니다. 0~1개라면 크롤러를 새로 개발할 것 없이 해시스크래퍼 공개 봇을 건당(크레딧)으로 쓰는 편이 합리적입니다. 애매하면 두 방식의 견적을 모두 받아 위 수식에 넣어 보세요 — 추가 횟수와 변경 대응 횟수를 보수적으로 잡아도 방향은 보입니다.