月額料金이 비싸 보이는 착시
크롤링 구독제 견적을 처음 받아 보면 대부분 같은 반응이 나옵니다. "개발비 한 번 내는 것보다 비싼데?" 맞습니다. 첫 달만 보면 개별 과금이 거의 항상 쌉니다.
문제는 크롤링 비용이 첫 달로 끝나지 않는다는 점입니다. 데이터를 받는 내내 유지보수가 붙고, 사이트를 추가할 때마다 개발비가 다시 발생합니다. 그래서 과금 방식을 비교할 때는 첫 견적서의 금액이 아니라 1년 총비용(TCO, Total Cost of Ownership)으로 놓고 봐야 합니다. 마침 대부분의 기업이 예산을 1년 단위로 편성하니, 비교 기준과 예산 주기도 일치합니다.
이 글은 그 비교를 직접 해 볼 수 있는 계산 프레임입니다.
두 방식의 비용 항목 분해
먼저 1년 동안 실제로 발생하는 비용 항목을 나란히 놓아 보면 이렇습니다.
| 비용 항목 | 개별 과금 | 구독제 |
|---|---|---|
| 초기 개발비 | 사이트별 1회성 개발비 발생 | 월정액에 포함 |
| 사이트 추가 | 추가할 때마다 개발비 재발생 | 월정액에 포함 |
| 항목 추가·변경 | 건별 개발비 | 월정액에 포함 |
| 유지보수(사이트 변경 대응) | 건별 청구 또는 무상 여부 업체마다 다름 | 월정액에 포함 |
| 운영비(서버·프록시 등) | 매달 청구 | 수집 규모에 따른 운영비만 별도 |
| 중도 축소·해지 | 계약마다 다름(제약 흔함) | 조정·중도 해지 가능 |
포인트는 왼쪽 열입니다. 개별 과금에서 첫 견적서에 적히는 건 보통 첫 줄(초기 개발비)과 운영비뿐이고, 나머지 줄은 1년을 지나는 동안 그때그때 청구서로 나타납니다. 첫 달이 싸 보이는 이유가 여기에 있습니다.
1년 TCO 계산 프레임
수식으로 놓으면 비교가 단순해집니다.
개별 과금의 1년 총비용
1년 TCO = 초기 개발비
+ (사이트·항목 추가 횟수 × 건당 개발비)
+ (사이트 변경 대응 횟수 × 건당 유지보수비)
+ (월 운영비 × 12)
구독제의 1년 총비용
1년 TCO = (월정액 × 12) + 규모에 따른 운영비
개별 과금 쪽 수식에서 눈여겨볼 변수는 두 개입니다. 추가 횟수와 변경 대응 횟수 — 둘 다 계약 시점에는 0으로 보이고, 견적서에도 없습니다. 하지만 데이터를 쓰다 보면 수집 대상을 늘리고 싶어지고, 수집 대상 사이트는 예고 없이 구조를 바꿉니다. 이 두 변수가 커질수록 개별 과금의 1년 TCO는 첫 견적서와 멀어집니다.
반면 구독제 수식에는 변수가 사실상 하나(운영비 규모)뿐입니다. 나머지가 전부 상수라서, 연초에 잡은 예산이 연말까지 유지됩니다. 이게 총액 비교와 별개로 구독제가 갖는 예산 예측 가능성의 가치입니다.
変曲点: どこからサブスクリプションが安くなるか
両方の数式を重ねてみると、有利不利を分ける条件が3つに整理されます。
- サイト数 — 収集対象が多いほど、個別課金の初期開発費と保守対象が共に増えます。
- 変更頻度 — 途中でサイト・項目を頻繁に追加したり、ブロック・改編が頻繁な対象(大型EC・SNSなど)を収集するほど、個別課金の変動項目が大きくなります。
- 継続期間 — 長く使えば、サブスクリプションに含まれた保守の価値が蓄積されます。1回性ならこの価値は0です。
そのため公平に言うと、次のようになります。
個別課金が有利な場合: 収集対象が1つか2つで、項目が確定しており、1回受け取るか短く使って終わるデータ。この条件ならサブスクリプションの含まれる項目を使うことはないので、個別課金が安いです。
サブスクリプションが有利な場合: 収集対象が複数であるか、増える予定があり、データを継続的に受け取る必要がある場合。実際、ハッシュスクレイパーの顧客企業は個別課金方式と比較して総費用が約40〜50%低かったと話すこともあります。
見積書外の費用もTCOです
数字で捉える項目以外に、1年を運営してみると感じる費用が2つあります。
- 交渉・発注費用: 個別課金ではサイトを追加するたびに見積もり依頼 → 内部承認 → 発注のサイクルが繰り返されます。データが必要な時期と実際の収集開始時期の間隔も費用です。
- データ空白リスク: 保守が個別協議なら、サイトが変わり修理協議が行われる間、データが途切れます。過ぎ去った期間のデータは遡及収集が難しい場合が多く、空白は金で埋めることができない費用となります。
これら2つはどの見積書にもないが、1年TCO比較から漏れてはいけない項目です。
自己診断: 我々はどちらか
以下の項目にいくつ該当するか数えてみてください。
- 収集したいサイトが3つ以上ある（または増える予定がある）
- データを6ヶ月以上継続して受け取る必要がある
- 収集項目がまだ確定されず、使いながら調整する可能性がある
- ブロックが強いか改編が頻繁なサイト(大型EC・SNSなど)が含まれている
- 年単位予算で動いており、途中で追加費用の承認が負担になる
3つ以上なら1年TCOはサブスクリプションが有利な可能性が高いです。0〜1つなら個別課金(または1回収集)で始める方が合理的です。曖昧な場合は両方の見積もりを取って上記の数式に入れてみてください — 追加回数と変更対応回数を保守的に取っても方向は見えます。
よくある質問
Q. サブスクリプションの月額料金には具体的に何が含まれていますか?
クローラー開発・保守・追加開発が含まれます。サイトを増やしたり項目を変えても開発費が別途かかりません。収集規模に比例するサーバー・プロキシなどの運用費のみ別途反映されます。
Q. 1年契約ですか?途中でやめたらどうですか?
必要が減れば規模を調整したり、途中解約することができます。TCO比較では解約条件は思ったより重要な変数なので、どの方法でも契約前に必ず確認してください。
Q. 現在個別課金で運営中ですが、乗り換えることはできますか?
可能です。運営中の収集対象と項目をお知らせいただければ、現在の支出構造とサブスクリプション1年TCOを並べて比較し、ご案内いたします。
今すぐ始める
収集対象と項目をお知らせいただければ、個別課金とサブスクリプションの両方の1年総費用を並べて計算いたします。
