"昨日までうまくいってたのに？" — クローラーを運営したことがある人なら誰もが一度は言った言葉
読了時間: 7分 | 最終更新: 2026年1月
クローラーの寿命は思ったより短い
クローラーを作ると最初は完璧に動きます。データがきれいに入ってきて、スケジューラもうまく動作します。
しかし、時間が経つと次のようなことが起こります:
- 1週間目: 問題なし。"やっぱり自分がうまく作ったんだ"
- 1ヶ月目: 特定のページから空のデータが入り始める
- 3ヶ月目: エラーは出ないが収集結果がおかしい。IPもブロックされる
- 6ヶ月目: サイトのリニューアルでクローラーの半分が動作不能に
クローラーが壊れるのではない。ウェブサイトが続けて変わるのだ。
この記事では、ウェブサイトがなぜ絶えず変わるのか、そしてクローラーのメンテナンスがなぜ終わりのない戦いになるのか、技術的に説明します。
実例: EC価格モニタリングクローラー
ある企業がオープンマーケット3つ(クーポン、11th Street、Gmarket)の競合価格をモニタリングするクローラーを開発しました。
最初の3ヶ月: 完璧に動作。毎朝エクセルレポートが自動生成される。
4ヶ月目: クーポンがフロントエンドをリニューアル。クローラーが空のデータを返すようになったが、担当者が気づくまで1週間かかった。修正に3日かかった。
6ヶ月目: 11th Streetがボット検出を強化。IPブロックが始まった。プロキシサービスを導入したが、月額30万ウォンの追加費用が発生。
9ヶ月目: GmarketがAPI応答構造を変更。JSONパースが壊れた。外部開発者に修正を依頼したが、コード理解に2日、修正に3日かかった。費用120万ウォン。
1年後の総費用: 初期開発300万ウォン + メンテナンス(修正4回)480万ウォン + プロキシ180万ウォン = 960万ウォン。最初の見積もりの3倍。
この企業は最終的にサブスクリプション型のクローリングサービスに移行しました。理由は単純です: 予測できないメンテナンスコストよりも、予測可能な月額料金が経営にとって良いからです。
ウェブサイトが変わる7つの理由
1. フロントエンドのリニューアル
最も一般的な原因です。企業はUX改善、ブランド変更、パフォーマンス最適化のために定期的にフロントエンドを変更します。
- 頻度: 大規模サイトは四半期1〜2回の大規模リニューアル
- 影響: HTML構造、CSSクラス名、DOMツリー全体が変更
- クローラーへの影響: セレクタベースのパースがすべて壊れる
ネイバー、クーポン、11th Streetなどの大規模サイトは特にフロントエンドの変更が頻繁です。React、Vue.jsなどのSPAフレームワーク導入後、SSRとCSRが混在するとクローリングの難易度が大幅に上がりました。
2. A/Bテスト
大規模サイトは常にA/Bテストを実施しています。同じURLでもユーザーごとに異なるHTMLが提供されます。
- 頻度: 常時運用 (複数のテストを同時に実施)
- 影響: 同じページでもアクセスするたびに構造が異なる
- クローラーへの影響: 収集するたびに結果が異なり、デバッグが困難
"昨日までうまくいってたのに今日うまくいかない"現象の原因の多くはA/Bテストです。テストグループによってDOM構造が完全に異なる可能性があるためです。
3. ボット検出/ブロックの強化
ウェブサイトは継続的にボット検出システムをアップグレードしています。
- 技術: Cloudflare、Akamai Bot Manager、PerimeterX、DataDome
- 検出方法: IPパターン、ブラウザフィンガープリンティング、行動分析、JavaScriptチャレンジ
- 更新頻度: 月1〜2回のルール変更
特に韓国のネイバー、クーポンは独自のボット検出システムを運用し、ブロックルールを継続的に強化しています。昨日通過したUser-Agentとヘッダーの組み合わせが今日はブロックされる可能性があります。
4. APIエンドポイントの変更
フロントエンドがそのままでも内部APIが変わるとクローラーが壊れます。
- 形式: APIバージョン更新、パラメータ変更、応答構造変更
- 頻度: バックエンドデプロイごと (週1〜2回)
- クローラーへの影響: JSONパース失敗、認証方式変更
REST APIを直接呼び出すクローラーは特に脆弱です。企業は内部APIを外部に公開しないため、変更内容を事前に知ることができません。
5. 認証/セキュリティポリシーの変更
ログインが必要なサイトは認証方式を定期的に変更します。
- 形式: 2要素認証の追加、セッション有効期限の短縮、CAPTCHAの追加、トークン方式の変更
- 頻度: 四半期1〜2回
- クローラーへの影響: ログイン自動化が壊れる
金融、公共機関サイトはセキュリティ強化サイクルが短く、変更時に別途通知なしに適用されることが多いです。
6. 動的コンテンツのロード方法の変更
JavaScriptでコンテンツをロードする方法がますます複雑になっています。
- 形式: 遅延読み込み、無限スクロール、WebSocketベースのリアルタイム更新
- トレンド: 静的HTML → AJAX → SPA → SSR/ISRハイブリッド
- クローラーへの影響: 単純なHTTPリクエストではデータを取得できない
Headlessブラウザ(Puppeteer、Playwright)を使用するサイトが年々増えており、これはクローリングのコストと複雑さを大幅に引き上げています。
7. 法的/ポリシーの変更
robots.txtの変更、利用規約の更新、アクセス制限の強化もクローラーに影響を与えます。
- 形式: robots.txtのクローリング制限の追加、レート制限の強化、地域ごとのアクセス制限
- 頻度: 半期1〜2回
- クローラーへの影響: 合法的な収集範囲が狭まる
サイトごとの変更頻度 — 7年間の観察
ハッシュスクレイパーは7年間で5,000以上のサイトをクロールしてきました。その経験から整理したサイトタイプごとの変更頻度は次の通りです:
| サイトタイプ | フロントエンド変更頻度 | クローラー修正必要頻度 |
|---|---|---|
| 大規模ECサイト (クーポン、11th Street) | 毎週〜隔週 | 月2〜4回 |
| ポータル (ネイバー、ダウム) | 隔週〜月1回 | 月1〜2回 |
| ソーシャルメディア (Instagram、X) | 月1〜2回 | 月1〜2回 |
| 公共機関/金融 | 四半期1〜2回 | 四半期1〜2回 |
| 中小ショッピングモール | 半期〜年1回 | 半期1〜2回 |
要点: 大規模サイトほど変更が頻繁です。クローラー10個を運用すると毎週少なくとも1〜2個は修正する必要があります。
弊社クローラー、問題ないか？ — 自己診断
以下の項目が3つ以上該当する場合、クローラーのメンテナンス戦略を再検討するタイミングです:
- [ ] 直近3ヶ月でクローラーが突然動かなくなったことがある
- [ ] サイト変更ごとに開発者が直接コードを修正する
- [ ] クローラー障害を発見するまで24時間以上かかったことがある
- [ ] プロキシ費用が次第に上がっている
- [ ] CAPTCHA回避のため別サービスを利用している
- [ ] クローラーコードを理解する人が1人しかいない
- [ ] クローラーメンテナンスに週4時間以上費やしている
5つ以上該当？ 現在のコストが専門サービスよりも高い可能性が高いです。
クローラーメンテナンスの隠れたコスト
クローラーを直接運用する際に実際に発生するコストです。
初期開発費用
| 項目 | 費用 |
|---|---|
| クローラー開発 (単純サイト) | 50~100万ウォン |
| クローラー開発 (複雑サイト) | 200~500万ウォン |
| Headlessブラウザ設定 | +50~100万ウォン |
| プロキシ/ブロック回避構築 | +50~200万ウォン |
年間メンテナンス費用 (クローラー1個基準)
| 項目 | 月額費用 | 年間費用 |
|---|---|---|
| サイト変更対応 (月1~2回) | 50~100万ウォン | 600~1,200万ウォン |
| サーバー/インフラ | 10~30万ウォン | 120~360万ウォン |
| プロキシ費用 | 10~50万ウォン | 120~600万ウォン |
| モニタリング/障害対応 | 20~50万ウォン | 240~600万ウォン |
| 合計 | 90~230万ウォン | 1,080~2,760万ウォン |
クローラー10個を運用する場合、年間1億~2.8億ウォンになります。ここに開発者の給与(年間6,000万~1.2億)を加えると、直接運用の実際のコストが明らかになります。
解決方法の比較
| 方法 | 費用 | 対応速度 | 利点 | 欠点 |
|---|---|---|---|---|
| 専任人員採用 | 年間6,000万~1.2億 | 即時 | 完全な制御 | 採用の難しさ、1人の限界 |
| 問題発生時外注 | 件あたり50~150万 | 3~7日 | 必要時のみ費用 | 遅い、品質のばらつき |
| サブスクリプションサービス | 月額300万~ | 24時間以内 | 予測可能、専門家プール | 独自コード所有なし |
| クレジット型セルフサーブ | 月額3万~ | 即時 (プリビルト) | 手頃、即時開始 | サイト限定 |
クローラー1~2個: 外注やクレジット型が十分です。
クローラー3個以上: 専任人員やサブスクリプションサービスがコスト効率的です。
まずは始めてみる: クレジット型は月額3万ウォンから始めることができるため、負担なくテストするのに適しています。
結論
クローラーは一度作
