"このサイトのデータを集めたいのに、ボット一覧にはありません。"
これは、クローリングを依頼したい方が最もよくぶつかる壁です。コードを書こうとすると時間がかかり、外注しようとすると小さな作業でも見積もりから取らなければなりません。そこでHashscraperは、AIでクローリングボットを作る機能をベータ公開しました。収集したいサイトと必要な項目を言葉で説明すると、AIが収集方法を作り、試しに収集して見せ、人が確認した後にボットとして動かします。この記事では、実際に1つのブログを対象にボットを作った過程を、会話の順番に沿ってご紹介します。
定義。 ノーコードクローリングとは、コードを書かずにWebページのデータを集める方法です。画面上で項目をクリックして選ぶ方法と、欲しいものを言葉で説明するとAIが収集方法を作る方法があります。
定義。 Hashscraperの「AIでボットを作成（ベータ）」は、会話を通じて収集方法（ボット）を作り、安全検査と管理者確認を経てHashscraperのサーバーで収集する機能です。集めたデータはデータセットとして受け取れます。
[左メニューのAIでボットを作成（ベータ）画面 — 新しいボットを作成ボタンと作成済みボット一覧](images/040/00_AI로봇만들기_메뉴.png)
▲ メニューの「AIでボットを作成（ベータ）」で「新しいボットを作成」を押すと、AIとの会話が開きます。
TL;DR
- アドレスと欲しい項目を言葉で入力すると、AIがページを読み、一覧 → 記事詳細 → 複数ページまで巡回するボットを作成します。
- 例としてHashscraperのキム・ギョンホ代表の個人ブログ（bamchi.me）を選び、数回の会話だけでボットを作成し、約1分20秒で記事27件（タイトル・作成日・閲覧数・本文・アドレス）を集めました。
- 作成と試験収集は無料で、収集は1件につき基本25クレジットです。ログインが必要なページ・CAPTCHA・アプリ・個人情報は作成できません。
1. アドレス1行から始める
最初に送った言葉は、これだけでした。
Bamchi.meのブログ記事を収集して
AIはまずページを直接開いて確認しました。そして、こう答えました。「1ページに記事が9件ずつあり、複数ページに分かれています。一覧には各記事のタイトル・作成日・要約・記事URLがあります。」
ここで重要なのは、人がHTML構造を説明していないことです。どのタグにタイトルがあるのか、次ページのアドレスがどのように変わるのかは、AIがページを読んで把握しました。
[AIとの会話 — アドレス1行を送るとAIがページを開いて確認し、一覧だけ集めるか本文まで集めるかを尋ねる](images/040/01_대화주소와방식.png)
▲ 実際の会話画面。アドレス1行を送るとAIがページを開いて確認し、何をどのように集めるかを先に尋ねます。
2. 一覧だけ？ 本文まで？ — AIが先に尋ねる
AIはすぐに作成せず、方法を尋ねました。
- 一覧だけ集める — タイトル・作成日・要約・アドレスのみを素早く
- 本文まで集める — 一覧から記事アドレスを集めた後、各記事に入って本文全体を取得する
2番を選ぶと、次の質問が続きました。「何ページまで集めますか？ 3ページなら約27件です。ページ数を収集するたびに変更できるようにもできます。」そのようにしてもらうと、「収集するページ数」がボットの設定値になりました。今週は1ページ、来月は10ページというように、ボットを作り直さずに変更して使えます。
一覧から詳細ページに入る2段階クローリングやページ送りは、コードで書く場合に最も手間のかかる部分です。この過程が質問2回で終わりました。
3. 試験収集で事前に確認する
AIは最初のページから記事5件を試しに集めて表示しました。
| タイトル | 作成日 | 閲覧数 |
|---|---|---|
| GPT-5.6 Sol、最強モデルの落とし穴 | 2026年07月13日 | 2,652 |
| お金と時間に余裕のある人が最初に買うもの — 車でも高級ブランドでもない | 2026年02月17日 | 5,028 |
| Mac mini 1台で自分だけのAI秘書を作った話 | 2026年02月02日 | 4,708 |
依頼していなかった閲覧数も含まれています。記事ページに閲覧数があることを確認し、AIが一緒に入れるよう提案したためです。次ページが実際に開くかどうかも、試験収集の際に確認します。
[試験収集結果を表示するAIメッセージと、保存後のレビュー依頼案内](images/040/02_대화시범수집저장.png)
▲ 試験収集の結果を会話で表示し、「保存」と答えると収集方法が保存されます。
[最後の試験収集パネル — 一覧からアドレス9件を見つけ、詳細5か所を開いて5行を事前表示する](images/040/04_시범수집_미리보기.png)
▲ 画面右側には試験収集の表も表示されます。次ページでも記事9件が見えるところまで確認しました。
結果が気に入らなければ、その場で言葉で修正できます。「作成日は外して」「本文の代わりに先頭200文字だけ」といった形です。
4. 人が確認してから動かす
保存後に「管理者レビューをリクエスト」を押すと、すぐには収集されず、2段階を経ます。
- 安全検査（1〜3分） — 収集するアドレスが安全か、サイトの収集ルール（robots.txt）で禁止されていないか、試験結果に個人情報と思われる値がないか、一度に送るリクエストが多すぎないかを確認します。このボットは「1回あたり約30リクエスト、サイトごとに1秒間隔」で通過しました。
- 管理者確認（通常1営業日） — 人が収集方法と1件あたりにかかるクレジットを確認し、承認します。
[作成中のボットパネル — 一覧からアドレスを集める → 詳細から値を抽出、入力欄は収集するページ数、承認済み・1件あたり25クレジット](images/040/03_만든봇승인.png)
▲ 承認されると、ボットの収集方法・入力欄・1件あたりのクレジットがひと目で分かり、「ボットを開く」へ進めます。
AIが作ったボットをそのまま動かさず、人がもう一度確認する理由は簡単です。他人のサイトに負担をかけたり、集めてはいけないデータを収集したりするボットが出ないようにするためです。今回の例は代表本人のブログなので問題ありませんでしたが、収集するサイトの利用条件および関連法令を守る責任は、ボットを作成した会員にあります。
5. ボットで収集 — 27件、675クレジット
承認後、ボット画面でページ数に3を入力して収集を開始しました。
[ボット画面 — 収集開始ボタンと収集結果27件、675クレジット](images/040/05_봇화면수집결과.png)
▲ ボット画面。他のクローリングボットと同じ画面で収集を開始し、結果を確認できます。
- 収集時間：約1分20秒
- 結果：記事27件（タイトル・作成日・閲覧数・本文・記事アドレス）
- 費用：1件25クレジット × 27件 = 675クレジット
集めたデータは他のボットと同様にデータセットとして蓄積され、Excelでダウンロードできます。
[データセット画面 — 取得データ27件、使用クレジット675、タイトル・作成日・閲覧数・本文・ページアドレスの表](images/040/06_데이터셋_27건.png)
▲ 集めた記事27件がデータセットに蓄積されました。「Excelをダウンロード」で取得できます。
AIで作れるものと作れないもの
| 作れます | 作れません |
|---|---|
| 公開された一覧・掲示板・商品ページ | ログインしないと見られないページ |
| 一覧 → 詳細の2段階、複数ページ | ロボット確認（CAPTCHA）が表示されるページ |
| 「もっと見る」ボタン・画面を開いて初めて描画されるページ（ブラウザで開いて収集するため、時間がよりかかります） | アプリ、個人情報 |
ブロックが厳しいショッピングモールや、ログイン・CAPTCHAがあるサイトは、AIボットではなくHashscraperの開発者が直接収集ツールを作る作業依頼としてお任せいただく方法が適しています。
よくある質問
Q. 作成に費用はかかりますか？
作成と試験収集は無料です。実際に収集したデータのみ、1件につき基本25クレジットが差し引かれ、管理者が確認した後に変更があれば通知でお知らせします。
Q. コードをまったく知らなくても大丈夫ですか？
はい。アドレスと欲しい項目を言葉で入力するだけです。「○○モールでシャンプーを検索して、商品名・価格・レビュー数を集めたいです」のように書けば大丈夫です。
Q. 会話内容はどこに送られますか？
ボットの作成とレビューのため、外部AIサービス提供事業者（米国）に送信されます。そのため、会話に個人情報やパスワードは入力しないようご案内しています。
結論
クローリングボットを作る作業は、これまで「ページ構造を読み、セレクターを選び、ページ送りを組む」開発作業でした。AIでボットを作成する機能は、この作業を会話に変えます。アドレス1行から始めて、質問2回に答え、試験結果を確認し、人が確認したボットで収集します。まだベータ版のため、不足している点があるかもしれません。ぜひ使ってみて、教えていただければ迅速に改善します。
今すぐ始める
- 自分で作ってみる: AIでボットを作成（ベータ）
- ログイン・ブロックがあるサイトの場合: クローリングについて問い合わせる
