"毎朝8時に、昨日新たに掲載された競合他社の新商品と売り切れた商品だけをまとめて受け取りたいです。" 要件はこの一文で終わりです。しかし見積もりを取ると、話はしきりに「そのサイトは収集できますか」に流れていきます。 この依頼で難しい部分は収集ではありません。 競合他社の商品一覧は、今も画面にすべて表示されています。ページを開けば見えます。 見えないものは一つだけです。その中で、昨日はなかった...
「非開発者でも使いやすいWebデータ抽出ツールをおすすめして。」 検索窓でも、AIにも、こう尋ねたことがあるはずです。リストは親切に出てきます。 問題は、そのリストを上から順にクリックしているうちに、午後が丸ごと消えてしまうことです。 3つ目の名前で「APIキーを発行してください」に出会います。5つ目ではインストールコマンドが表示されます。 検索を間違えたわけではありません。リストの中に、最...
クローリング予算の承認を申請する際に最もよく使われる文言は、「これでコストをいくら削減しました」です。しかし、この文言が扱っているのはROI証明の半分、それも小さな半分にすぎません。本当の価値は、データを受け取った後にどの意思決定を変え、その結果いくら守れた、あるいは稼げたのかにあります。削減額は目につきやすい一方で上限が明確であり、意思決定の改善は目につきにくい一方で上限がありません。 こ...
価格は見るものではなく、守るものです。 競合他社の価格を比較する話ではありません。 自社ブランド製品が オープンマーケット・ソーシャルコマース・自社モールで、政策価格（推奨価格・MAP）を下回って流出していないかを監視する話です。 あるチャネルで崩れた最安値は一日で価格比較の上位に表示され、他チャネルの正規販売者からも「なぜあちらのほうが安いのか」という抗議を招きます。流通秩序は、このように...
エージェントは賢い。問題はウェブが汚れていることだ。 午前2時、あなたのAIエージェントが競合他社の価格を確認するためにサイトへアクセスする。ところが、そのサイトはCAPTCHAを表示し、HTML構造を変え、ボットを遮断する。エージェントは慌てない。その代わり、もっともらしく作り上げる。ユーザーはその幻覚を事実だと信じる。 エージェントをランタイムでウェブに送り出した瞬間、あなたは不確実性を...
"Web Data Collection Automation Toolをお勧めします。" 検索するとリストがたくさん出てきます。問題は、リストがすべて同じ地点で終わることです。 ツールをインストールし、ルールを作成し、スケジュールを設定すると、自動化は完了したように見えます。 そして、数か月後にサイトがリニューアルされます。収集は静かに停止し、その事実を知るのは月曜日の報告書を作成するとき...
自社sLLMを作ると決めたチームが最初にやることは、たいてい「クローリング」です。数百万ページを取得し、テキスト量を誇り、「コーパス確保完了」と宣言します。そしてそのコーパスをモデルに投入した瞬間、モデルが妙なことを言い始めます。「購読する」「Cookieを許可しますか」「関連商品をもっと見る」。 モデルは与えられたものをそのまま学習します。広告文句を与えれば、広告文句を学習します。 コーパ...
"○○が得意なところをおすすめして。" 顧客が以前は検索窓に打ち込んでいたこの言葉を、今はChatGPTに尋ねています。 返ってきた回答には3社が書かれていました。そこに私たちはいませんでした。 検索なら、10位でもどこかには表示されていました。しかしAIの回答は違います。選ばれるか、まったく出てこないかです。 検索は順位争いでした。回答はリスト争いです。リストになければ順位が低いのではなく...
비교 글을 약 열 개 정도 읽으셨을 것입니다. 그러나 아직 아무 결정도 내리지 못했을 것입니다. 정보가 부족해서가 아니라. 잘못 선택하면 되돌릴 수 없다고 믿기 때문입니다. 그 믿음은 틀렸습니다. 웹 데이터 수집에서 되돌릴 수 없는 선택은 한 가지뿐이고, 그것은 도구 선택이 아닙니다. 도구는 언제든지 바꿀 수 있습니다. 그러나 놓친 기간의 데이터는 소...
We'll email you when 해시스크래퍼 기술 블로그 publishes new content.
Your email will only be used for new post notifications.
