クローリング予算の承認を申請する際に最もよく使われる文言は、「これでコストをいくら削減しました」です。しかし、この文言が扱っているのはROI証明の半分、それも小さな半分にすぎません。本当の価値は、データを受け取った後にどの意思決定を変え、その結果いくら守れた、あるいは稼げたのかにあります。削減額は目につきやすい一方で上限が明確であり、意思決定の改善は目につきにくい一方で上限がありません。 こ...
価格は見るものではなく、守るものです。 競合他社の価格を比較する話ではありません。 自社ブランド製品が オープンマーケット・ソーシャルコマース・自社モールで、政策価格（推奨価格・MAP）を下回って流出していないかを監視する話です。 あるチャネルで崩れた最安値は一日で価格比較の上位に表示され、他チャネルの正規販売者からも「なぜあちらのほうが安いのか」という抗議を招きます。流通秩序は、このように...
エージェントは賢い。問題はウェブが汚れていることだ。 午前2時、あなたのAIエージェントが競合他社の価格を確認するためにサイトへアクセスする。ところが、そのサイトはCAPTCHAを表示し、HTML構造を変え、ボットを遮断する。エージェントは慌てない。その代わり、もっともらしく作り上げる。ユーザーはその幻覚を事実だと信じる。 エージェントをランタイムでウェブに送り出した瞬間、あなたは不確実性を...
"Web Data Collection Automation Toolをお勧めします。" 検索するとリストがたくさん出てきます。問題は、リストがすべて同じ地点で終わることです。 ツールをインストールし、ルールを作成し、スケジュールを設定すると、自動化は完了したように見えます。 そして、数か月後にサイトがリニューアルされます。収集は静かに停止し、その事実を知るのは月曜日の報告書を作成するとき...
自社sLLMを作ると決めたチームが最初にやることは、たいてい「クローリング」です。数百万ページを取得し、テキスト量を誇り、「コーパス確保完了」と宣言します。そしてそのコーパスをモデルに投入した瞬間、モデルが妙なことを言い始めます。「購読する」「Cookieを許可しますか」「関連商品をもっと見る」。 モデルは与えられたものをそのまま学習します。広告文句を与えれば、広告文句を学習します。 コーパ...
"○○が得意なところをおすすめして。" 顧客が以前は検索窓に打ち込んでいたこの言葉を、今はChatGPTに尋ねています。 返ってきた回答には3社が書かれていました。そこに私たちはいませんでした。 検索なら、10位でもどこかには表示されていました。しかしAIの回答は違います。選ばれるか、まったく出てこないかです。 検索は順位争いでした。回答はリスト争いです。リストになければ順位が低いのではなく...
비교 글을 약 열 개 정도 읽으셨을 것입니다. 그러나 아직 아무 결정도 내리지 못했을 것입니다. 정보가 부족해서가 아니라. 잘못 선택하면 되돌릴 수 없다고 믿기 때문입니다. 그 믿음은 틀렸습니다. 웹 데이터 수집에서 되돌릴 수 없는 선택은 한 가지뿐이고, 그것은 도구 선택이 아닙니다. 도구는 언제든지 바꿀 수 있습니다. 그러나 놓친 기간의 데이터는 소...
「競合他社データも自社ダッシュボードで見たい」がデータチームに届いたら 社内ソースは安定しています。スキーマは自社で管理し、変更はリリースノートで予告され、失敗しても再処理の手順があります。しかし、経営陣や現場が「競合他社の価格、レビュー、市場データも同じダッシュボードで見たい」と求めた瞬間、管理権限の及ばないソースをパイプラインに接続する問題が生じます。 外部Webのスキーマは自社で所有で...
昨日まで正常だったパイプラインが、今朝は空になっている 社内ソースであれば、このようなことはあまり起こりません。スキーマを変更するには調整があり、カラムを削除する前には予告があり、問題が起きれば責任を負う担当者がいます。しかし、競合他社の価格、レビュー、市場データのように外部Webから取り込むソースは異なります。 ある日、対象サイトがレビュー領域をReactに刷新し、価格表示の位置を移し、ロ...
We'll email you when 해시스크래퍼 기술 블로그 publishes new content.
Your email will only be used for new post notifications.
