ハッシュスクレイピング技術ブログ

モニタリングは収集ではなく、通知です - 価格や評判データに対応するループを作成します。

モニタリングは収集ではなく、通知です - 価格や評判データに対応するループを作成します。

モニタリングを開始したが、何も起こらない 価格モニタリングであれ評判モニタリングであれ、開始して数週間が経つとこのような状態になる組織があります。データは毎日正確に入ってくるが、そのデータのせいで誰かが動いたことはない状態。最低価格が崩れたが2週間後に知り、評価が低下していたが四半期報告書で初めて見た場合 — モニタリングではなく記録をしていたのです。 原因は大体同じです。データが蓄積される...

続きを読む →
수집한 리뷰에 AI 분석 적용하기 - 감성 분석, 분류, 번역을 통해 VOC를 해석하는 방법

수집한 리뷰에 AI 분석 적용하기 - 감성 분석, 분류, 번역을 통해 VOC를 해석하는 방법

レビュー3万件を集めたが、誰も読まない レビューデータの収集は成功したが、活用でつまずくことが多いです。チャンネルごとに散らばったレビューを自動的に集めるまで進んだが、月に数千〜数万件ずつ積み重なるテキストを読む人がいないのです。結局、担当者はたまに最新のレビュー数ページをざっと見る程度で止まります。 レビューは顧客がお金と時間をかけて残したフィードバック(VOC)です。問題は量です。人間が...

続きを読む →
Excelで受け取るデータ vs ダッシュボードで見るデータ — 納品形式の変更

Excelで受け取るデータ vs ダッシュボードで見るデータ — 納品形式の変更

同じデータでも、どの会社は使い、どの会社は使わない 同じアイテムを、同じサイクルで、同じ品質で収集しても、データの活用度は顧客ごとに大きく異なります。数年運営してみて、違いを生む変数が1つ見つかりました。データをどの形式で受け取るかです。 データが到着する場所が担当者のダウンロードフォルダーか、会社のシステムか、チーム全体が見る画面かによって、同じデータの運命が異なります。この記事はクローリ...

続きを読む →
クローリングしたデータが意思決定に至るまで

クローリングしたデータが意思決定に至るまで

データは蓄積されたが、変わったことがないなら クローリングの問い合わせはほとんどが「このサイトのデータを収集してください」という形で始まります。しかし数ヶ月後に再度話をすると、データは毎日うまく入ってくるものの、組織で実際に活用されないケースが少なくありません。Excelファイルがフォルダに積まれ、開くのは担当者1人だけです。 収集そのものが目的のデータはありません。価格を調整し、製品を改善...

続きを読む →
クローリングの見積もり、なぜ企業ごとに異なるのか — 費用構成と隠れた費用

クローリングの見積もり、なぜ企業ごとに異なるのか — 費用構成と隠れた費用

同じリクエストなのにクローリング価格がなぜこうも異なるのか クローリングを依頼しようとクローリング見積もりをもらうと、同じリクエストでもクローリング価格が企業ごとに大きく異なります。どの場所も小規模な一発開発費だけであるところもあれば、大規模な運用・インフラまで重ねた金額を提示します。 同じリクエストでも何を含めて計算したかが異なるためです。クローリング費用は1つの項目ではなく複数の要因が掛...

続きを読む →
採用・評判データを活用して医療人材市場と病院の競争力を読む方法 — ヘルスケア企業の活用事例

採用・評判データを活用して医療人材市場と病院の競争力を読む方法 — ヘルスケア企業の活用事例

応募者の半数も集まらなかった理由は、2ヶ月前の募集に既に書かれていた 新都市に分院を開設する3ヶ月前、看護人員の補充募集を行いましたが、応募者は予想の半分も集まりません。後から見ると、周辺の大規模病院2つが既に2ヶ月前から同じ地域の看護師を大量に募集し、待遇まで引き上げていたことが分かりました。その地域の人材プールは競合他社によってすでに掘り起こされた後であり、私たちは残りの人々を巻き込み、...

続きを読む →
グローバルブランドは数十カ国の店舗の評価やレビューを一目でどのように管理するのか — Googleマップの評判統合モニタリング事例

グローバルブランドは数十カ国の店舗の評価やレビューを一目でどのように管理するのか — Googleマップの評判統合モニタリング事例

"この時点で評価がどうして急落したのか?" 四半期ごとのグローバル顧客体験(CX)レビュー会議を思い出します。スライドにはある海外主要都市の支店の評価が4.4から3.6に急落しています。その場で初めて気づきました。レビューを見ると、「予約したが2時間待ち」「担当者が約束を守らない」といった不満が2か月前から集中しており、オーナーの返信は一つもついていませんでした。その支店はすでに都市検索のト...

続きを読む →
クローリング業者、どうやって選べばいいか — データ収集の外注前に確認すべき7つのポイント

クローリング業者、どうやって選べばいいか — データ収集の外注前に確認すべき7つのポイント

"とりあえず見積もりは受け取ったけど、何を基準に選べばいいですか?" ウェブデータが必要でクローリング企業を探していると、似たような見積もり書の前で途方に暮れることがあります。価格だけ見て安いところに依頼して数ヶ月後にこのような状況に陥ることは少なくありません。 うまくいっていた収集がある日停止し、原因の特定に数日かかる サイトが変わるたびに「修正費用」が別途請求される データは受け取ったが...

続きを読む →
大企業のデータチームが直接クローリングを諦める理由は何か?— 費用、技術、そして効率の経済学

大企業のデータチームが直接クローリングを諦める理由は何か?— 費用、技術、そして効率の経済学

内部クローリングチーム、1年後にはどのような仕事をしているでしょうか? "クローラーを1つ作るのはすぐできますが、メンテナンスを続けると開発者1人がまるごと拘束されます。" データがビジネスの中心資産となった時代、多くの大手企業が意欲的に自社データ収集(クローリング)チームを組織しています。しかし、1年後、そのチームのエンジニアたちは分析ではなく『IPブロック』や『CAPTCHA解除』という...

続きを読む →

Get notified of new posts

We'll email you when 해시스크래퍼 기술 블로그 publishes new content.

Your email will only be used for new post notifications.