こんにちは、ハッシュスクレイパーです！
第1部に続いて、クローリング技術第2部の投稿を始めます！
クローリング技術3：クラウドの仮想化
この技術を説明するためには、「クラウドコンピューティング」と「仮想化」について少し説明が必要です。
基本的な入門知識である「クラウドとは何か」について簡単に投稿した記事を共有します。
コンピューターに詳しくない方々！以下の記事を読んでから来ると理解しやすいです :)
簡単に要約すると、クラウドコンピューティングは「物理的な機器なしにITサービスを実現すること」です。
サーバーやネットワーク機器などをインターネットを通じて利用できるため、インストール/運用/管理する必要がありません。
トラフィックが急に発生してもサーバー利用料が時間単位で計算されるため、コンピューティングリソース（コスト）の無駄を防ぐことができます。
そして、拡張性も良く、大容量のデータを収集するのに便利で、私たちのようなクローリング企業が利用すると良いです。
しかし、ごく一部の企業しかクラウドサービスを利用していません。なぜでしょうか？
結局のところコストのためです。（コストのためにクラウドを選んだのに、コストのためにクラウドを捨てなければならない..ㅠㅠ）
クラウドに多くの容量を保存し、再度読み込むときには膨大なネットワーク帯域が必要ですが、そのコストはかなり高額です。
会社内のITリソース規模が大きくなると、内部クラウドを利用する方がコスト削減により良いでしょう。
そこで私たちが見つけた方法が「クラウドの仮想化」です。
「仮想化」は聞いたことがあっても、「クラウドの仮想化」は馴染みがない方々のために説明いたします。
仮想化(Virtulaization)はハードウェアデバイスから機能を分離する技術です。
まるで1つのデバイスを複数のように動作させたり、逆に複数のデバイスをまとめて1つのデバイスのように提供します。
仮想化の基本概念（出典：クラウド仮想化技術の変化、ソフトウェアポリシー研究所）
ハッシュスクレイパーはさまざまなコンピューティングリソースに仮想化技術を適用しました。
クラウドサービスであるAWS（Amazon Web Service）、GCP（Google Cloud Platform）やIDC（インターネットデータセンター）以外に、独自に保有しているハードウェアに仮想化技術を適用して同時に動作できるようにしました！
AWS、GCP、IDC、物理的なHWなど異なる種類のコンピューティングリソースがハッシュスクレイパーのサーバー管理システムによって仮想化技術が適用され、多数の仮想マシンが収集目的や状況に応じて統合管理されて作業を実行します。
図で表すと以下のようになります。
さまざまなコンピューティングリソースを仮想化した構造
このように仮想化環境が構築されると、収集する目的やデータの量に応じてコンピューティングリソースを迅速に切り替えたり、同時に進行できます。
仮想化されたAWSとIDCを使用してデータを収集し、GCPとハッシュスクレイパーHWに切り替えて収集できるし、
AWSのIPがブロックされて収集できない場合、プロキシサーバーを使用してAWSをIDCに切り替えて送信することもできます。
（時々特定のクラウドサービスIPをブロックするサイトがあるんです。そのような状況に備えてハッシュスクレイパーはさまざまなコンピューティングリソースを保有しています）
このように状況に適した最も安価で最適な方法を見つけてデータを収集できるため、メンテナンスに大きなコストがかかりません。
やや複雑で難しいですが、「クラウド仮想化」サーバー運用技術はお客様のコストを節約できる核心技術です :D
クローリング技術4：機械学習技術
最近は機械学習が注目されています。
クローリングにも機械学習技術が多く適用されています。
私たちが主に使用している機械学習技術は自然言語処理、画像分析などがありますが、
これらの技術を使用してデータの品質、正確性、速度を向上させます。
わかりやすく例を挙げてみます。
ショッピングモールで商品レビューを必ず確認して購入しますよね？
だから多くのショッピングモールの代表者はショッピングモールの商品レビューを収集して分析したいと思っています。良い評価の商品だけを販売したいからです。
しかし、代表者は忙しすぎます。いつ手作業で全てを収集して分析しますか。そのような手間暇のかかる作業は私たちが行います :D
自然言語処理技術が適用されて分析されたコメント
上記の図のように、コメントを細かく分析することを自然言語処理と言います。
商品の肯定/否定率を確認できるだけでなく、商品の特性を知ることができます。
希望する特性があれば、その特性を基準に分析して商品ごとに評価できますし、そうすると一目でどの商品のデザイン評価が最も良いか、価格に対する満足度が高い商品が何かが簡単にわかります。
このような情報がたくさん蓄積され、アルゴリズムまで作成されると販売量まで予測できるでしょう？
（実際、S社の企業のお客様は販売予測のために多くのデータを収集し分析しました）
時折、自分が販売している商品が他の場所でも販売されているか、そうであればいくらでどのように把握したいお客様もいました。
その場合は画像分析技術が必要です。画像が持つ特性に重みを置き、類似した画像の場合は同じ商品と判断します。
同一/類似画像を検出する画像分析技術
自分が探している服の色、形などを分析して一定以上の％が出れば同一または類似画像と判断します。
このような画像分析を通じて類似商品を見つけたり、スタイルが似ている商品を推薦するサービスを作成できます。
人工知能、機械学習技術を適用したデータ収集/分析は正確な情報に基づいた意思決定が可能になり、時間の効率性を高め、コストを削減できます。そのため、各国の多くの企業が人工知能、機械学習技術を適用してデータ分析を行いたいと考えています。
ただし！コストが非常に高いという点..しかし、ハッシュスクレイパーは機械学習技術を安価に提供します。
なぜかと尋ねられたら
先に述べた4つのクローリング技術により、人件費、サーバー費用を節約できるため、安価に提供できるからとお答えできます。
これまでハッシュスクレイパーのクローリング技術について説明しました。
無料で維持管理が可能な理由！うまく伝わったでしょうか。
難しい点や疑問点があれば、いつでもチャネルトークでお問い合わせください。
ハッシュスクレイパーのミッションは' いつでもどこでも誰もが簡単にリクエストしてデータを活用するためのサービス'を提供することです。
最低限のコストと努力でデータを活用してお客様の売上向上に役立ちたいという目標を掲げているため、
データの収集原価を下げる技術開発とサービス提供を最優先の価値としています。
ハッシュスクレイパーがその価値をどれだけ守っているか見守ってください
この記事も一緒に読んでみてください:
データ収集、これからは自動化しましょう
コーディングなしで5分で開始・5,000以上のウェブサイトクローリング体験
