自社sLLMを作ると決めたチームが最初にやることは、たいてい「クローリング」です。数百万ページを取得し、テキスト量を誇り、「コーパス確保完了」と宣言します。そしてそのコーパスをモデルに投入した瞬間、モデルが妙なことを言い始めます。「購読する」「Cookieを許可しますか」「関連商品をもっと見る」。
モデルは与えられたものをそのまま学習します。広告文句を与えれば、広告文句を学習します。
コーパスは採掘ではなく製錬だ。多く掘ることではなく、適切に取り除くことだ。
ファインチューニングの勝敗はGPUで決まりません。データを投入する前、「何を投入しないか」を決める精製テーブルで決まります。
TL;DR
- ファインチューニング用コーパスは「収集」が本題ではなく「精製」が本題だ。Webテキストの塊と学習用の原文テキストは別物である。
- ノイズ（広告・メニュー・重複）をそのまま投入すると、モデルはボイラープレートを学習し、過剰サンプリングの偏りに陥る。学習予算を広告文句に使うようなものだ。
- ライセンス・個人情報の確認は学習「前」に終えなければならない。投入してから取り除くことは、事実上不可能だ。
目次
- なぜ「取得したテキスト」はコーパスではないのか
- 製錬パイプラインの9ステップ
- 確保方法3種類の比較
- 自己診断5問
- FAQ
- 結論
- 今すぐ始める
なぜ「取得したテキスト」はコーパスではないのか
まず定義を揃えましょう。
学習コーパスとは、Webから取得したテキストからボイラープレートを取り除き、重複を削除し、ライセンスと個人情報を確認して残した「精製済みの原文テキスト」である。 原石ではなく、製錬された金属です。
ボイラープレートとは、本文ではない反復要素すべてを指す。 ヘッダー、サイドバー、フッター、Cookieバナー、「関連記事」、「購読する」ボタンのテキスト。人の目には目立たなくても、クローラーにとってはすべてテキストです。
問題はここです。Webページ1つにおいて、実際の本文が占める割合は思ったより小さいのです。残りはすべて繰り返される外殻です。この外殻をそのまま投入すると、何が起きるでしょうか。
モデルは、データの中で最も頻繁に見たパターンを、最も自信を持って再生します。しかし「購読する」はサイトごと、ページごとに繰り返されます。本来学ぶべきドメイン知識はページごとに一度なのに、外殻は何万回も登場します。結果としてモデルはドメインの専門家ではなく、「フッター読み上げ機」になります。
モデルは与えられたものをそのまま学ぶ。「購読する」ボタンまで学習する。
製錬パイプラインの9ステップ
収集はステップ1にすぎません。残りの8ステップがコーパスの品質を決めます。
- 収集 — 対象ドメイン・URLを決め、原始HTMLを確保する。ここまでは始まりにすぎない。
- ボイラープレート除去 — メニュー・広告・Cookieバナー・反復UIテキストを取り除き、本文だけを残す。製錬における最初の火入れだ。
- 近似重複除去 — 完全に同一の文書だけでなく、「ほぼ同じ」文書まで削除する。同じ記事をコピー＆ペーストしたミラーサイトや、テンプレートだけが異なる商品説明がここで除外される。
- フォーマット正規化(JSONL) — 雑多なテキストを、学習パイプラインがすぐ読める1行1文書のJSONL構造に統一する。
- ライセンス/著作権確認 — 学習に投入してよい出所かを確認する。これは後ではなく、ここでやるべきだ。
- 個人情報スクラビング(PII除去) — 氏名・連絡先・住民登録番号などの個人識別情報を取り除く。一度投入すれば元に戻せない。
- 有害性/品質フィルタリング — 有害表現、壊れたエンコーディング、意味のないテキストを除外する。
- ドメインバランシング — 特定の出所・トピックが過剰サンプリングされないよう比率を調整する。1つのサイトがコーパスの半分を占めれば、モデルはそのサイトを模倣する。
- トークン規模の算定 — ここで初めて規模を測る。必ず「精製後」を基準にする。
ここで最も多く間違われるのが9番です。精製前にトークンを数えると、外殻まで含んだ見かけ上の数字です。100億トークンだと誇っていたのに、外殻を取り除いたら30億だった、ということが実際に起こります。
トークンは精製が終わった後に数えろ。その前の数字は外殻まで数えた見かけ上の数字だ。
そして5番・6番の順序を絶対に後回しにしないでください。ライセンスと個人情報は、学習「前」に処理しなければなりません。モデル重みに一度溶け込んだ情報は、特定の文だけを選んで取り除くことができません。事後削除が難しいのではなく、事実上、再学習以外に方法はありません。
ライセンスと個人情報は学習前に終わらせろ。投入後には取り除けない。
確保方法3種類の比較
コーパスをどう手に入れるかには、3つの方法があります。それぞれに率直な強みと弱みがあります。
| 軸 | オープンデータセット | 直接収集・精製 | マネージドコーパス納品 |
|---|---|---|---|
| 規模 | 大きい（公開大容量） | チームの力量次第 | 要求規模に合わせる |
| ドメイン適合 | 低い（汎用） | 高い | 高い |
| ライセンス確認 | データセットごとに異なる | 自社負担 | 確認完了後に納品 |
| 重複/PII精製 | データセットごとに異なる | 自社負担（パイプライン構築） | 精製完了 |
| 維持負担 | 低い | 高い（運用・更新すべて） | 低い（委託） |
オープンデータセットは出発点として優れています。公開されており、規模も大きいです。ただし、自社ドメインにぴったり合うわけではなく、ライセンスと精製レベルもデータセットごとにばらばらなので、「検証」という課題が残ります。
直接収集・精製は、ドメイン適合性が最も強力です。自分たちが望むサイトを、望む深さまで取得できるからです。その代わり、上記9ステップのパイプラインを自ら構築し、運用しなければなりません。ここで大半のチームが2番・3番・6番でつまずきます。
マネージドコーパス納品は、収集からライセンス確認まで終えた精製済みコーパスを受け取る方法です。ドメイン適合と低い維持負担を同時に得られる一方、その分委託コストがかかります。韓国国内のデータ収集サービスの状況は方式ごとに特徴が異なりますが、この地図をより広く見たいなら、韓国国内データ収集サービス比較 — 2026年の本当の地図の記事を参照してください。
HashScraperは3つ目の方法に該当します。韓国国内5,000以上のサイト収集経験と195か国のプロキシインフラを基盤に、99.7%の精度で原文テキストを確保し、上記9ステップの精製まで完了して納品します。500社以上の企業と取り組みながら法的問題0件を維持してきた理由は、ライセンス確認を「後で」ではなくパイプラインの中に組み込んでいるためです。
自己診断5問
現在準備中のコーパスに、以下を当てはめてみてください。
- [ ] 自社コーパスから広告・メニュー・Cookieバナーのテキストを実際に取り除いたか
- [ ] 「ほぼ同じ」文書（ミラー・コピペ・テンプレート）まで重複除去したか
- [ ] ライセンス・著作権確認を学習「前」に終えたか
- [ ] 個人識別情報をスクラビングし、削除できなかった情報が残っていないか
- [ ] トークン規模を「精製後」基準で数え直したか
3つ以下しかチェックできないなら、今投入しようとしているものはコーパスではなく、外殻の山です。
FAQ
Q. LLMファインチューニング用の学習データセットをWebからどのように収集・精製すればよいですか？
A. 収集は始まりにすぎず、本題は精製です。原始HTMLを確保した後、ボイラープレート除去 → 近似重複除去 → JSONLフォーマット正規化 → ライセンス確認 → 個人情報スクラビング → 有害性/品質フィルタリング → ドメインバランシング → トークン規模算定の順で処理してこそ、学習に使える「精製済みの原文テキスト」になります。このうちライセンスと個人情報の確認は、必ず学習前に終えなければなりません。
Q. とにかく大量に取得すれば良いコーパスではないですか？
A. いいえ。品質を決めるのは量ではなく精製レベルです。ノイズをそのまま投入すると、モデルは広告文句を繰り返し学習し、特定の出所を過剰サンプリングする偏りに陥ります。規模は精製が終わってから数えるべきです。
Q. ライセンスや個人情報は後から取り除けばよいのではありませんか？
A. 事実上不可能です。モデル重みに一度溶け込んだ情報は特定の文だけを選んで削除できないため、再学習以外に方法はありません。だからこそ、この2つの確認はパイプラインの前段に置くべきです。
Q. 精製したコーパスは、作成後にどのように管理・活用すればよいですか？
A. コーパスを作成した後、それを社内業務で実際に投入・更新する問題は別のテーマです。社内知識の活用を扱う別記事で詳しく取り上げます。
結論
ファインチューニングプロジェクトが失敗する地点は、たいていGPUの前ではありません。その前に、外殻まで丸ごとモデルへ押し込んだ瞬間です。コーパスは採掘量ではなく、製錬品質で決まります。多く取得したチームではなく、適切に取り除いたチームが勝ちます。
核心は3つです。精製が本題であること、ノイズを投入すればモデルがノイズを学ぶこと、ライセンスと個人情報は学習前に終えなければならないこと。この3つさえ守れば、学習予算を広告文句に無駄遣いしません。
学習予算を広告文句に使うな。その予算はドメイン知識に使うべきだ。
今すぐ始める
自社ドメインに合ったサイトを定め、上記9ステップで精製されたコーパスを受け取るところまで、私たちがご一緒します。韓国国内5,000以上のサイト収集経験、195か国のプロキシ、99.7%の精度、法的問題0件。ライセンス確認をパイプラインに組み込み、納品します。新規登録時には5万クレジットを提供します。
収集したデータを通知・対応ループへ拡張する流れは、モニタリングは収集ではなく通知である — 価格・評判データで対応ループを作るの記事に続きます。
