Unterschied zwischen Web Crawling und Scraping sowie grundlegendes Beispiel zur Implementierung mit Ruby

Was ist der Unterschied zwischen Scraping und Crawling?

Scraping und Crawling sind zwei Methoden zur Sammlung von Webdaten. Obwohl diese beiden Methoden oft synonym verwendet werden, gibt es Unterschiede in ihrer Funktionalität und ihrem Zweck.

1. Crawling:

• Crawling bezieht sich auf das Durchsuchen mehrerer Seiten einer Website.

• In der Regel durchsucht ein Webcrawler oder Spider automatisiert Websites, folgt den Links auf den Seiten oder analysiert die Seitenstruktur, um bestimmte Daten zu sammeln.

• Wird häufig im Prozess der Indexierung des gesamten Webs durch Suchmaschinen verwendet.

1. Scraping:

• Scraping bezieht sich auf das Extrahieren von gewünschten Daten von einer bestimmten Webseite.

• Es wird verwendet, um Informationen wie den Preis eines bestimmten Produkts oder Nachrichtenartikel von einer Webseite zu sammeln.

• Das Scraping konzentriert sich darauf, die gewünschten Daten aus dem von Crawling gesammelten HTML der Seiten oder den API-Ergebnissen zu extrahieren.

Zusammenfassend lässt sich sagen, dass Crawling der Prozess des Durchsuchens und Sammelns von Webseiten ist, während Scraping der Prozess des Extrahierens spezifischer Informationen aus den gesammelten Seiten ist.

Ein Vorgeschmack auf das Crawling in der Ruby-Sprache

Um Web-Crawling und Scraping in Ruby durchzuführen, werden wir die Bibliotheken nokogiri und open-uri verwenden, um Ihnen ein einfaches Beispielcode zu zeigen.

Zuerst müssen Sie die erforderlichen Bibliotheken installieren. Führen Sie den folgenden Befehl in Ihrem Terminal aus, um nokogiri zu installieren. open-uri muss nicht separat installiert werden.

gem install nokogiri

Hier ist ein einfacher Ruby-Code, der den Titel von einer bestimmten Webseite crawlt und scrapet.

require 'nokogiri'
require 'open-uri'

# 웹 페이지 URL
url = 'http://example.com'

# 해당 URL의 HTML을 열고 Nokogiri 객체로 파싱합니다.
doc = Nokogiri::HTML(URI.open(url))

# 웹 페이지의 제목을 찾아 출력합니다.
title = doc.css('title').text
puts "Page Title: #{title}"

# 웹 페이지 내의 모든 링크를 크롤링하여 출력합니다.
doc.css('a').each do |link|
  puts "Link: #{link['href']} Text: #{link.text}"
end

Code-Erklärung:

1. Mit require 'nokogiri' und require 'open-uri' werden die erforderlichen Bibliotheken geladen.

2. Mit Nokogiri::HTML(URI.open(url)) wird das HTML-Dokument der angegebenen URL geöffnet und in ein Nokogiri-Objekt umgewandelt.

3. Mit doc.css('title').text wird der Text des <title>-Tags extrahiert, um den Seitentitel zu erhalten.

4. Mit doc.css('a') werden alle <a>-Tags (Links) gefunden, und die URL und der Text jedes Links werden ausgegeben.

Dieser Code crawlt den Titel der angegebenen Webseite und sammelt Informationen über alle Links auf der Seite.

Ein Vorgeschmack auf das Scraping in der Ruby-Sprache

Hier ist ein Beispiel, wie Sie Daten von einer Beispielwebseite extrahieren (scrapen) können, indem Sie nokogiri und open-uri in Ruby verwenden.

Der folgende Code extrahiert die neuesten Nachrichtentitel von einer virtuellen Webseite.

ruby코드 복사
require 'nokogiri'
require 'open-uri'

# 가상 웹 페이지의 URL
url = 'https://example.com/news'

# HTML 콘텐츠를 가져와 Nokogiri로 파싱합니다.
doc = Nokogiri::HTML(URI.open(url))

# 최신 뉴스 헤드라인을 담고 있는 요소를 스크래핑합니다.
# 가정: 최신 뉴스는 클래스가 'headline'인 div에 포함되어 있다.
headlines = doc.css('div.headline')

# 각 헤드라인 요소에서 텍스트를 추출하여 출력합니다.
headlines.each do |headline|
  puts headline.text.strip
end

Code-Erklärung:

1. Mit require 'nokogiri' und require 'open-uri' werden die erforderlichen Bibliotheken geladen.

2. Mit Nokogiri::HTML(URI.open(url)) wird das HTML-Dokument der angegebenen URL geöffnet und geparst.

3. Mit doc.css('div.headline') werden alle <div>-Elemente mit der Klasse headline ausgewählt.

4. Der Text jedes Headline-Elements wird ausgegeben.

Dieser Code basiert auf der HTML-Struktur der Webseite und zeigt ein Beispiel, wie Sie mithilfe eines bestimmten CSS-Selektors die gewünschten Daten extrahieren können. Durch die Anpassung des Selektors können Sie verschiedene Informationen von der zu scrapenden Webseite extrahieren.

Lesen Sie auch:

Daten sammeln, jetzt automatisieren

Beginnen Sie in 5 Minuten ohne Programmierung · Erfahrung mit dem Crawlen von über 5.000 Websites

Jetzt kostenlos starten →