Letztes Mal haben wir gelernt, wie man einen "Campus Pick Crawler mit Python erstellt". Dieses Mal werden wir uns damit befassen, wie wir den Crawler, den wir erstellt haben, zu bestimmten Wochentagen, Datum und Uhrzeit automatisch ausführen können.
Es gibt verschiedene Arten von Planern, aber dieses Mal werden wir die Automatisierung des Crawlings mit Crontab für Unix-basierte Mac/Linux-Systeme und dem Task Scheduler für Windows implementieren. Passen Sie den Code entsprechend Ihrem Betriebssystem an.
0. Vor dem Start
해당 Crontab과 TaskScheduler(작업스케줄러)는 컴퓨터가 켜져있는 상황에서만 동작합니다.
코드를 실행시키고 컴퓨터를 꺼버리면 작동하지 않습니다!
1. Automatisierung mit Crontab
Öffnen Sie das Terminal und bearbeiten Sie die cron job, indem Sie den Befehl crontab -e eingeben.
Fügen Sie die Aufgabe, die Sie planen möchten, im folgenden Format hinzu:
Minute Stunde Tag Monat Wochentag /Absoluter_Pfad_zu_Python /Absoluter_Pfad_zum_Crawling_Skript
2. Ermitteln des absoluten Pfads von Python
which python3
/usr/local/bin/python3
Verwenden Sie das Befehl which im Terminal, um das vollständige Verzeichnis der Datei zu erhalten. Fügen Sie diese Verzeichnisadresse in den absoluten Pfad von Python ein.
3. Ermitteln des absoluten Pfads des Skripts
find . -name "파일이름"
Durch die Ausführung des Befehls erhalten Sie den Pfad, der dem Dateinamen entspricht. Fügen Sie diese Verzeichnisadresse in den Absolutpfad des Python-Skripts ein.
Zum Beispiel, um es täglich um 15:30 Uhr auszuführen:
30 15 * * * /usr/local/bin/python3 /Ihr/Pfad/zum/Skript.py
※ Hinweis: Da cron absolute Pfade erfordert, müssen Sie die absoluten Pfade von Python und dem Skript genau eingeben. Da Umgebungsvariablen möglicherweise nicht festgelegt sind, ist es ratsam, die erforderlichen Umgebungsvariablen direkt im Skript festzulegen.
Auf diese Weise wird der von uns erstellte Crawler täglich um 15:30 Uhr ausgeführt.
4. Automatisierung mit Task Scheduler
4.1. Ermitteln des absoluten Pfads von Python
Die Methode zum Ermitteln des Python-Pfads ist in Windows anders. Öffnen Sie das CMD-Eingabeaufforderungsfenster und führen Sie den Befehl
where python3
aus und verwenden Sie den angezeigten Pfad als Python-Pfad. Wenn mehrere Pfade für python3 angezeigt werden, müssen Sie entscheiden, welches Python Sie verwenden, und den entsprechenden Python-Pfad verwenden.
4.2. Ermitteln des absoluten Pfads des Skripts
Verwenden Sie im CMD-Eingabeaufforderungsfenster den Befehl dir, um den Pfad zu finden.
dir campuspickcrawling.py /s
Sie müssen den Namen Ihrer Python-Crawler-Datei einschließlich der Erweiterung wie oben angegeben eingeben. Sobald der Pfad zurückgegeben wird, können Sie diesen Pfad verwenden.
4.3. Konfiguration
Suchen Sie im Startmenü nach 'Task Scheduler'
Wählen Sie 'Aufgabe erstellen'
Geben Sie den Aufgabenname und die Beschreibung ein
Fügen Sie im Tab 'Auslöser' einen neuen Auslöser hinzu, um die Ausführungszeit und den Zeitraum festzulegen
Fügen Sie im Tab 'Aktion' eine neue Aktion hinzu, um den Befehl zum Ausführen des Python-Skripts einzugeben
(*Fügen Sie hier den Pfad zum Python-Skript ein, den Sie zuvor ermittelt haben.)Klicken Sie auf 'OK', um die Einstellungen zu speichern, wenn Sie fertig sind.
Nach Abschluss dieser Einstellungen können Sie die Automatisierung auch in Windows durchführen.
5. Abschluss
In diesem Beitrag haben wir gelernt, wie wir unseren Crawler auf UNIX und Windows automatisieren können. Im nächsten Beitrag werden wir lernen, wie wir die von uns gesammelten Crawling-Daten regelmäßig per E-Mail versenden können.
Lesen Sie auch:
Daten sammeln, jetzt automatisieren
Beginnen Sie in 5 Minuten ohne Codierung · Erfahrung mit dem Crawlen von über 5.000 Websites
