Après avoir créé le "crawler Campus Pick avec Python" la dernière fois, cette fois-ci, nous allons examiner comment exécuter notre crawler aux jours, dates et heures souhaités.
Il existe divers types de planificateurs, mais cette fois, nous allons implémenter l'automatisation du crawling en utilisant Crontab pour les systèmes Unix tels que Mac/Linux et le Planificateur de tâches pour Windows. Vous devrez adapter le code en fonction du système d'exploitation que vous utilisez.
0. Points à vérifier avant de commencer
해당 Crontab과 TaskScheduler(작업스케줄러)는 컴퓨터가 켜져있는 상황에서만 동작합니다.
코드를 실행시키고 컴퓨터를 꺼버리면 작동하지 않습니다!
1. Automatisation avec Crontab
Ouvrez le terminal et saisissez la commande crontab -e pour éditer la tâche cron.
Ajoutez la tâche à planifier en suivant le format ci-dessous.
minute heure jour mois jour_de_la_semaine /chemin_absolu_de_python /chemin_absolu_du_script_de_crawling
2. Trouver le chemin absolu de Python
which python3
/usr/local/bin/python3
En utilisant la commande which dans le terminal, vous obtiendrez le répertoire complet du fichier. Utilisez cette adresse de répertoire pour le chemin absolu de Python.
3. Trouver le chemin absolu du script
find . -name "파일이름"
En utilisant la commande, vous obtiendrez le chemin correspondant au nom du fichier. Utilisez cette adresse de répertoire pour le chemin absolu du script Python.
Par exemple, pour exécuter tous les jours à 15h30 :
30 15 * * * /usr/local/bin/python3 /votre/chemin/vers/script.py
※ Remarque : Crontab nécessite l'utilisation de chemins absolus, veuillez donc entrer correctement les chemins absolus de Python et du script. Comme les variables d'environnement peuvent ne pas être définies, il est recommandé de définir directement les variables d'environnement nécessaires dans le script.
De cette manière, notre crawler sera exécuté tous les jours à 15h30.
4. Automatisation avec Task Scheduler
4.1. Trouver le chemin absolu de Python
La méthode pour trouver le chemin de Python est différente sous Windows. Ouvrez une fenêtre d'invite de commandes CMD et exécutez :
where python3
Utilisez le chemin obtenu comme chemin de Python. Si plusieurs chemins pour python3 sont affichés, déterminez celui que vous utilisez et utilisez ce chemin.
4.2. Trouver le chemin absolu du script
Dans la même fenêtre CMD que précédemment, utilisez la commande dir pour trouver le chemin.
dir campuspickcrawling.py /s
Vous devez spécifier le nom de fichier et l'extension de votre propre script de crawling Python. Une fois que le chemin est renvoyé, utilisez ce chemin.
4.3. Configuration
Recherchez "Planificateur de tâches" dans le menu Démarrer
Sélectionnez "Créer une tâche"
Entrez le nom de la tâche et la description
Dans l'onglet "Déclencheur", ajoutez un nouveau déclencheur pour définir l'heure d'exécution et la fréquence
Dans l'onglet "Actions", ajoutez une nouvelle action pour exécuter le script Python
(*Insérez le chemin du script Python que vous avez trouvé ici.)Une fois la configuration terminée, cliquez sur "OK" pour enregistrer la tâche.
Ainsi, vous pourrez automatiser également sous Windows.
5. Conclusion
Dans cet article, nous avons examiné comment automatiser notre crawler que nous avons créé sur UNIX et Windows respectivement. Dans le prochain article, maintenant que nous avons automatisé, nous examinerons comment envoyer périodiquement les données de crawling que nous avons collectées par e-mail.
À lire également :
Collecte de données, automatisez maintenant
Commencez en 5 minutes sans codage · Expérience du crawling de plus de 5 000 sites web
