Crear un rastreador automático para concursos y actividades extracurriculares en Python - Proyecto de rastreo automático de concursos y actividades extracurriculares: Parte 2

Aquí tienes una guía detallada sobre cómo hacer web scraping automático para concursos y actividades extracurriculares de CampusPick utilizando Python. ¡Automatiza con Crontab y Task Scheduler!

8
Crear un rastreador automático para concursos y actividades extracurriculares en Python - Proyecto de rastreo automático de concursos y actividades extracurriculares: Parte 2

En seguimiento al "Cómo crear un rastreador de CampusPick con Python" que creamos la última vez, esta vez veremos cómo ejecutar nuestro rastreador en el día, fecha y hora deseados.

Aunque existen varios tipos de programadores, en esta ocasión utilizaremos Crontab para sistemas Unix como Mac/Linux y Task Scheduler para Windows para automatizar el rastreo. Deberás configurar el código según el sistema operativo que estés utilizando.

0. Precauciones antes de comenzar

해당 Crontab과 TaskScheduler(작업스케줄러)는 컴퓨터가 켜져있는 상황에서만 동작합니다.
코드를 실행시키고 컴퓨터를 꺼버리면 작동하지 않습니다!

1. Automatización con Crontab

Abre la terminal y edita el cron job ingresando el comando crontab -e.

Agrega la tarea que deseas programar siguiendo el formato a continuación.

minuto hora día mes día_de_la_semana /ruta_absoluta_de_python /ruta_absoluta_del_script_de_rastreo

2. Cómo obtener la ruta absoluta de Python

which python3
/usr/local/bin/python3

Al utilizar el comando which en la terminal, se mostrará el directorio completo del archivo. Debes colocar esta dirección en la ruta absoluta de Python.

3. Cómo obtener la ruta absoluta del script

find . -name "파일이름"

Al ejecutar el comando mencionado, se mostrará la ruta correspondiente al nombre del archivo. Debes colocar esta dirección en la parte de la ruta absoluta del script de Python.

Por ejemplo, para ejecutarlo todos los días a las 3:30 p. m.:

30 15 * * * /usr/local/bin/python3 /tu/ruta/al/script.py

※ Nota: dado que cron requiere rutas absolutas, es importante ingresar correctamente las rutas absolutas de Python y del script. Es recomendable configurar las variables de entorno necesarias directamente en el script, ya que es posible que no estén configuradas.

De esta manera, nuestro rastreador se ejecutará todos los días a las 3:30 p. m.

4. Automatización con Task Scheduler

4.1. Cómo obtener la ruta absoluta de Python

La forma de obtener la ruta de Python en Windows es diferente. Abre la ventana de comandos CMD y ejecuta:

where python3

Utiliza la ruta que aparece como la ruta de Python. Si se muestran varias rutas para python3, debes determinar cuál estás utilizando y seleccionar esa ruta.

4.2. Cómo obtener la ruta absoluta del script

En la misma ventana de comandos CMD que utilizaste anteriormente, usa el comando dir para encontrar la ruta.

dir campuspickcrawling.py /s

Debes escribir el nombre de tu archivo de rastreo de Python con su extensión. Una vez obtenida la ruta, úsala para configurar la tarea.

4.3. Configuración

  • Busca 'Task Scheduler' en el menú de inicio

  • Selecciona 'Crear tarea'

  • Ingresa el nombre y la descripción de la tarea

  • En la pestaña 'Desencadenador', agrega un nuevo desencadenador para establecer la hora y la frecuencia de ejecución

  • En la pestaña 'Acción', agrega una nueva acción para ejecutar el script de Python

    (*Ingresa la ruta del script de Python que obtuviste anteriormente)

  • Una vez completada la configuración, haz clic en 'Aceptar' para guardar la tarea.

Con estos pasos, también podrás automatizar en Windows.

5. Conclusión

En esta publicación, exploramos cómo automatizar nuestro rastreador creado en UNIX y Windows respectivamente. En la próxima publicación, veremos cómo enviar periódicamente los datos de rastreo que hemos creado por correo electrónico.

También te puede interesar:

Recopilación de datos, ahora automatízala

Comienza en 5 minutos sin necesidad de programar · Experiencia en rastreo de más de 5,000 sitios web

Comienza gratis →

Comments

Add Comment

Your email won't be published and will only be used for reply notifications.

Sigue leyendo

Get notified of new posts

We'll email you when 해시스크래퍼 기술 블로그 publishes new content.

Your email will only be used for new post notifications.