내가 원하는 시간에 자동으로 데이터를 수집하고 싶다면? (파이썬 schedule, Task Scheduler, crontab)

0. 웹크롤링, 수동실행하기 매우 번거로우셨죠?

1. 파이썬 스케줄러 활용하기

1.1. 라이브러리 설치

pip install schedule

1.2. 자동화 코드

import schedule
import time

def job():
    print("크롤링 시작!")
    # 여기에 웹 크롤링 코드를 넣으세요.

schedule.every(10).minutes.do(job)   # 10분마다
# schedule.every().hour.do(job)     # 1시간마다
# schedule.every().day.at("10:30").do(job)  # 매일 10:30에

while True:
    schedule.run_pending()
    time.sleep(1)

2. 시스템 스케줄러 활용하기

2.1. Windows: Task Scheduler

• 시작 메뉴에서 '작업 스케줄러'를 검색합니다.

• '작업 생성'을 선택합니다.

• 작업 이름, 설명을 입력합니다.

• '트리거' 탭에서 새로운 트리거를 추가하여 실행 시간 및 주기를 설정합니다.

• '동작' 탭에서 새로운 동작을 추가하여 파이썬 스크립트를 실행하는 명령어를 입력합니다. 예: python.exe 경로\script.py

• 설정이 완료되면 '확인'을 클릭하여 작업을 저장합니다.

2.2. Mac & Linux: cron

• 터미널을 열고 crontab -e 명령어를 입력하여 cron job을 편집합니다.

• 아래의 형식을 따라 스케줄링하려는 작업을 추가합니다.

분 시 일 월 요일 /파이썬의_절대경로/python3 /크롤링_파이썬_스크립트의_절대경로/script.py

30 15 * * * /usr/local/bin/python3 /your/path/to/script.py

3. 마무리