내가 원하는 시간에 자동으로 데이터를 수집하고 싶다면? (파이썬 schedule, Task Scheduler, crontab)

0. 웹크롤링, 수동실행하기 매우 번거로우셨죠?

1. 파이썬 스케줄러 활용하기

1.1. 라이브러리 설치

pip install schedule

1.2. 자동화 코드

import schedule
import time

def job():
    print("크롤링 시작!")
    # 여기에 웹 크롤링 코드를 넣으세요.

schedule.every(10).minutes.do(job)   # 10분마다
# schedule.every().hour.do(job)     # 1시간마다
# schedule.every().day.at("10:30").do(job)  # 매일 10:30에

while True:
    schedule.run_pending()
    time.sleep(1)

2. 시스템 스케줄러 활용하기

2.1. Windows: Task Scheduler

• 시작 메뉴에서 '작업 스케줄러'를 검색합니다.

• '작업 생성'을 선택합니다.

• 작업 이름, 설명을 입력합니다.

• '트리거' 탭에서 새로운 트리거를 추가하여 실행 시간 및 주기를 설정합니다.

• '동작' 탭에서 새로운 동작을 추가하여 파이썬 스크립트를 실행하는 명령어를 입력합니다. 예: python.exe 경로\script.py

• 설정이 완료되면 '확인'을 클릭하여 작업을 저장합니다.

2.2. Mac & Linux: cron

• 터미널을 열고 crontab -e 명령어를 입력하여 cron job을 편집합니다.

• 아래의 형식을 따라 스케줄링하려는 작업을 추가합니다.

분 시 일 월 요일 /파이썬의_절대경로/python3 /크롤링_파이썬_스크립트의_절대경로/script.py

30 15 * * * /usr/local/bin/python3 /your/path/to/script.py

3. 마무리

이 글도 함께 읽어보세요:

파이썬으로 캠퍼스픽 공모전 및 대외활동 크롤러 만들기 - 공모전 & 대외활동 자동 크롤링 프로젝트 : 1편 | Hashscraper-Blogㅣ해시스크래퍼 블로그

캠퍼스픽 (https://www.campuspick.com/) 사이트에서 공모전 및 대외활동 정보를 파이썬을 사용하여 크롤링하고 엑셀 파일로 저장하는 방법을 알아봅니다. 이번 포스트는 3개의 시리즈로 나뉘어져 있습니다.

https://blog.hashscraper.com/campuspick-crawler-python-series-1/

비개발자도 손쉽게 하는 인스타그램 해시태그 수집과 데이터 시각화 | Hashscraper-Blogㅣ해시스크래퍼 블로그

데이터를 수집하고 시각화하는 간단한 방법으로 인스타그램 해시태그를 활용해보세요.

https://blog.hashscraper.com/easy-instagram-hashtag-data-collection-and-visualization/

앞서가는 패션 기업의 데이터 활용 전략 및 팁 | Hashscraper-Blogㅣ해시스크래퍼 블로그

최근 패션 업계는 빠르게 디지털화되고 있습니다. 이 포스트에서는 패션 MD, 디자이너, 마케터들을 위한 데이터 활용 방법을 소개하며, 국내 패션 업계를 이끄는 S사의 리뷰 데이터 분석 전략을 살펴봅니다.

https://blog.hashscraper.com/fashion-industry-data-utilization/