다양한 종류의 스케줄러가 있지만, 이번에는 Unix계열의 Mac/Linux 에서 사용가능한 Crontab과 Windows에서 사용가능한 Task Scheduler(작업 스케줄러)를 이용해서 크롤링 자동화를 구현해보도록 할 것 입니다. 본인이 사용하는 운영체제에 맞게 코드를 구성하시면 됩니다.
0. ⚠️ 시작 전 주의사항 ⚠️
해당 Crontab과 TaskScheduler(작업스케줄러)는 컴퓨터가 켜져있는 상황에서만 동작합니다.
코드를 실행시키고 컴퓨터를 꺼버리면 작동하지 않습니다!
1. Crontab을 이용하여 자동화
터미널을 열고 crontab -e 명령어를 입력하여 cron job을 편집합니다.
아래의 형식을 따라 스케줄링하려는 작업을 추가합니다.
분 시 일 월 요일 /파이썬의_절대경로 /크롤링_파이썬_스크립트의_절대경로
2. 파이썬의 절대경로 알아내기
which python3
/usr/local/bin/python3
터미널에서 which 명령어를 사용하면 해당 파일의 전체 디렉토리가 나오게 됩니다. 위 디렉토리 주소를 파이썬 절대경로에 넣어주세요.
3. 스크립트의 절대경로 알아내기
find . -name "파일이름"
명령어를 사용하시면 파일 이름에 해당하는 경로가 나오게 됩니다. 위 디렉토리 주소를 파이썬 스크립트의 절대경로 부분에 넣어주세요.