공모전 & 대외활동 자동 크롤링 프로젝트 : 1편 - 파이썬으로 캠퍼스픽 크롤러 만들기

0. 개요

1. 캠퍼스픽 크롤러 만들기

2. Crontab을 이용해서 크롤러 실행주기설정해서 실행하기

3. 파이썬과 Gmail을 이용한 크롤링한 데이터 메일로 보내기

• 본 포스팅은 기본적인 파이썬 설치등에 대해서 안내하지 않습니다.

1. Openpyxl 설치하기

1.1. 라이브러리 설치

# selenium 설치
pip install selenium
# or
pip3 install selenium

# openpyxl 설치
pip install openpyxl
# or
pip3 install openpyxl

1.2. 라이브러리 import

# 크롤러 라이브러리
from selenium import webdriver
from selenium.webdriver.common.by import By
from selenium.webdriver.common.keys import Keys
# 엑셀 라이브러리
import openpyxl
# 시간 라이브러리
import time

2. 크롤러 개발하기

2.1. 리스트 구축

# 크롤링한 데이터를 모아두는 리스트
earned_content = []

# 캠퍼스픽 공모전 페이지와 대외활동 페이지 URL
contest_url = "<https://www.campuspick.com/contest>"
activity_url = "<https://www.campuspick.com/activity>"
url_list = [contest_url, activity_url]

2.2. 빈 브라우저 창 자동으로 띄우기 설정

# 크롬창을 띄우는 코드
driver = webdriver.Chrome()

for url in url_list:
    # url 접속
    driver.get(url)
    # 로딩이 다 되기 위해서 3초 기다려주기
    time.sleep(3)

    # 웹페이지 자체가무한스크롤이므로 리스트에서 첫번째 것만 가져와서,
    # following-sibling 을 이용해서 다음 리스트 가져옴
    lis = driver.find_elements(By.XPATH, '//*[@class="list"]/*[@class="item"]')
    li = lis[0] if lis else None

    while li:
        if li.find_elements(By.XPATH, './/*[@class="dday highlight"]'):
            # 마감기한을 가져와서 마감된 게시물인지 확인
            due_date = li.find_element(By.XPATH, './/*[@class="dday highlight"]').text
            if "마감" in due_date:
                print("마감된 게시물은 가져오지 않습니다")
        else:
            print("마감기한이 없습니다")
            break  # 시간순서로 가져오기 때문에 마감이면 이후에 게시물도 마감이므로 반복문 종료

        # 다음 리스트 아이템으로 스크롤하는 코드
        driver.execute_script("arguments[0].scrollIntoView({behavior: 'smooth', block: 'center'});", li)

        # 키워드
        keywords = li.find_elements(By.XPATH, './/*[@class="badges"]/span')
        keyword_list = [keyword.text for keyword in keywords]
        keyword_str = ",".join(keyword_list)

        # 활동명
        title = li.find_element(By.XPATH, './/h2').text
        # 주최
        company = li.find_element(By.XPATH, './/*[@class="company"]').text
        # 조회수
        view_count = li.find_element(By.XPATH, './/*[@class="viewcount"]').text
        # 썸네일 이미지 URL
        thumbnail_url = li.find_element(By.XPATH, './/figure').get_attribute("data-image")

        results = [keyword_str, title, company, due_date, view_count, thumbnail_url]

        print(results)

        earned_content.append(results)

        # 다음 리스트 있는지 확인해서 리스트 가져오기
        if li.find_elements(By.XPATH, './following-sibling::*[@class="item"]'):
            print("다음 리스트가 존재합니다")
            next_li = li.find_element(By.XPATH, './following-sibling::*[@class="item"]')
            if next_li.find_element(By.XPATH, './/*[@class="dday highlight"]'):
                due_date = next_li.find_element(By.XPATH, './/*[@class="dday highlight"]').text
                print(f"마감기한: {due_date}")
                if "마감" in due_date:
                    print("마감된 게시물은 가져오지 않습니다")
                print("다음게시물을 가져옵니다")
                li = next_li
            else:
                print("마감기한이 없습니다")
                break  # 시간순서로 가져오기 때문에 마감이면 이후에 게시물도 마감이므로 반복문 종료
        else:
            print("다음 리스트가 존재하지 않습니다. 종료합니다.")
            break
# 크롬 드라이버 종료
driver.quit()

2.3. 저장 데이터 엑셀 변환

# 엑셀 워크북 생성
wb = openpyxl.Workbook()

# 엑셀 시트 생성
ws = wb.active
ws.title = "캠퍼스픽 대외활동_공모전 정보"

# 컬럼 제목 추가
column_titles = ["키워드", "활동명", "주최", "마감일", "조회수", "썸네일이미지 URL"]
ws.append(column_titles)

# 데이터를 한줄씩 시트에 쓰기
for row_data in earned_content:
    ws.append(row_data)

# 엑셀 파일 저장
wb.save("campuspick_info_data.xlsx")

3. 결론

이 글도 함께 읽어보세요:

파이썬으로 캠퍼스픽 공모전 및 대외활동 크롤러 만들기 - 공모전 & 대외활동 자동 크롤링 프로젝트 : 1편 | Hashscraper-Blogㅣ해시스크래퍼 블로그

캠퍼스픽 (https://www.campuspick.com/) 사이트에서 공모전 및 대외활동 정보를 파이썬을 사용하여 크롤링하고 엑셀 파일로 저장하는 방법을 알아봅니다. 이번 포스트는 3개의 시리즈로 나뉘어져 있습니다.

https://blog.hashscraper.com/campuspick-crawler-python-series-1/

웹 크롤러 개발자의 성공 비결: 10배의 수익을 보장하는 분산 웹 크롤링 가이드 | Hashscraper-Blogㅣ해시스크래퍼 블로그

웹 크롤러 개발자에게 분산 웹 크롤링 기술에 대해 소개하고 수익을 10배로 증가 시킬 수 있는 방법 소개

https://blog.hashscraper.com/web-crawler-developers-success-secret-guide-to-10x-profits-with-distributed-web-crawling/

XPath 알아보기: 웹 크롤링의 기본 | Hashscraper-Blogㅣ해시스크래퍼 블로그

XPath는 웹 크롤링의 기초로서, XML 문서의 특정 요소 또는 속성에 접근하는 강력한 도구입니다. 이 포스팅에서는 XPath의 기본 문법과 활용 예제를 다룹니다.

https://blog.hashscraper.com/understanding-xpath-for-web-crawling/