달러💰 이렇게 비싸져도 되냐?! AWS를 탈출하고 비용절약하자!
AWS를 사용해오다 자체 서버로 전환한 과정과 이유를 공유합니다. 비용 절감, 보안 강화, 물리 서버 운영의 장점, 그리고 다단계 인증(MFA)을 적용한 방법을 소개합니다. B2B 서비스의 특성을 고려한 성공적인 서버 운영 전략을 확인해보세요.
TABLE OF CONTENTS
1. 누구나 다 해보는 크롤링(crawling)할때 주의 할 점 3가지
최근 학원이나 온라인 교육 사이트에서 소프트웨어 교육과정에 꼭 들어가는게 크롤링입니다.
빅데이터 분석과정에도 빠지지 않고 꼭 등장하는 크롤링 기술인데, 대충 만들어서는 내가 원하는 데이터의 10%도 수집하지 못하게 되는 경우가 있습니다. 많은 시간을 투자하여 개발하였지만 문제를 나중에 발견하게 되어 낭패를 보게 될 가능성이 있습니다.
그럼 먼저 크롤링에 대해 알아보고 왜 10% 밖에 수집 못한다고 주장하는지, 그럼 어떻게 그 문제를 해결할 수 있는지에 대해 알아보겠습니다.
크롤링 교육 광고
크롤링이란?
크롤링(crawling) 혹은 스크레이핑(scraping)은 웹 페이지 를 그대로 가져와서 거기서 데이터를 추출해 내는 행위다. 크롤링하는 소프트웨어는 크롤러 (crawler)라고 부른다.
그럼 크롤러를 개발할 때 주의할 점에 대하여 알아보시죠.
1) 파이썬이 최선일까?
데이터 분석에 파이썬이 주로 쓰이다 보니 대부분의 교재나 교육프로그램에서 파이썬을 사용하여 크롤러를 만듭니다. 하지만 반드시 파이썬을 써야 할 필요는 없다. 우리 회사 해시스크래퍼 는 루비(Ruby)로 만들고 있습니다.
목적만 달성한다면 어떤 도구를 쓰든 상관 없지만 널리 쓰이는 파이썬을 선택하는 건 좋은 선택이라고 생각합니다. 노하우(know how)가 아니라 노웨어(know where)가 더 중요한 시대인지라 검색을 통해 문제를 해결하기 쉬운 언어를 선택하는것은 똑똑한 선택입니다. (하지만 그래도 저는 쉽고 편한 루비를 선택했습니다)
2) IP차단
책을 보고 열심히 타이핑하고 이해하며 크롤러를 만들어 돌려보면 처음에는 잘 됩니다. 하지만 규모가 좀 있는 대형 사이트를 대상으로 데이터를 수집하다보면 다음과 같은 상황에 마주치게 됩니다.
❗️ 접속이 차단되는 경우
❗️ 로그인을 하라고 하는 경우
❗️ 캡챠가 뜨는 경우
❗️ 엉뚱한 페이지로 이동되는 경우
웹 서버는 당신의 IP를 알고 있기 때문에 짧은 주기로 웹 페이지를 요청할 경우 일정시간 IP가 차단될 수 있습니다.
IP차단을 해결하려면 어떻게 해야할까요? 더 많은 IP가 있으면 됩니다. 심플하지만 현실적으로 어려운 방법이죠.
그래서 해시스크래퍼는 3년 전 쯤 부터 AWS EC2 여러개를 사용하여 데이터를 수집하고 있습니다. 또한 수집 할 데이터량에 따라 AutoScaling 기술을 적용하여 서버 수를 늘리고 줄이는것을 자동으로 하고 처리하고 있습니다.
또 연속 실패를 반복하는 서버는 스스로 종료시키고 다른 인스턴스를 생성하여 새로운 IP를 할당 받아 사용합니다.
2. 결론
과제나 리포트 작성을 위한 데이터 수집 정도는 기초적인 크롤러를 만드는 것 만으로도 충분합니다.
그러나 업무(마케팅, 트랜드분석, 플랫폼 기초 데이터, 인플루언서 검색 등)에 활용하려면 제대로 된 크롤링 시스템을 갖추는 것을 추천드립니다.
이 글도 함께 읽어보세요:
Related Posts
웹크롤링과 스크래핑의 차이
웹 크롤링과 스크래핑의 기본적인 차이점을 알아보고, Ruby 언어를 사용하여 간단한 크롤링과 스크래핑 예제를 실습해보세요. Nokogiri와 open-uri 라이브러리를 활용한 효과적인 데이터 수집 방법을 배워보십시오.
Made with Bullet