본 포스팅은 해시스크래퍼가 기존에 진행했던 연구 중 텍스트 마이닝을 활용한 기업부도예측 모형연구과정에서 다뤘던 항목 중 하나입니다. 0. 개요 유사 주제의 선행 연구들을 기반으로하여, 부도 예측 과정에서 뉴스텍스트와 같은 데이터를 적용 방법에 따라 부도예측의 정확도를 높일 수 있을지, 그리고 인공지능 활용을 통해서 예측 성능이 향상되는지에 대한 연구입...
0. 웹크롤링 중 차단 발생, 원인이 뭘까? 웹크롤링을 경험해본 개발자는 무조건적으로 차단을 경험해보았을 것입니다. 내 크롤러는 완벽했는데, 어떤 부분에서 문제가 생긴건지 몰라 답답하셨나요? 이번 포스팅에서는 대표적인 차단 원인을 해법 중심으로 다루었습니다. 크롤링은 가게에 들어가서 원하는 상품을 가져오는 것과 비슷합니다. 우리는 가게에 입장할 때 지...
0. 웹 크롤링이 중요하게 여겨지는 이유 점점 더 데이터 중심의 디지털 환경에서 웹 크롤링(웹 스크래핑)은 중요해지고 있습니다. 웹에서 대규모 데이터를 추출함으로써 기업들은 인사이트을 얻고, 의사 결정을 개선하며, 경쟁력을 유지할 수 있습니다. 그러나 정확한 인사이트를 얻기 위해서는 대규모의 데이터가 필요로 하게되며, 대규모의 데이터를 획득하기 위해서...
크롤링이 안되는 요소가 있을 때: iframe에 접근하기 웹크롤러를 만들다 보면 한 번쯤은 만나 검색하게 되는 것이 iframe입니다. 오늘은 iframe은 개념과 장단점, 사용 사례에 대해 알아보고 Selenium과 Watir를 사용해 iframe 콘텐츠에 접근하는 방법도 살펴보겠습니다. iframe의 개념 iframe은 "Inline Frame"의...
0. undetected_chromedriver란 무엇인가? 웹 스크래핑(크롤링)과 웹 자동화는 오늘날 많은 데이터 분석 및 웹 개발 작업에서 중요한 역할을 하고 있습니다. 이러한 작업을 위한 도구 중에서 가장 널리 사용되는 것이 Selenium과 Chromedriver입니다. Selenium은 원래 웹 애플리케이션의 테스트를 자동화하기 위해 만들어진...
0.undetected_chromdriver란 무엇인가? 웹 스크래핑(크롤링)과 웹 자동화는 오늘날 많은 데이터 분석 및 웹 개발 작업에서 중요한 역할을 하고 있습니다. 이러한 작업을 위한 도구 중에서 가장 널리 사용되는 것이 Selenium과 Chromedriver입니다. Selenium은 원래 웹 애플리케이션의 테스트를 자동화하기 위해 만들어진 도...
0. 시간과 비용을 절약하는 데이터셋 구축: ChatGPT로 데이터 라벨링하기 인공지능 모델을 훈련시키기 위해, '문제'와 '정답' 쌍으로 이루어진 데이터셋이 필요합니다. (지도 학습 기준) 이때 데이터에 정답, 즉 라벨을 부여하는 것을 '라벨링'이라고 합니다. 1. 데이터의 중요성, 양질의 데이터란? 직접 AI 모델을 개발하는 분들은 아마 "데이터가...
0. 인스타그램을 크롤링 하는 3가지 방법 인스타그램을 크롤링하는 데에는 다양한 방법이 존재합니다. 다음 사례들에 대한 코드는 루비로 이루어져 있습니다. 1. Public API를 이용한 방법 액세스 토큰 발급 개발자 계정 생성 및 앱 등록 후 인증을 받고 액세스 토큰을 발급받아야 합니다. require 'net/http' require 'json' ...
패션 트렌드 분석, 웹크롤링으로 자동화하고 업무 효율 300% 향상시킨 사례 끊임없이 바뀌는 패션 트렌드를 예측하고 분석하는 일은 경험과 직관, 그리고 데이터에 기반한 종합적인 인사이트를 근거로 이루어집니다. 특히 온라인 쇼핑몰의 상품 정보와 그 상품에 대한 소비자의 리뷰는 패션 트렌드 분석에 있어 매우 중요한 소스입니다. 뒤에 소개할 A사와 같이 매...
해시스크래퍼 기술 블로그의 새 글이 발행되면 이메일로 알려드립니다.
이메일은 새 글 알림에만 사용됩니다.
