0. 개요 해시스크래퍼 고객사례 중 하나로 AI모델을 통하여 공정에서 나타는 불량률을 줄이기 위해 AI모델을 사용하였습니다. 머신러닝 모델의 예측을 좀 더 깊고 이해하기 쉽게 설명해드리고자 글을 작성하였습니다. 1. 문제 정의 1.1. 목표 설정 먼저 고객 사례를 간략하게 설명해드리자면, 128개의 변수들에 나와있는 것을 토대로 물건을 만드는데에 있어...
0. AWS(아마존 웹 서비스)는 너무 복잡하기만 하다? 유용한 기능이 가득한 만큼 초보 개발자에게는 악명 높은 난이도의 아마존 웹 서비스(Amazone Web Service, 이하 AWS). 이용해보고 싶은데 아직도 망설이고 계시나요? 이번 포스팅에서는 AWS를 더 효과적으로 활용할 수 있는 몇 가지 팁을 공유하겠습니다. AWS는 강력한 클라우드 플...
0. 개요 요즘은 ChatGPT 덕에 정말 개발하기 쉬워진 세상입니다. 과연 크롤링 봇도 ChatGPT와 함께라면 쉽게 만들어 낼 수 있을까요? 쿠팡 크롤링 봇 개발하기(with ChatGPT), 시작해 보겠습니다. 1. 프롬프트 작성1.1. 목표 검색 결과로 노출되는 상품 리스트에서 각 상품의 기본적인 정보를 가져오고자 합니다. 상품 이름 정가 판매...
0. 개요 웹 스크래핑(크롤링)을 할 때 어떤 도구를 사용하느냐가 그 결과와 작업의 편의성에 크게 영향을 미칩니다. 이번 글에서는 이 분야에서 두각을 나타내고 있는 네 가지 주요 도구 Selenium, Undetected Chromedriver, Playwright, 그리고 Pyppeteer에 대해 소개해보려고 합니다. 1. Selenium: 노련한 ...
0. 개요 Selenium을 사용하여 브라우저 상호 작용을 자동화할 때 요소가 사용 가능해지거나 특정 조건이 충족될 때까지 기다려야 하는 시나리오에 자주 직면합니다. Selenium의 대기하는 방법에는 'Time.sleep()' 'Implicit Wait' 'Explicitly Wait' 입니다. 하지만 어느 것을 사용해야 할까요? 세 가지의 차이점을...
1. Shadow DOM이란? Shadow DOM은 웹 개발에서 사용되는 기술로, 주로 웹 요소의 스타일과 구조를 캡슐화하기 위해 사용됩니다. 여기서 '캡슐화'란, 외부의 영향으로부터 Shadow DOM 내부의 웹 요소를 보호하고 독립적으로 유지하는 것을 의미합니다. 2. Shadow DOM과 iframe의 차이 Shadow Dom과 iframe은 모...
본 포스팅은 해시스크래퍼가 기존에 진행했던 연구 중 텍스트 마이닝을 활용한 기업부도예측 모형연구과정에서 다뤘던 항목 중 하나입니다. 0. 개요 유사 주제의 선행 연구들을 기반으로하여, 부도 예측 과정에서 뉴스텍스트와 같은 데이터를 적용 방법에 따라 부도예측의 정확도를 높일 수 있을지, 그리고 인공지능 활용을 통해서 예측 성능이 향상되는지에 대한 연구입...
0. 웹크롤링 중 차단 발생, 원인이 뭘까? 웹크롤링을 경험해본 개발자는 무조건적으로 차단을 경험해보았을 것입니다. 내 크롤러는 완벽했는데, 어떤 부분에서 문제가 생긴건지 몰라 답답하셨나요? 이번 포스팅에서는 대표적인 차단 원인을 해법 중심으로 다루었습니다. 크롤링은 가게에 들어가서 원하는 상품을 가져오는 것과 비슷합니다. 우리는 가게에 입장할 때 지...
0. 웹 크롤링이 중요하게 여겨지는 이유 점점 더 데이터 중심의 디지털 환경에서 웹 크롤링(웹 스크래핑)은 중요해지고 있습니다. 웹에서 대규모 데이터를 추출함으로써 기업들은 인사이트을 얻고, 의사 결정을 개선하며, 경쟁력을 유지할 수 있습니다. 그러나 정확한 인사이트를 얻기 위해서는 대규모의 데이터가 필요로 하게되며, 대규모의 데이터를 획득하기 위해서...
해시스크래퍼 기술 블로그의 새 글이 발행되면 이메일로 알려드립니다.
이메일은 새 글 알림에만 사용됩니다.
