0. 개요 XPath 1편에서는 웹크롤링에 있어 필수적인 XPath의 개념과 기본 문법에 대해 다뤄봤었는데요, 2편에서는 XPath의 심화 내용에 대해서 알려드리겠습니다. 1. 와일드카드에 대한 이해 심화 내용으로 들어가기 전, XPath에서 '*(와일드카드)'가 가지는 의미에 대해서 필수적인 이해가 필요합니다. (와일드카드)는 XPath에서 어떠한 ...
0. XPath란? XPath는 'XML Path Language'의 줄임말로, XML 문서의 특정 요소 또는 속성에 접근하기 위한 경로를 지정하는 언어입니다. XPath는 주로 웹 크롤링 작업에서 사용되는데, 우선 XPath의 기본 문법에 대해 알아보겠습니다. 1. Xpath의 기본 문법 <!DOCTYPE html> &...
0. Playwright란? Playwright는 마이크로소프트에서 개발한 오픈 소스 라이브러리로, 웹 브라우저를 자동화하기 위한 것입니다. 본래 웹 스크래핑을 위해 설계된 것은 아니지만, 브라우저와 설정을 적절히 조합하면 이 영역에서 탁월한 성능을 발휘합니다. Node.js와 Python 등 여러 언어에서 사용할 수 있으며, 현재 Chrome, Fi...
0. 웹크롤링, 수동실행하기 매우 번거로우셨죠? 웹 크롤링 코드를 작성했는데, 매번 수동으로 코드를 실행하기 귀찮으신가요? 원하는 시간, 원하는 주기로 파이썬 코드가 알아서 실행되게 하는 방법을 소개합니다. 자동화의 시작, 함께해보시죠! 1. 파이썬 스케줄러 활용하기 파이썬으로 웹 스크래핑 코드를 작성하였다면, 가장 쉬운 방법 중 하나는 파이썬의 's...
1. Google 검색 콘솔로 문제점 확인 도메인 확인후 크롤링 봇이 크롤링을 시작한후 데이터가 보이므로 몇일뒤에 다시 접속해 보시면 데이터가 보이실 겁니다. 크롤링시에 문제가 되는 일반적인 오류는 다음과 같습니다. 시간 초과 연결이 거부되었습니다 연결에 실패했습니다 연결 시간 초과 응답이 없습니다 대부분의 경우 서버 오류는 일시적으로 일어나는게 대부...
0. 개요 해시스크래퍼 고객사례 중 하나로 AI모델을 통하여 공정에서 나타는 불량률을 줄이기 위해 AI모델을 사용하였습니다. 머신러닝 모델의 예측을 좀 더 깊고 이해하기 쉽게 설명해드리고자 글을 작성하였습니다. 1.문제 정의 1.1. 목표 설정 먼저 고객 사례를 간략하게 설명해드리자면, 128개의 변수들에 나와있는 것을 토대로 물건을 만드는데에 있어서...
0. 개요 해시스크래퍼 고객사례 중 하나로 AI모델을 통하여 공정에서 나타는 불량률을 줄이기 위해 AI모델을 사용하였습니다. 머신러닝 모델의 예측을 좀 더 깊고 이해하기 쉽게 설명해드리고자 글을 작성하였습니다. 1. 문제 정의 1.1. 목표 설정 먼저 고객 사례를 간략하게 설명해드리자면, 128개의 변수들에 나와있는 것을 토대로 물건을 만드는데에 있어...
0. AWS(아마존 웹 서비스)는 너무 복잡하기만 하다? 유용한 기능이 가득한 만큼 초보 개발자에게는 악명 높은 난이도의 아마존 웹 서비스(Amazone Web Service, 이하 AWS). 이용해보고 싶은데 아직도 망설이고 계시나요? 이번 포스팅에서는 AWS를 더 효과적으로 활용할 수 있는 몇 가지 팁을 공유하겠습니다. AWS는 강력한 클라우드 플...
0. 개요 요즘은 ChatGPT 덕에 정말 개발하기 쉬워진 세상입니다. 과연 크롤링 봇도 ChatGPT와 함께라면 쉽게 만들어 낼 수 있을까요? 쿠팡 크롤링 봇 개발하기(with ChatGPT), 시작해 보겠습니다. 1. 프롬프트 작성 1.1. 목표 검색 결과로 노출되는 상품 리스트에서 각 상품의 기본적인 정보를 가져오고자 합니다. 상품 이름 정가 판...
해시스크래퍼 기술 블로그의 새 글이 발행되면 이메일로 알려드립니다.
이메일은 새 글 알림에만 사용됩니다.
