안녕하세요, 오늘은 Ruby, Python, Java가 아닌 Node.js를 사용하여 웹 크롤러를 만드는 방법에 대해 소개하겠습니다. 특히, Google Chrome 또는 Chromium을 제어할 수 있는 강력한 Node.js 라이브러리인 Puppeteer와 그 확장인 Puppeteer-Extra에 대해 자세히 알아보겠습니다. Puppeteer란 무엇...
신제품에 대한 소비자 반응이 궁금하다면? Youtube에서 댓글을 살펴보세요! 유튜브가 제품 홍보와 고객반응조사에 가장 효과적인 플랫폼 중 하나라는 의견에는 의심의 여지가 없을 거에요. 이번 블로그에서는 유튜브 댓글을 간편하고 빠르게 수집하여 제품에 대한 고객 반응을 모으는 방법을 알려드리고자 합니다. 예시로, 최근 출시된 짜파게티 더블랙 리뷰 영상들...
스크래핑과 크롤링은 어떤 차이가 있나요? 스크래핑과 크롤링은 웹 데이터를 수집하기 위한 두 가지 방법입니다. 이 두 방법은 종종 혼용되어 사용되지만, 그 기능과 목적에는 차이가 있습니다. 크롤링 (Crawling): 크롤링은 웹 사이트의 여러 페이지를 탐색하는 작업을 의미합니다. 일반적으로 웹 크롤러 또는 스파이더라는 프로그램이 자동화된 방식으로 웹사...
일론 머스크가 인수한 X(구 트위터)는 새로운 광고 수익 시스템을 도입했습니다. X에서 광고 수익 실현을 위해서는 특정 자격 요건을 충족해야 합니다. 이를 위해 본 포스팅에서는 트윗의 트래픽, 즉 impressions를 증가시키기 위한 전략에 대해 소개하고자 합니다. 1. X(트위터) 광고 수익 자격 조건 X의 광고 수익 조건을 달성하기 위해 다음 세...
감정분석은 텍스트 데이터의 감정이나 의견을 자동으로 분석하는 자연어처리의 중요한 분야 중 하나입니다. 최근 몇 년 동안, BERT(Bidirectional Encoder Representations from Transformers)라는 딥러닝 모델이 자연어처리 작업에서 높은 성능을 보여주며 감정분석에도 큰 역할을 하고 있습니다. 이 블로그에서는 BER...
클로드(Claude)로 한정판 거래 플랫폼, 크림 (Kream : https://kream.co.kr)의 실시간 차트를 크롤링하는 예제를 준비했습니다. 1. 클로드(Claude)란 무엇인가? Claude(클로드)는 오픈AI 직원들이 설립하고 구글의 강력한 지원을 받고 있는 인공지능 스타트업 Anthropic의 AI 챗봇 서비스입니다. 클로드 2는 20...
지난번에 만들었던 "파이썬으로 캠퍼스픽 크롤러 만들기" 에 이어서, 이번에는 우리가 만들었던 크롤러를 내가 원하는 요일, 날짜, 시간에 실행하는 방법에 대해서 알아보도록 하겠습니다. 다양한 종류의 스케줄러가 있지만, 이번에는 Unix계열의 Mac/Linux 에서 사용가능한 Crontab과 Windows에서 사용가능한 Task Scheduler(작업 스...
1. 짜증 유발 '캡챠(CAPTCHA)'의 정체 인터넷 세계에서 사용자와 로봇을 구분하는 일은 웹 보안의 핵심적인 부분입니다. 이 과정에서 '캡챠(CAPTCHA)'는 중요한 역할을 합니다. 캡챠는 "Completely Automated Public Turing test to tell Computers and Humans Apart"의 약자로, 말 그대...
1. 데이터 준비 1.1. 스크래퍼 접속 데이터를 준비하기 위해서 저희 해시스크래퍼의 스크래퍼를 활용하였습니다. 아래 사진과 같이 SNS탭에 있는 인스타그램 포스팅 수집을 클릭하여 들어갑니다. 1.2. 파라메터 세팅 해당 빨간 부분을 클릭하여 파라미터들을 세팅하여 줍니다. 1.3. 세팅 저장 본 예제에서는 아래와 같이 파라미터들을 검색 키워드에는 더마...
해시스크래퍼 기술 블로그의 새 글이 발행되면 이메일로 알려드립니다.
이메일은 새 글 알림에만 사용됩니다.
