Node.js로 크롬에 특화된 웹 스크래핑 적용하기

Puppeteer란 무엇인가요?

Puppeteer를 사용하는 이유는 무엇인가요?

1. 크롬에 최적화된 성능

2. 동적 웹 콘텐츠 처리에 강력

3. 차단 회피

Puppeteer-Extra와 Stealth Plugin

Puppeteer-Extra

Stealth Plugin

1. 필요한 모듈 설치하기

npm install puppeteer-extra puppeteer-extra-plugin-stealth

2. 필요한 모듈 불러오기

import puppeteer from 'puppeteer-extra';
import StealthPlugin from 'puppeteer-extra-plugin-stealth';
import fs from 'fs';

3. 명령어에 url을 입력 유무 예외 처리

const args = process.argv.slice(2); // 첫 번째 요소는 Node.js 실행 경로이므로 제외
if (args.length < 1) {
  console.error('URL 파라미터가 필요합니다.');
  process.exit(1); // 오류로 종료
}

4. stealthplugin 적용하기

puppeteer.use(StealthPlugin());

5. 브라우저 상호작용 적용

puppeteer.launch({ headless: false }).then(async browser => { //해당 headless는 하지 않고 눈에 보이게 브라우저를 띄워줍니다.

  const url = args[0]; // 첫 번째 파라미터로부터 URL 가져오기

  const page = await browser.newPage(); // 새 브라우저 열기
  await page.goto(url); // url로 페이지 이동
  await page.waitForTimeout(5000); // 렌더링 완료를 위해 5초 대기

  const currentUrl = await page.url(); // url을 변수에 저장
  console.log('현재 페이지의 URL:', currentUrl); // url이 제대로 담겼는지 출력

  // 페이지의 HTML을 변수에 저장
  const html = await page.content();

  // HTML 내용을 파일로 저장합니다
  fs.writeFile('pageContent.html', html, (err) => {
    if (err) {
      console.error('파일 저장 중 오류 발생:', err);
    } else {
      console.log('HTML이 성공적으로 저장됨: pageContent.html');
    }
  });

});

6. 명령어 실행

node [파일명].mjs <https://www.naver.com>

7. html파일 확인

이 글도 함께 읽어보세요:

웹 크롤링과 스크래핑의 차이 및 Ruby로 구현하는 기초 예제 | Hashscraper-Blogㅣ해시스크래퍼 블로그

웹 크롤링과 스크래핑의 기본적인 차이점을 알아보고, Ruby 언어를 사용하여 간단한 크롤링과 스크래핑 예제를 실습해보세요. Nokogiri와 open-uri 라이브러리를 활용한 효과적인 데이터 수집 방법을 배워보십시오.

https://blog.hashscraper.com/web-crawling-and-scraping-differences-with-ruby-examples/

웹 스크래핑을 더 쉽고 빠르게! 가장 인기 있는 4가지 도구 비밀 공개 | Hashscraper-Blogㅣ해시스크래퍼 블로그

인기 있는 웹 스크래핑 도구 4가지(Selenium, Undetected Chromedriver, Playwright, Pyppeteer)에 대한 개요를 확인해보세요. 각 도구의 장점과 단점, 그리고 데이터 추출 프로세스를 개선하는 데 가장 적합한 사용 사례를 다룹니다.

https://blog.hashscraper.com/easiest-fastest-web-scraping-top-4-tools-revealed/

캡챠(CAPTCHA)의 정체와 우회 전략 | Hashscraper-Blogㅣ해시스크래퍼 블로그

캡챠(CAPTCHA)의 역사, 종류, 우회 방법, 단점, 그리고 웹 보안의 미래에 대한 정보를 확인하세요.

https://blog.hashscraper.com/captcha-what-is-it-and-how-to-bypass/