데이터 수집의 지옥, 인스타그램? 이 3가지 방법으로 뚫어버려!

0. 인스타그램을 크롤링 하는 3가지 방법

1. Public API를 이용한 방법

• 액세스 토큰 발급: 개발자 계정 생성 및 앱 등록 후 인증을 받고 액세스 토큰을 발급받아야 합니다.

require 'net/http'
require 'json'

access_token = '발급받은 액세스 토큰'
url = URI("https://graph.instagram.com/me?fields=id,username,followers_count&access_token=#{access_token}")

response = Net::HTTP.get(url)
data = JSON.parse(response)

follower_count = data['followers_count']
puts "팔로워 수: #{follower_count}"

• 장단점
• 공식적인 api라 차단 되는 경우가 없습니다.
• 개발자 계정과 액세스 토큰이 필요합니다.
• 요청 수와 속도에 제약이 있습니다.
• 개인정보 보호로 자신의 팔로워 수만 가져오고 다른 유저의 팔로우 수는 가져올수 없습니다.

2. 웹페이지를 이용한 방법

require 'nokogiri'
require 'selenium-webdriver'

driver = Selenium::WebDriver.for :chrome

url = "https://www.instagram.com/suuu_yeony/"
driver.get(url)

doc = Nokogiri::HTML(driver.page_source)
follower_count = doc.at('button:contains("팔로워")').text
puts "#{follower_count}"

• 장단점
• 탐지되면 ip차단 혹은 아이디 차단을 당할 수 있습니다.
• 다른 유저의 팔로워 수까지 함께 가져올 수도 있습니다.
• 셀레니움의 특성상 안정성이 떨어질 수 있습니다.

3. Private Api를 이용한 방법

• 장단점
• 다른 유저의 팔로워 수를 가져올 수도 있습니다.
• 탐지되면 ip차단 혹은 아이디 차단을 당할수 있습니다.
• 안정성 우수

4. 결론

이 글도 함께 읽어보세요:

네이버 부동산 매물 정보 수집 자동화하기 | Hashscraper-Blogㅣ해시스크래퍼 블로그

가이드를 따라 네이버 부동산 매물 정보 수집 작업을 자동화해보세요.

https://blog.hashscraper.com/how-to-automate-collecting-real-estate-listings/

코드 품질 2배로 올리는 10가지 원칙 | 코딩 최적화 방법 | Hashscraper-Blogㅣ해시스크래퍼 블로그

코드 품질을 높이기 위한 10가지 필수 코딩 원칙을 따르면서 유지보수 가능하고 효율적이며 버그 없는 코드를 작성하세요.

https://blog.hashscraper.com/principles-for-doubling-code-quality/

불량공정률 획기적으로 개선한 고객사 사례 (feat. SHAP 라이브러리) | Hashscraper-Blogㅣ해시스크래퍼 블로그

머신러닝과 SHAP 라이브러리를 활용해 불량공정률을 획기적으로 줄인 고객사 사례를 살펴봅니다. 데이터 수집, 전처리, 모델링, SHAP 라이브러리를 통한 변수 도출과 직관성 높인 기능 추가까지 상세히 알아보세요.

https://blog.hashscraper.com/defect-rate-ai-shap-case-study/