데이터 수집의 지옥, 인스타그램? 이 3가지 방법으로 뚫어버려!

0. 인스타그램을 크롤링 하는 3가지 방법

1. Public API를 이용한 방법

• 액세스 토큰 발급: 개발자 계정 생성 및 앱 등록 후 인증을 받고 액세스 토큰을 발급받아야 합니다.

require 'net/http'
require 'json'

access_token = '발급받은 액세스 토큰'
url = URI("https://graph.instagram.com/me?fields=id,username,followers_count&access_token=#{access_token}")

response = Net::HTTP.get(url)
data = JSON.parse(response)

follower_count = data['followers_count']
puts "팔로워 수: #{follower_count}"

• 장단점
• 공식적인 api라 차단 되는 경우가 없습니다.
• 개발자 계정과 액세스 토큰이 필요합니다.
• 요청 수와 속도에 제약이 있습니다.
• 개인정보 보호로 자신의 팔로워 수만 가져오고 다른 유저의 팔로우 수는 가져올수 없습니다.

2. 웹페이지를 이용한 방법

require 'nokogiri'
require 'selenium-webdriver'

driver = Selenium::WebDriver.for :chrome

url = "https://www.instagram.com/suuu_yeony/"
driver.get(url)

doc = Nokogiri::HTML(driver.page_source)
follower_count = doc.at('button:contains("팔로워")').text
puts "#{follower_count}"

• 장단점
• 탐지되면 ip차단 혹은 아이디 차단을 당할 수 있습니다.
• 다른 유저의 팔로워 수까지 함께 가져올 수도 있습니다.
• 셀레니움의 특성상 안정성이 떨어질 수 있습니다.

3. Private Api를 이용한 방법

• 장단점
• 다른 유저의 팔로워 수를 가져올 수도 있습니다.
• 탐지되면 ip차단 혹은 아이디 차단을 당할수 있습니다.
• 안정성 우수

4. 결론