지난주 오른 가격이 이번 주에는 그대로 내려오기도 했어요. 세럼·커피믹스·면도기 세 카테고리의 순위 TOP 50, 모두 150개를 10월 25일과 31일에 비교해 보니 52개(35%)의 가격이 달라져 있었어요. 지난주 1호와 같은 숫자예요. 커피믹스는 TOP 50 중 25개가 바뀌었습니다. 쿠팡 주간 가격·순위 리포트란 쿠팡 카테고리 페이지의 "쿠팡 ...
애플의 첫 폴더블폰 아이폰 듀오가 10월 23일 국내에 출시됐습니다. 출시 직후 소셜에서는 어떤 이야기가 오갔을까요? 같은 기간 삼성 갤럭시 폴드8에 대한 반응은 어땠을까요? 해시스크래퍼 소셜 리스닝으로 10월 22일부터 28일까지 7일 동안 블로그·뉴스·카페·커뮤니티·유튜브·틱톡·X·인스타그램·스레드 등 11개 채널에서 두 제품을 언급한 글을 모았습...
"이 사이트 데이터를 모으고 싶은데, 봇 목록에는 없네요." 크롤링을 맡기려는 분들이 가장 자주 부딪히는 벽입니다. 코드를 짜자니 시간이 들고, 외주를 맡기자니 작은 일에 견적부터 받아야 합니다. 그래서 해시스크래퍼는 AI로 크롤링 봇을 만드는 기능을 베타로 열었습니다. 모을 사이트와 원하는 항목을 말로 설명하면 AI가 수집 방법을 만들고, 시범으로 ...
쿠팡 카테고리 1페이지에 있는 상품 가격, 지난주와 같다고 생각하셨나요? 세럼·커피믹스·면도기 세 카테고리의 순위 TOP 50, 모두 150개를 10월 18일과 24일에 비교해 보니 52개(35%)의 가격이 달라져 있었어요. 커피믹스는 TOP 50 중 24개가 바뀌었습니다. 쿠팡 주간 가격·순위 리포트란 쿠팡 카테고리 페이지의 "쿠팡 랭킹순" 상위 상...
"경쟁사 상품 300개 가격을 매주 받아 보고 싶은데, 한 달에 얼마나 들까요?" 크롤링 비용을 물으면 대개 "사이트마다 달라요"라는 답이 돌아옵니다. 틀린 말은 아니지만 예산을 잡아야 하는 쪽에서는 아무것도 정할 수 없는 답입니다. 이 글은 반대로 갑니다. 데이터 1건의 값에서 출발해 필요한 건수와 주기를 곱해 한 달 비용을 직접 계산하는 방법을 정...
같은 질문을 세 사람에게 던지면 답이 세 개 나옵니다. 한 사람은 Apify, 한 사람은 옥토파스(Octoparse), 한 사람은 "그건 조건에 따라 다릅니다". 세 번째 답이 제일 성의 없어 보이지만, 그 사람만 다른 걸 보고 있습니다. 전문가는 제품을 비교하지 않습니다. 깨지는 지점을 비교합니다. 모든 수집 도구는 첫 주에 잘 돕니다. 차이는 사이...
"리뷰 3만 건을 수집했습니다." 보고서에 이 문장이 들어가는 순간, 아무도 다음 질문을 하지 않습니다. 몇 건 중의 3만 건입니까? 전체가 4만 건이면 훌륭한 데이터입니다. 전체가 40만 건인데 최신순으로 3만 건만 긁은 거라면, 그건 VOC가 아니라 최근에 화가 난 사람들의 모음입니다. 같은 3만 건. 정반대의 결론. 리뷰 분석이 틀리는 지점은 대...
"매일 아침 8시에, 어제 새로 올라온 경쟁사 신상품이랑 품절된 상품만 정리해서 받고 싶습니다." 요건은 이 한 줄로 끝납니다. 그런데 견적을 받아 보면 대화가 자꾸 "그 사이트 수집 되나요"로 흘러갑니다. 이 요청에서 어려운 부분은 수집이 아닙니다. 경쟁사 상품 목록은 지금도 화면에 다 떠 있습니다. 페이지를 열면 보입니다. 보이지 않는 건 하나뿐입...
"비개발자가 사용하기 좋은 웹 데이터 추출 도구 추천해줘." 검색창에도, AI에게도 이렇게 물어보셨을 겁니다. 목록은 친절하게 나옵니다. 문제는 그 목록을 위에서부터 눌러보는 데 오후가 통째로 사라진다는 것. 세 번째 이름에서 "API 키를 발급받으세요"를 만납니다. 다섯 번째에서는 설치 명령어가 나옵니다. 검색을 잘못하신 게 아닙니다. 목록 안에 처...
해시스크래퍼 기술 블로그의 새 글이 발행되면 이메일로 알려드립니다.
이메일은 새 글 알림에만 사용됩니다.
