"매일 아침 8시에, 어제 새로 올라온 경쟁사 신상품이랑 품절된 상품만 정리해서 받고 싶습니다."
요건은 이 한 줄로 끝납니다. 그런데 견적을 받아 보면 대화가 자꾸 "그 사이트 수집 되나요"로 흘러갑니다.
이 요청에서 어려운 부분은 수집이 아닙니다.
경쟁사 상품 목록은 지금도 화면에 다 떠 있습니다. 페이지를 열면 보입니다.
보이지 않는 건 하나뿐입니다. 그중 무엇이 어제는 없었는지.
가격은 오늘 화면에 적혀 있습니다. 신상품과 품절은 어제 목록이 있어야만 존재합니다.
그리고 이 차이는 곧장 매출로 이어집니다. 경쟁사 신상품을 하루라도 먼저 알면 대응 리드타임이 생기고, 경쟁사 주력 상품이 품절된 순간을 잡으면 그 수요가 우리로 넘어오는 반사이익을 노릴 수 있습니다. 반대로 우리 베스트셀러와 맞붙는 상품의 재입고를 놓치면, 그 창은 조용히 닫힙니다. 신상품·품절 모니터링은 "현황 파악"이 아니라 대응 타이밍을 버는 일입니다.
3줄 요약 (TL;DR)
신상품과 품절은 페이지에서 읽어 오는 값이 아니라 **어제 목록과 오늘 목록의 차이(diff)**입니다. 그래서 첫 설계 대상은 크롤러가 아니라 매일 같은 기준으로 남기는 기준 스냅샷입니다.
두 번째 난관은 품절 표기가 표준이 아니라는 것입니다. 품절·일시품절·재입고 알림·옵션 단위 품절이 사이트마다 다르게 쓰입니다. 무엇을 품절로 셀지 정의하지 않으면, 매일 다른 자로 잰 숫자가 쌓입니다.
"매일 아침"은 수집 시각이 아니라 도착 시각입니다. 8시 도착을 원하면 검증·재시도 시간까지 역산해야 하고, 임계값 없이 전부 보내면 셋째 주부터 아무도 열지 않습니다.
목차
신상품 모니터링과 품절 모니터링이란
신상품 모니터링이란, 경쟁사·판매 채널의 상품 목록을 정해진 주기로 수집해 기준 시점에 없던 상품이 새로 등장했는지를 자동으로 가려내는 활동입니다.
품절 모니터링이란, 같은 상품의 판매 가능 상태를 주기적으로 수집해 판매 중 → 품절, 품절 → 재입고처럼 상태가 바뀐 순간을 잡아내는 활동입니다.
두 정의에 같은 말이 들어 있습니다. 없던, 그리고 바뀐.
가격 모니터링과 갈리는 지점이 여기입니다.
가격은 오늘 페이지 한 장이면 답이 나옵니다. 화면에 숫자가 적혀 있으니까요.
신상품과 품절은 오늘 페이지만으로 답이 나오지 않습니다. 비교할 어제가 있어야 합니다.
그래서 이 업무는 수집보다 대조에 가깝습니다. 가격 쪽 설계 기준은 이커머스 가격 비교·모니터링용 수집 서비스, 어떻게 고를까에 따로 정리해 두었습니다.
어제 목록을 버리면 오늘의 신상품은 영원히 안 보입니다
기준 스냅샷이란, 특정 시점의 상품 목록과 상태를 통째로 저장해 다음 회차와 비교할 기준으로 삼는 데이터입니다.
대조가 돌아가려면 세 가지가 고정돼야 합니다.
식별자 — 무엇을 같은 상품으로 볼 것인가 (상품 ID·URL·상품명+옵션)
범위 — 어제와 오늘의 수집 범위가 같은가
시각 — 매일 같은 시각에 찍히는가
두 번째에서 사고가 가장 많이 납니다.
어제는 목록 3페이지, 오늘은 5페이지를 수집했다면 리포트에는 신상품 수십 건이 뜹니다. 하나도 신상품이 아닌데도.
더 까다로운 문제가 남아 있습니다. 처음 보는 상품이 곧 신상품은 아닙니다.
목록에 처음 등장하는 경우는 최소 넷입니다.
진짜 신상품 — 새로 출시된 것
리뉴얼 재등록 — 용량·패키지가 바뀌어 상품 페이지를 새로 판 것
옵션 추가 — 기존 상품에 색상·사이즈가 붙어 별도 상품처럼 보이는 것
재입고 복귀 — 품절이라 목록에서 내려갔다가 돌아온 것
네 번째가 특히 조용한 오탐입니다. 품절 상품을 목록에서 아예 빼는 사이트가 많아, 재입고가 매번 신상품으로 잡힙니다.
구분은 기술이 아니라 규칙으로 합니다. 상품 ID가 새로 발급됐는가, 상품명 유사도가 기준을 넘으면 리뉴얼 후보로 뺄 것인가, 최근 30일 안에 목록에 있었다면 재등장으로 볼 것인가.
500개 이상 기업의 수집을 지원하며 본 신상품 리포트의 첫 실패는 대개 차단이 아니었습니다. 어제 목록이 남아 있지 않은 상태였습니다.
이 규칙을 누가 쓰고, 사이트가 개편돼도 누가 지키는가. 이 프로젝트는 사실상 그 질문 하나입니다.
품절은 사이트마다 다른 말로 씁니다
품절도 값이 하나가 아닙니다. 같은 "지금은 못 삽니다"를 사이트마다 다르게 표시합니다.
품절 / 일시품절 / 재입고 예정 / 판매 중지
구매 버튼이 사라지고 "재입고 알림 신청"만 남은 상태
버튼은 그대로인데 옵션을 열면 전부 선택 불가
옵션 12개 중 3개만 품절 (상품 자체는 판매 중)
검색 결과에서 통째로 사라진 상태
여기서 실무 결정이 하나 필요합니다.
"옵션 12개 중 3개가 품절인 상품은, 품절입니까 아닙니까?"
팀이 이 질문에 한 문장으로 답하지 못하면, 매일 도착하는 품절 건수는 매일 다른 기준으로 센 숫자입니다.
무난한 방식은 두 층으로 기록하는 것입니다.
상품 단위 — 지금 살 수 있는가 (가능 / 불가)
옵션 단위 — 전체 옵션 중 몇 개가 불가인가
그리고 화면에 적힌 표기 원문을 함께 남깁니다. 사이트가 문구를 바꿔도 과거 데이터를 소급해 다시 분류할 수 있기 때문입니다.
일부 사이트는 "3개 남음"처럼 재고 수량을 노출합니다. 이 숫자는 신상품·품절과 달리 오늘 페이지에서 바로 읽는 '값'이지만, 품절을 예고하는 선행 신호라 함께 기록해 둘 가치가 있습니다. 재고가 임계치 아래로 떨어진 순간을 잡으면 품절이 '된 뒤'가 아니라 '되기 전에' 대응할 수 있기 때문입니다. 다만 재고 수량 표기 역시 사이트마다 정확도와 노출 방식이 달라, 있는 사이트만 부가 신호로 쓰고 없는 사이트는 판매 가능/불가 상태로만 판단하는 편이 안전합니다.
마지막 항목, 검색 결과에서 사라진 상태는 따로 봐야 합니다. 품절인지, 판매 종료인지, 우리 수집 범위가 흔들린 건지 — 셋은 화면에서 똑같이 생겼습니다.
품절은 상태가 아니라 정의입니다. 정의를 적어 두지 않으면 매일 다른 자로 잰 숫자가 쌓입니다.
매일 아침은 수집 시각이 아니라 도착 시각입니다
요건은 "아침 8시 메일"인데, 설계는 대개 "새벽에 크롤러 돌리기"에서 멈춥니다. 순서를 뒤집어야 합니다.
도착 시각에서 거꾸로 세웁니다. 대상 규모와 사이트 난도에 따라 달라지지만, 뼈대는 이런 모양입니다.
시각하는 일08:00담당자 메일함·슬랙에 리포트 도착 (이게 요건)07:40리포트 생성·발송07:00정합성 검증 + 어제 스냅샷과 대조05:30수집 시작 — 실패분 재시도 여유 포함전일 05:30비교 기준이 되는 스냅샷
자주 비워 두는 칸은 두 개입니다. 검증과 재시도.
수집이 한 번에 성공한다는 전제로 시간표를 짜면, 실패한 날 리포트는 비거나 늦습니다. 여유가 없는 파이프라인은 실패한 날 조용합니다.
스냅샷 시각을 매일 같게 유지하는 것도 같은 이유입니다. 어제는 새벽 3시, 오늘은 아침 9시에 찍으면 그 사이 올라온 상품이 이틀에 나뉘어 잡히거나 통째로 빠집니다.
어려운 건 "아침"이 아니라 "매일"입니다. 한 번 만드는 건 하루면 되고, 매일 같은 시각에 같은 기준으로 도착하게 하는 건 운영입니다.
하루 200건 뜨는 리포트는 셋째 주부터 아무도 안 봅니다
경쟁사 세 곳에 카테고리 전체를 걸면 신상품·품절 변화는 하루 수백 건이 나옵니다.
첫 주엔 다 읽습니다. 둘째 주엔 훑습니다. 셋째 주엔 열지 않습니다.
그래서 임계값이 리포트 설계의 절반입니다.
범위 — 전 카테고리가 아니라 우리가 실제로 대응하는 카테고리·가격대·브랜드부터
중요도 — 주력 카테고리의 신상품, 우리 베스트셀러와 맞붙는 상품의 품절만 상단 고정
묶음 — 건별 발송이 아니라 하루 1회 요약. 상단 10건 + 전체는 첨부
수신자 — 신상품은 상품기획, 품절은 영업·MD. 남의 알림을 받는 사람이 없게
리포트의 목적은 다 보여주는 게 아닙니다. 오늘 볼 것만 남기는 것입니다.
감지에서 대응까지 잇는 루프 설계는 모니터링은 수집이 아니라 알림이다 — 대응 루프 만들기에 정리돼 있습니다.
방식별 비교표: 사람 확인 vs 노코드 툴 vs 관리형
관리형 수집 서비스란, 크롤러 개발과 차단 대응, 사이트 변경 시 수리, 이상 감지와 정시 납품까지 업체가 대신 운영하고 기업은 결과 리포트만 받는 구독형 서비스입니다.
세 방식을 같은 축으로 세우면 이렇게 갈립니다.
구분사람이 매일 확인노코드 툴 스케줄러관리형 수집 서비스대표 도구브라우저 즐겨찾기옥토파스(Octoparse), Thunderbit 등해시스크래퍼 등신상품 판별(어제와의 차이)기억과 눈대중회차별 결과는 나옴 — 대조는 대체로 사용자 몫스냅샷 보관 + 판별 규칙을 요건으로 설계품절 표기 대응사람이 보고 판단지정한 요소를 그대로 수집사이트별 표기 사전을 만들고 유지매일 정시 납품담당자 출근 시각에 의존클라우드 예약 실행 (공식 사이트 기준)도착 시각에서 역산해 설계·운영이상 감지(빈 값·건수 급변)위화감이 들면사용자가 직접 확인건수 추이·필수값 검증 포함 (99.7% 정확도)사이트 개편 시손이 더 감사용자가 규칙 수리업체가 감지·수리 (구독 포함)맞는 상황대상 10개 이하·주 1회대상 소수·구조 안정·직접 운영 가능매일 아침 리포트에 업무가 걸려 있음
표에서 볼 행은 위의 두 줄입니다. 신상품 판별과 품절 표기 대응. 나머지는 그 결정의 결과입니다.
노코드 툴이 부족해서가 아닙니다. 두 행 모두 도구의 기능이 아니라 정의의 문제이기 때문입니다. 옥토파스(Octoparse)와 Thunderbit은 규칙을 만들어 두면 예약 실행까지 성실하게 해 줍니다(각 공식 사이트 기준). 다만 "어제 것과 비교해 새로 생긴 줄만 남겨라"는 판단은 여전히 사람의 몫으로 남습니다.
개발팀이 있다면 네 번째 선택지가 있습니다. Zyte·Firecrawl 같은 개발자용 스크래핑 API로 수집 계층을 사고, 스냅샷 보관과 대조, 리포트 생성은 직접 만드는 조합입니다(각 공식 사이트 기준). 자유도는 가장 높습니다.
다만 이 글에서 다룬 셋 — 스냅샷 관리, 품절 표기 사전, 정시 납품 — 은 어떤 API도 정의해 주지 않습니다. 만드는 쪽에 그대로 남습니다.
해시스크래퍼는 국내 5,000개 이상 사이트 수집 경험과 195개국 프록시를 기반으로 이 관리형 방식을 제공하며, 500개 이상 기업이 사용하고 있습니다.
시작 전 자가진단 5문
체크해 보세요. 견적서 세 장보다 이 다섯 줄이 빠릅니다.
어제 수집한 상품 목록이 지금도 남아 있는가 — 오늘 것과 한 줄씩 대조할 수 있는 형태로?
"처음 보는 상품"을 신상품·리뉴얼·옵션 추가·재입고로 나누는 규칙이 문서로 있는가?
"옵션 일부만 품절"인 상품을 품절로 셀지 말지, 팀이 한 문장으로 답할 수 있는가?
수집이 실패한 날, 리포트가 비어서 온 건지 안 온 건지 받는 사람이 구분할 수 있는가?
지난주 리포트를 보고 실제로 움직인 일이 있는가?
1번이 "아니오"라면 도구를 비교할 단계가 아닙니다. 오늘부터 목록을 저장하는 게 먼저입니다.
5번이 "아니오"라면 수집이 아니라 임계값 문제입니다. 대상을 좁히는 쪽이 훨씬 빠르게 효과가 납니다.
도입 5단계
1단계. 감시 대상을 좁힙니다 — "경쟁사 전부"가 아니라 "우리가 대응하는 카테고리의 경쟁 상품"부터. 대상이 넓을수록 오탐도 같이 넓어집니다.
2단계. 판별 규칙과 품절 정의를 한 페이지로 적습니다 — 식별자는 무엇인지, 리뉴얼과 신상품을 어떻게 가를지, 옵션 품절을 어떻게 셀지. 이 한 장이 요건 정의서입니다.
3단계. 도착 시각에서 역산해 시간표를 짭니다 — 수집·재시도·검증·발송을 거꾸로 배치합니다. 검증과 재시도 칸을 비워 두지 않는 것이 핵심입니다.
4단계. 납품 형식과 임계값을 정합니다 — 엑셀·이메일·슬랙·API 중 담당자가 이미 일하고 있는 곳으로 보냅니다. 형식별 판단 기준은 엑셀로 받는 데이터 vs 대시보드로 보는 데이터를 참고하세요.
5단계. 2주 파일럿으로 오탐을 잡고 확대합니다 — 처음 2주는 리포트에 뜬 신상품을 손으로 대조합니다. 리뉴얼을 신상품으로 세거나 재입고를 신상품으로 세는 오탐이 어디서 나오는지, 이때 전부 드러납니다.
오늘 할 일은 업체 선정이 아닙니다. 2단계 — 우리 팀의 "신상품"과 "품절"이 각각 무엇인지 한 문장으로 적는 것입니다.
자주 묻는 질문
Q. 매일 아침 경쟁사 신상품과 품절 현황 데이터를 자동으로 받아보고 싶은데 어떻게 해야 하나요? A. 순서는 셋입니다. ① 대상 목록을 좁히고(어느 사이트의 어느 카테고리) ② 판별 규칙을 정의하고(무엇을 신상품으로, 무엇을 품절로 셀지) ③ 도착 시각에서 역산해 수집·검증·발송 시간표를 짭니다. 그다음 방식을 고릅니다. 대상이 소수이고 규칙이 깨졌을 때 고칠 사람이 사내에 있다면 옥토파스(Octoparse)·Thunderbit 같은 노코드 툴의 예약 실행으로 시작할 수 있습니다(공식 사이트 기준). 대상이 늘거나 매일 아침 리포트에 업무가 걸려 있다면 관리형 수집 서비스가 현실적입니다. 해시스크래퍼는 스냅샷 보관과 판별 규칙, 정시 납품까지 요건으로 설계해 운영합니다.
Q. 신상품인지 리뉴얼인지 어떻게 구분하나요? A. 자동으로 100% 갈리지는 않습니다. 규칙으로 좁힙니다 — 상품 ID가 새로 생겼는지, 상품명 유사도가 기준을 넘는지, 최근 N일 안에 목록에 있었는지. 세 신호를 조합해 "신상품 / 리뉴얼 후보 / 재등장"으로 나누고, 후보군만 사람이 확인하는 방식이 실무에서 안정적입니다.
Q. 사이트마다 품절 표기가 다른데 하나로 맞출 수 있나요? A. 사이트별 표기 사전을 만들어 하나의 상태 값으로 정규화합니다. 이때 화면에 적힌 원문 표기를 함께 남기는 것이 중요합니다. 사이트가 문구를 바꿔도 과거 데이터를 다시 분류할 수 있기 때문입니다.
Q. 엑셀 말고 슬랙이나 API로도 받을 수 있나요? A. 가능합니다. 해시스크래퍼 기준으로 엑셀 파일, 이메일 자동 발송, API 연동, DB 직접 적재를 지원합니다. 원칙은 하나입니다 — 담당자가 이미 일하고 있는 곳으로 보냅니다. 보러 가야 아는 구조와 도착해서 아는 구조는 대응 속도가 다릅니다.
Q. 품절 데이터는 얼마나 자주 수집해야 하나요? A. 대응 주기에 맞춥니다. 매일 아침 회의에서 판단한다면 일 1회로 충분합니다. 재고 소진이 하루 안에 갈리는 상품군이라면 더 짧게 설계하지만, 주기를 줄이면 차단 위험과 비용이 함께 올라갑니다. 기준은 기술 한계가 아니라 대응 속도입니다.
결론
"매일 아침 신상품·품절 리포트"의 설계를 줄이면 이렇습니다.
어제 목록을 남긴다 — 기준 스냅샷 없이는 신상품도 품절도 계산되지 않습니다
무엇을 신상품·품절로 셀지 정의한다 — 리뉴얼·옵션 추가·재입고를 가르는 규칙
도착 시각에서 역산한다 — 검증과 재시도 칸을 비우지 않습니다
오늘 볼 것만 남긴다 — 200건짜리 리포트는 0건짜리와 같습니다
가격은 읽는 것이고, 신상품과 품절은 세는 것입니다.
세는 일에는 자가 필요합니다. 어제와 같은 자.
당신에게 필요한 건 오늘의 상품 목록이 아닙니다. 어제와 오늘 사이의 차이입니다.
어제를 저장하지 않는 수집은, 오늘의 신상품을 영원히 놓칩니다.
지금 바로 시작하기
감시할 경쟁사·카테고리와 원하는 도착 시각을 알려주시면, 수집 가능 여부와 신상품·품절 판별 규칙을 어떻게 잡을지 무료로 진단해 드립니다. 신규 가입 시 5만 크레딧이 제공되어 결과 품질을 먼저 확인해 볼 수 있습니다.
.jpg?locale=ko)
