크롤링 예산을 결재 올릴 때 가장 흔한 문장은 "이걸로 비용을 얼마 줄였습니다"입니다. 그런데 이 문장은 ROI 증명의 절반, 그것도 작은 절반만 다룹니다. 진짜 가치는 데이터를 받은 뒤 어떤 결정을 바꿨고, 그래서 얼마를 지켰거나 벌었는가에 있습니다. 절감액은 눈에 잘 띄지만 상한이 명확하고, 의사결정 개선은 눈에 안 띄지만 상한이 없습니다. 이 글...
가격은 보는 것이 아니라 지키는 것입니다. 경쟁사 가격을 비교하는 이야기가 아닙니다. 내 브랜드 제품이 오픈마켓·소셜커머스·자사몰에서 정책가(권장가·MAP) 아래로 새고 있는지를 감시하는 이야기입니다. 한 채널에서 무너진 최저가는 하루 만에 가격비교 상단에 뜨고, 다른 채널의 정상 판매자까지 "왜 저기가 더 싸냐"는 항의를 부릅니다. 유통 질서는 그렇...
에이전트는 똑똑하다. 문제는 웹이 더럽다는 거다. 새벽 2시, 당신의 AI 에이전트가 경쟁사 가격을 확인하려 사이트에 붙는다. 그런데 그 사이트는 캡차를 띄우고, HTML 구조를 바꾸고, 봇을 차단한다. 에이전트는 당황하지 않는다. 대신 그럴듯하게 지어낸다. 사용자는 그 환각을 사실로 믿는다. 에이전트를 런타임에 웹으로 내보내는 순간, 당신은 불확실성...
웹 데이터 수집 자동화 툴은 웹페이지의 정보를 사람 대신 모아 표로 만들고, 정해진 주기에 다시 돌려 주는 도구입니다. 화면 소량 추출은 리스틀리·Web Scraper·Thunderbit, 코딩 없는 반복 수집은 Octoparse·Browse AI, 개발팀은 Scrapy·Playwright·Apify를 많이 씁니다. 쿠팡·네이버 같은 국내 사이트를 코...
자체 sLLM을 만들겠다고 결심한 팀이 가장 먼저 하는 일은 대개 '크롤링'입니다. 수백만 페이지를 긁고, 텍스트 용량을 자랑하고, "코퍼스 확보 완료"라고 선언합니다. 그리고 그 코퍼스를 모델에 태운 순간, 모델이 이상한 걸 말하기 시작합니다. "구독하기", "쿠키를 허용하시겠습니까", "관련 상품 더보기". 모델은 먹인 대로 배웁니다. 광고 문구를...
"○○ 잘하는 곳 추천해줘." 고객이 예전엔 검색창에 치던 이 말을, 지금은 ChatGPT에게 합니다. 돌아온 답변에는 세 곳이 적혀 있었습니다. 거기 우리는 없었습니다. 검색이라면 10등이라도 어딘가엔 떠 있었습니다. 그런데 AI 답변은 다릅니다. 뽑히거나, 아예 안 나오거나. 검색은 순위 싸움이었습니다. 답변은 명단 싸움입니다. 명단에 없으면 순위...
비교글을 열 개쯤 읽으셨을 겁니다. 그런데 아직 아무것도 결정하지 못하셨죠. 정보가 부족해서가 아닙니다. 잘못 고르면 되돌릴 수 없다고 믿기 때문입니다. 그 믿음이 틀렸습니다. 웹 데이터 수집에서 되돌릴 수 없는 선택은 딱 하나뿐이고, 그건 도구 선택이 아닙니다. 도구는 언제든 갈아탈 수 있습니다. 하지만 놓친 기간의 데이터는 소급되지 않습니다. 3줄...
"경쟁사 데이터도 우리 대시보드에서 보고 싶다"가 데이터팀에 도착하면 사내 소스는 안정적입니다. 스키마를 우리가 통제하고, 변경은 릴리스 노트로 예고되며, 실패해도 재처리 절차가 있습니다. 그런데 경영진과 현업이 "경쟁사 가격, 리뷰, 시장 데이터도 같은 대시보드에서 보고 싶다"고 요구하는 순간, 통제권 밖의 소스를 파이프라인에 붙여야 하는 문제가 생...
새벽 3시, 파서를 고치는 사람 오케스트레이터에 빨간 태스크가 없습니다. 재시도 카운트도 깨끗하고, dbt run은 초록불로 끝났고, 데이터 품질 테스트도 다 통과했습니다. 그런데 아침에 출근한 현업이 묻습니다. "어제 평균가가 왜 이렇게 떨어졌어요?" 로그를 열어 봐도 예외가 없습니다. 파서가 죽지 않았거든요. 대상 사이트가 어느 영역을 예고 없이 ...
해시스크래퍼 기술 블로그의 새 글이 발행되면 이메일로 알려드립니다.
이메일은 새 글 알림에만 사용됩니다.
