"일단 견적은 받았는데, 뭘 기준으로 골라야 하죠?" 웹 데이터가 필요해 크롤링 업체를 찾다 보면, 비슷비슷한 견적서 앞에서 막막해집니다. 가격만 보고 저렴한 곳에 맡겼다가 몇 달 뒤 이런 상황을 겪는 경우가 적지 않습니다. 잘 되던 수집이 어느 날 멈췄는데, 원인 파악에 며칠이 걸린다 사이트가 바뀔 때마다 "수정 비용"이 따로 청구된다 데이터는 받았...
내부 크롤링 팀, 1년 뒤에는 어떤 일을 하고 있을까요? "크롤러 하나 만드는 건 금방인데, 유지보수하다 보면 개발자 한 명이 통째로 묶여요." 데이터가 비즈니스의 핵심 자산이 된 시대, 많은 대기업이 야심 차게 자체 데이터 수집(Crawling) 팀을 꾸립니다. 하지만 1년 뒤, 그 팀의 엔지니어들은 분석이 아닌 'IP 차단'과 '캡차(CAPTCHA...
"독일 매출이 왜 빠졌지?"에 아무도 답하지 못한 회의 분기 글로벌 마케팅 리뷰 회의를 떠올려 봅니다. 독일 매출이 눈에 띄게 빠졌습니다. 원인을 묻자 애널리스트가 독일어 리뷰 스무 개를 번역기에 돌려 읽고 "가격 경쟁력 문제인 듯하다"고 적어 왔죠. 그 한 줄에 근거해 할인 예산이 늘었습니다. 몇 주 뒤 다시 들여다보니, 실제 불만의 다수는 가격이 ...
우리 제품, 지금 어느 채널에서 누가 얼마에 팔고 있나요? 브랜드사에게 온라인 판매 채널은 하나가 아닙니다. 오픈마켓, 백화점몰, 아울렛, 편집샵, 홈쇼핑까지 수십 곳에 자사 제품이 동시에 올라와 있죠. 문제는 채널마다 가격도, 판매하는 곳도 제각각이라는 점입니다. 같은 품번인데 채널마다 판매가가 다르고, 어디가 최저가인지 한눈에 안 보인다 공급한 적...
어제는 최저가였는데, 오늘도 그럴까요? 우리 제품이 지금 최저가인지, 아침마다 쇼핑몰을 하나씩 열어 확인합니다. 가격 경쟁이 치열한 이커머스에서 흔한 풍경입니다. 담당자가 매일 쿠팡과 네이버 쇼핑을 돌며 자사 상품과 경쟁사 가격을 엑셀에 옮겨 적죠. 문제는 이 작업이 끝나는 순간 데이터가 이미 과거가 된다는 점입니다. 경쟁사가 어젯밤 가격을 내렸는데,...
디시인사이드 크롤링을 처음 시작한다면 기본 수집 방법부터 확인하세요. 이 글은 이미 기초를 알고 있는 분을 위한 심화 가이드 입니다. 갤러리별 키워드 검색 수집, 실시간 게시글 모니터링 자동화, 감정분석 활용, 그리고 수십 번의 요청 후 어김없이 찾아오는 IP 차단 문제까지 — 실무에서 반드시 마주치는 주제를 순서대로 다룹니다. 기본 수집 방법이 궁금...
웹 크롤링을 처음 시작할 때 대부분 CSS Selector를 먼저 배웁니다. 그런데 실전에서 조금 복잡한 페이지를 만나면 CSS Selector만으로는 원하는 요소를 집어내기 어려운 상황이 생깁니다. 특정 텍스트를 포함한 요소만 선택하거나, 특정 자식 요소를 가진 부모 노드를 역으로 찾거나, 조건부 필터링을 해야 할 때입니다. 이럴 때 필요한 것이 X...
새로운 시장, 데이터 없이 진출하시겠습니까? 북미 시장에 진출하려는데, 현지 소비자들이 뭘 원하는지 모르겠어요. 해외 시장 진출을 준비하는 기업이라면 이런 고민을 해봤을 겁니다. 현지 소비자의 취향, 경쟁사 제품의 강점과 약점, 시장의 트렌드 — 이런 정보 없이 진출하는 건 감으로 승부하는 것과 다름없습니다. 기존 방식으로는 이런 한계가 있습니다. 시...
해시태그 이벤트는 많이 하는데, 성과 측정은? #해시태그와 함께 게시물을 올려주시면 추첨을 통해 선물을 드립니다! 인스타그램에서 흔히 볼 수 있는 이벤트 방식입니다. 참여 장벽이 낮고 자연스러운 바이럴을 유도할 수 있어 많은 브랜드가 활용하고 있죠. 그런데 이벤트가 끝나고 나면 이런 질문이 남습니다. 실제로 몇 명이 참여했지? 어떤 유형의 사용자들이 ...
해시스크래퍼 기술 블로그의 새 글이 발행되면 이메일로 알려드립니다.
이메일은 새 글 알림에만 사용됩니다.
