"일단 데이터가 필요하다"는 정해졌는데, 그다음이 막힐 때 AI든 대시보드든 시장 분석이든, 외부 데이터가 필요하다는 데까지는 조직 안에서 합의가 됩니다. 문제는 그다음입니다. "그래서 그 데이터를 어떻게 확보하지?" — 데이터 상품을 사야 할지, 우리가 직접 수집 시스템을 만들어야 할지, 전문 업체에 맡겨야 할지. 판단 기준이 없으면 품의를 올리기 ...
"직접 해보려 했는데, 안 되더라고요" 상담에서 가장 많이 듣는 말입니다. 무료 툴도 써 봤고, 개발 좀 하는 동료에게 부탁도 해 봤고, 요즘은 AI한테 코드도 짜 보게 했는데 — 어느 지점에선가 막혀서 오셨다는 이야기죠. 흥미로운 건, 그 "안 되더라"의 내용이 다들 비슷하다는 점입니다. 크롤링 프로젝트가 무너지는 지점은 대체로 정해져 있고, 심지어...
"데모는 됐는데, 운영이 안 됩니다" DX 다음은 AX(AI 전환)라며, 지난 1년 많은 기업이 AI PoC를 돌렸습니다. 사내 문서로 챗봇을 만들고, 회의록을 요약하고, 리포트 초안을 뽑아 봤죠. 데모는 대체로 성공했습니다. 그런데 경영진에게 "운영 중인 AI 사례"를 보여줄 때가 되면, 대부분 같은 자리에서 멈춰 있습니다. 원인을 모델에서 찾는 경...
"ChatGPT한테 시키면 되지 않나요?" 요즘 데이터 수집을 검토하는 분들이 가장 많이 하는 질문입니다. 맞는 질문이에요. ChatGPT나 Claude에게 "이 사이트에서 상품명과 가격을 수집하는 파이썬 코드를 짜줘"라고 하면, 몇 분 안에 꽤 그럴듯한 크롤러 코드가 나옵니다. 몇 년 전이라면 개발자를 붙여야 했던 일이죠. 그래서 이 글은 "AI로는...
화면에는 다 보이는데, 엑셀로 옮기려니 막막할 때 경쟁사 가격, 상품 리뷰, 업체 목록, 뉴스 기사 — 필요한 정보가 웹 화면에 다 보이는데, 정작 분석하려고 엑셀로 옮기려면 막막합니다. 한두 페이지면 복사하면 되지만, 수백 페이지라면 이야기가 다르죠. 이렇게 웹사이트에 공개된 정보를 표 형태의 데이터로 옮기는 일을 웹 데이터 추출(웹 크롤링, 웹 스...
뭘 준비해서 문의해야 하나요? 크롤링 외주를 처음 검토하는 분들이 가장 많이 머뭇거리는 지점은 의외로 문의 그 자체입니다. "기술을 모르는데 어떻게 설명하지", "뭘 정해 놓고 연락해야 하지" 하다가 검토가 몇 주씩 밀리곤 합니다. 결론부터 말하면, 완벽하게 준비해서 문의할 필요는 없습니다. 요건은 문의 이후 함께 정리하는 게 보통이고, 그 과정 자체...
크롤링, 생각보다 비싸지 않았나요 크롤링 외주를 1년쯤 운영해 본 분들이 공통으로 하는 말이 있습니다. "견적보다 훨씬 많이 나갔다." 계약할 때 받은 금액도 만만치 않았는데, 운영을 시작하니 거기서 끝이 아니었던 겁니다. 사이트를 추가할 때마다 개발비가 다시 나오고, 사이트가 바뀌어 수집이 멈추면 유지보수비가 건당 붙습니다. 전부 처음 견적서에는 적...
모니터링을 시작했는데, 아무 일도 일어나지 않는다 가격 모니터링이든 평판 모니터링이든, 시작하고 몇 주가 지나면 이런 상태가 되는 조직이 있습니다. 데이터는 매일 정확하게 들어오는데, 그 데이터 때문에 누군가 움직인 적은 없는 상태. 최저가가 무너졌는데 2주 뒤에 알았고, 별점이 떨어지고 있었는데 분기 보고서에서 처음 봤다면 — 모니터링이 아니라 기록...
리뷰 3만 건을 모았는데, 아무도 읽지 않는다 리뷰 데이터 수집은 성공했는데 활용에서 막히는 경우가 많습니다. 채널마다 흩어진 리뷰를 자동으로 모으는 데까지는 왔는데, 월 수천~수만 건씩 쌓이는 텍스트를 읽을 사람이 없는 거죠. 결국 담당자가 가끔 최신 리뷰 몇 페이지를 훑어보는 수준에서 멈춥니다. 리뷰는 고객이 돈과 시간을 들여 남긴 피드백(VOC)...
해시스크래퍼 기술 블로그의 새 글이 발행되면 이메일로 알려드립니다.
이메일은 새 글 알림에만 사용됩니다.
