"이 사이트 데이터를 모으고 싶은데, 봇 목록에는 없네요."
크롤링을 맡기려는 분들이 가장 자주 부딪히는 벽입니다. 코드를 짜자니 시간이 들고, 외주를 맡기자니 작은 일에 견적부터 받아야 합니다. 그래서 해시스크래퍼는 AI로 크롤링 봇을 만드는 기능을 베타로 열었습니다. 모을 사이트와 원하는 항목을 말로 설명하면 AI가 수집 방법을 만들고, 시범으로 모아 보여 주고, 사람이 확인한 뒤 봇으로 돌립니다. 이 글은 실제로 블로그 하나를 대상으로 봇을 만든 과정을 대화 순서대로 보여 드립니다.
정의. 노코드 크롤링은 코드를 쓰지 않고 웹페이지의 데이터를 모으는 방법입니다. 화면에서 항목을 클릭해 고르는 방식과, 원하는 것을 말로 설명하면 AI가 수집 방법을 만드는 방식이 있습니다.
정의. 해시스크래퍼의 "AI로 봇 만들기 (베타)"는 대화로 수집 방법(봇)을 만들고, 안전 검사와 관리자 확인을 거쳐 해시스크래퍼 서버에서 수집하는 기능입니다. 모은 데이터는 데이터셋으로 받습니다.
▲ 메뉴의 "AI로 봇 만들기 (베타)"에서 "새 봇 만들기"를 누르면 AI와의 대화가 열립니다.
TL;DR
- 주소와 원하는 항목을 말로 적으면 AI가 페이지를 읽고 목록 → 글 상세 → 여러 페이지까지 도는 봇을 만듭니다.
- 예로 해시스크래퍼 김경호 대표의 개인 블로그(bamchi.me)를 골라, 대화 몇 번 만에 봇을 만들고 약 1분 20초 동안 글 27건(제목·작성일·조회수·본문·주소)을 모았습니다.
- 만들기와 시범 수집은 무료, 수집은 1건에 기본 25 크레딧입니다. 로그인이 필요한 페이지·캡차·앱·개인정보는 만들 수 없습니다.
1. 주소 한 줄로 시작한다
처음 보낸 말은 이것뿐이었습니다.
Bamchi.me 블로그글 수집해
AI는 먼저 페이지를 직접 열어 봤습니다. 그리고 이렇게 답했습니다. "한 페이지에 글이 9개씩 있고, 여러 페이지로 나뉘어 있어요. 목록에는 글마다 제목·작성일·요약·글 주소가 있어요."
여기서 중요한 점은 사람이 HTML 구조를 설명하지 않았다는 것입니다. 어떤 태그에 제목이 있는지, 다음 페이지 주소가 어떻게 바뀌는지는 AI가 페이지를 읽고 알아냈습니다.
▲ 실제 대화 화면. 주소 한 줄을 보내자 AI가 페이지를 열어 보고, 무엇을 어떻게 모을지 먼저 묻습니다.
2. 목록만? 본문까지? — AI가 먼저 묻는다
AI는 바로 만들지 않고 방식을 물었습니다.
- 목록만 모으기 — 제목·작성일·요약·주소만 빠르게
- 본문까지 모으기 — 목록에서 글 주소를 모은 뒤, 글마다 들어가 본문 전체를 가져오기
2번을 고르자 다음 질문이 이어졌습니다. "몇 페이지까지 모을까요? 3페이지면 약 27개예요. 페이지 수를 수집할 때마다 바꿀 수 있게 해 드릴 수도 있어요." 그렇게 해 달라고 하자 "수집할 페이지 수"가 봇 설정값이 됐습니다. 이번 주는 1페이지, 다음 달엔 10페이지처럼 봇을 다시 만들지 않고 바꿔 쓸 수 있습니다.
목록에서 상세 페이지로 들어가는 2단계 크롤링, 페이지 넘김은 코드로 짤 때 가장 손이 많이 가는 부분입니다. 이 과정이 질문 두 번으로 끝났습니다.
3. 시범 수집으로 미리 본다
AI는 첫 페이지에서 글 5개를 시험으로 모아 보여 줬습니다.
| 제목 | 작성일 | 조회수 |
|---|---|---|
| GPT-5.6 Sol, 최강 모델의 함정 | 2026년 07월 13일 | 2,652 |
| 돈과 시간이 채워진 사람들이 가장 먼저 사는 것 — 차도 명품도 아니다 | 2026년 02월 17일 | 5,028 |
| 맥 미니 하나로 나만의 AI 비서를 만든 이야기 | 2026년 02월 02일 | 4,708 |
요청하지 않았던 조회수도 들어 있습니다. 글 페이지에 조회수가 있는 것을 보고 AI가 함께 넣자고 제안한 것입니다. 다음 페이지가 실제로 열리는지도 시범 수집 때 확인합니다.
▲ 시범 수집 결과를 대화로 보여 주고, "저장"이라고 답하면 수집 방법이 저장됩니다.
▲ 화면 오른쪽에는 시범 수집 표가 함께 뜹니다. 다음 페이지에서도 글 9개가 보이는지까지 확인했습니다.
결과가 마음에 들지 않으면 이 자리에서 말로 고치면 됩니다. "작성일은 빼 줘", "본문 대신 앞 200자만" 같은 식입니다.
4. 사람이 확인한 뒤에 돈다
저장 뒤 "관리자 검수 요청"을 누르면 바로 수집되지 않고 두 단계를 거칩니다.
- 안전 검사(1~3분) — 수집할 주소가 안전한지, 사이트의 수집 규칙(robots.txt)이 막지 않는지, 시범 결과에 개인정보로 보이는 값이 없는지, 한 번에 요청이 너무 많지 않은지를 봅니다. 이 봇은 "한 번에 약 30번 요청, 사이트당 1초 간격"으로 통과했습니다.
- 관리자 확인(보통 1영업일) — 사람이 수집 방법과 1건에 드는 크레딧을 확인하고 승인합니다.
▲ 승인되면 봇의 수집 방법·입력칸·건당 크레딧이 한눈에 보이고 "봇 열기"로 이어집니다.
AI가 만든 봇을 그대로 돌리지 않고 사람이 한 번 더 보는 이유는 간단합니다. 남의 사이트에 부담을 주거나, 모으면 안 되는 데이터를 모으는 봇이 나가지 않게 하기 위해서입니다. 이번 예는 대표 본인의 블로그라 문제가 없었지만, 수집할 사이트의 이용 조건과 관련 법을 지킬 책임은 봇을 만든 회원에게 있습니다.
5. 봇으로 수집 — 27건, 675 크레딧
승인 뒤 봇 화면에서 페이지 수 3을 넣고 수집을 시작했습니다.
▲ 봇 화면. 다른 크롤링 봇과 같은 화면에서 수집을 시작하고 결과를 봅니다.
- 수집 시간: 약 1분 20초
- 결과: 글 27건 (제목·작성일·조회수·본문·글 주소)
- 비용: 1건 25 크레딧 × 27건 = 675 크레딧
모은 데이터는 다른 봇과 똑같이 데이터셋으로 쌓여 엑셀로 내려받을 수 있습니다.
▲ 모은 글 27건이 데이터셋에 쌓였습니다. "엑셀 받기"로 내려받을 수 있습니다.
AI로 만들 수 있는 것과 없는 것
| 만들 수 있어요 | 만들 수 없어요 |
|---|---|
| 공개된 목록·게시판·상품 페이지 | 로그인해야 보이는 페이지 |
| 목록 → 상세 2단계, 여러 페이지 | 로봇 확인(캡차)이 뜨는 페이지 |
| "더 보기" 버튼·화면을 열어야 그려지는 페이지(브라우저로 열어 모음, 시간이 더 걸림) | 앱, 개인정보 |
차단이 심한 쇼핑몰이나 로그인·캡차가 있는 사이트는 AI 봇 대신 해시스크래퍼 개발자가 직접 수집기를 만드는 작업의뢰로 맡기시는 편이 맞습니다.
자주 묻는 질문
Q. 만드는 데 비용이 드나요?
만들기와 시범 수집은 무료입니다. 실제로 수집한 데이터만 1건에 기본 25 크레딧이 차감되고, 관리자가 확인한 뒤 달라지면 알림으로 알려 드립니다.
Q. 코드를 전혀 몰라도 되나요?
네. 주소와 원하는 항목만 말로 적으면 됩니다. "OO몰에서 샴푸를 검색해서 상품명·가격·리뷰 수를 모으고 싶어요"처럼 쓰시면 됩니다.
Q. 대화 내용은 어디로 가나요?
봇을 만들고 검수하기 위해 외부 AI 서비스 제공업체(미국)에 전송됩니다. 그래서 대화에 개인정보나 비밀번호는 적지 말아 달라고 안내합니다.
결론
크롤링 봇을 만드는 일은 지금까지 "페이지 구조를 읽고, 선택자를 고르고, 페이지 넘김을 짜는" 개발 작업이었습니다. AI로 봇 만들기는 이 일을 대화로 바꿉니다. 주소 한 줄로 시작해 질문 두 번에 답하고, 시범 결과를 보고, 사람이 확인한 봇으로 수집합니다. 아직 베타라 부족한 점이 있을 수 있습니다. 써 보시고 알려 주시면 빠르게 고치겠습니다.
지금 바로 시작하기
- 직접 만들어 보기: AI로 봇 만들기 (베타)
- 로그인·차단이 있는 사이트라면: 크롤링 문의하기
