디시인사이드 크롤링을 처음 시작한다면 기본 수집 방법부터 확인하세요. 이 글은 이미 기초를 알고 있는 분을 위한 심화 가이드 입니다. 갤러리별 키워드 검색 수집, 실시간 게시글 모니터링 자동화, 감정분석 활용, 그리고 수십 번의 요청 후 어김없이 찾아오는 IP 차단 문제까지 — 실무에서 반드시 마주치는 주제를 순서대로 다룹니다. 기본 수집 방법이 궁금...
웹 크롤링을 처음 시작할 때 대부분 CSS Selector를 먼저 배웁니다. 그런데 실전에서 조금 복잡한 페이지를 만나면 CSS Selector만으로는 원하는 요소를 집어내기 어려운 상황이 생깁니다. 특정 텍스트를 포함한 요소만 선택하거나, 특정 자식 요소를 가진 부모 노드를 역으로 찾거나, 조건부 필터링을 해야 할 때입니다. 이럴 때 필요한 것이 X...
새로운 시장, 데이터 없이 진출하시겠습니까? 북미 시장에 진출하려는데, 현지 소비자들이 뭘 원하는지 모르겠어요. 해외 시장 진출을 준비하는 기업이라면 이런 고민을 해봤을 겁니다. 현지 소비자의 취향, 경쟁사 제품의 강점과 약점, 시장의 트렌드 — 이런 정보 없이 진출하는 건 감으로 승부하는 것과 다름없습니다. 기존 방식으로는 이런 한계가 있습니다. 시...
해시태그 이벤트는 많이 하는데, 성과 측정은? #해시태그와 함께 게시물을 올려주시면 추첨을 통해 선물을 드립니다! 인스타그램에서 흔히 볼 수 있는 이벤트 방식입니다. 참여 장벽이 낮고 자연스러운 바이럴을 유도할 수 있어 많은 브랜드가 활용하고 있죠. 그런데 이벤트가 끝나고 나면 이런 질문이 남습니다. 실제로 몇 명이 참여했지? 어떤 유형의 사용자들이 ...
해외에서 어떤 제품이 잘 팔리는지 어떻게 파악하고 계신가요? 미국에서 요즘 어떤 소스가 인기인지 알고 싶은데, 아마존 들어가서 일일이 찾아보기가 어려워요. 식음료 제조사라면 해외 시장 트렌드가 궁금할 겁니다. 아마존, 트레이더조, 홀푸드 같은 해외 이커머스에서 어떤 제품이 상위에 노출되는지, 인기 제품의 성분 구성은 어떤지 — 이런 정보가 신제품 기획...
보험사기, 사후 적발보다 사전 탐지가 중요합니다 보험금 청구 후에야 사기인 걸 알았는데, 이미 지급한 뒤였어요. 보험사기는 해마다 증가하고 있습니다. 특히 브로커, 병원, 내부 직원이 결탁하는 조직적 사기는 피해 규모가 크고, 사후에 적발해도 회수가 어렵습니다. 보험사 입장에서는 이런 고민이 생깁니다. 어떤 병원에서 비정상적인 청구가 많이 발생하는지 ...
"스크래치"가 마루 선택의 핵심 키워드였습니다 SNS와 인테리어 커뮤니티에서 마루 관련 게시글 수만 건을 분석한 결과, 흥미로운 패턴이 발견되었습니다. 가장 많이 언급된 키워드 TOP 5 | 순위 | 키워드 | 언급 비율 | 감정 | |------|--------|----------|------| | 1 | 스크래치 | 34% | 부정 73% | | ...
요즘 뭐가 뜨는지 어떻게 파악하고 계신가요? 유튜브에서 요즘 어떤 화장품이 언급되는지 알고 싶은데, 영상을 다 볼 수가 없어요. 뷰티 업계에서 트렌드는 빠르게 바뀝니다. 유튜브에서 뷰티 크리에이터들이 추천하는 제품이 곧 히트 상품이 되기도 하죠. 문제는 이 흐름을 따라가기가 쉽지 않다는 겁니다. 결국 이런 상황이 생깁니다. "화장품 신상 추천" 영상이...
OEM 제품, 해외에서 어떻게 팔리고 있는지 알고 계신가요? 우리 제품이 아마존에서 팔리고 있는데, 어떤 셀러가 얼마에 파는지 모르겠어요. OEM 방식으로 해외에 제품을 공급하는 기업이라면 한 번쯤 이런 고민을 해봤을 겁니다. 제품은 납품했는데, 실제로 어느 나라에서 누가 판매하고 있는지, 가격은 적정한지, 소비자 반응은 어떤지 — 정작 알기 어렵습니...
해시스크래퍼 기술 블로그의 새 글이 발행되면 이메일로 알려드립니다.
이메일은 새 글 알림에만 사용됩니다.
