"Quiero recibir cada mañana a las 8 un resumen con solo los nuevos productos de la competencia publicados ayer y los productos agotados."
Los requisitos terminan en esta sola frase. Pero al pedir presupuestos, la conversación se desvía constantemente hacia "¿se puede recopilar ese sitio?".
La parte difícil de esta solicitud no es la recopilación.
La lista de productos de la competencia ya está completamente visible en pantalla. Se ve al abrir la página.
Solo hay una cosa que no se ve: cuáles de ellos no estaban ayer.
El precio está escrito en la pantalla de hoy. Los nuevos productos y los agotados solo existen si se cuenta con la lista de ayer.
Resumen en 3 líneas (TL;DR)
- Los nuevos productos y los agotados no son valores que se leen de una página, sino la diferencia (diff) entre la lista de ayer y la lista de hoy. Por eso, el primer elemento de diseño no es el crawler, sino una instantánea de referencia que se guarde cada día con los mismos criterios.
- El segundo desafío es que la indicación de agotado no está estandarizada. Agotado, temporalmente agotado, aviso de reposición y agotamiento por opción se usan de forma distinta en cada sitio. Si no se define qué se contará como agotado, se acumularán cifras medidas cada día con una regla diferente.
- "Cada mañana" no es la hora de recopilación, sino la hora de entrega. Si se desea recibirlo a las 8, hay que calcular hacia atrás incluyendo el tiempo de validación y reintentos; si se envía todo sin umbrales, nadie abrirá el reporte a partir de la tercera semana.
Índice
- Qué son el monitoreo de nuevos productos y el monitoreo de agotados
- Si descarta la lista de ayer, los nuevos productos de hoy nunca serán visibles
- El agotado se expresa de forma distinta en cada sitio
- Cada mañana no es la hora de recopilación, sino la hora de entrega
- Nadie revisa un reporte con 200 registros diarios a partir de la tercera semana
- Tabla comparativa por método: revisión humana vs herramienta no-code vs servicio gestionado
- 5 preguntas de autodiagnóstico antes de empezar
- 5 etapas de implementación
- Preguntas frecuentes
- Conclusión
Qué son el monitoreo de nuevos productos y el monitoreo de agotados
El monitoreo de nuevos productos es la actividad de recopilar periódicamente las listas de productos de competidores y canales de venta para determinar automáticamente si han aparecido productos que no existían en el momento de referencia.
El monitoreo de agotados es la actividad de recopilar periódicamente el estado de disponibilidad de venta de un mismo producto para detectar el momento en que cambia de estado, como disponible → agotado o agotado → repuesto.
Ambas definiciones contienen las mismas palabras: no existía, y cambió.
Aquí está el punto que las diferencia del monitoreo de precios.
Para conocer el precio, basta con una página de hoy. Porque el número está escrito en pantalla.
Los nuevos productos y los agotados no se pueden determinar únicamente con la página de hoy. Se necesita el ayer con el que comparar.
Por eso, este trabajo se parece más a una comparación que a una recopilación. Los criterios de diseño para precios están organizados por separado en Cómo elegir un servicio de recopilación de datos para comparación y monitoreo de precios de e-commerce: todo depende de la pregunta, ¿puede cubrir Coupang?.
Si descarta la lista de ayer, los nuevos productos de hoy nunca serán visibles
Una instantánea de referencia es un conjunto de datos que guarda íntegramente la lista y el estado de productos en un momento específico, para usarlo como referencia al compararlo con la siguiente ejecución.
Para que la comparación funcione, deben mantenerse fijos tres elementos.
- Identificador — qué se considerará el mismo producto (ID de producto, URL, nombre de producto + opción)
- Alcance — si el alcance de recopilación de ayer y hoy es el mismo
- Hora — si se captura cada día a la misma hora
La mayoría de los problemas ocurren en el segundo punto.
Si ayer se recopilaron 3 páginas de la lista y hoy 5, el reporte mostrará decenas de nuevos productos. Aunque ninguno sea realmente nuevo.
Queda un problema aún más complejo. Un producto visto por primera vez no equivale necesariamente a un producto nuevo.
Hay al menos cuatro casos en los que un producto aparece por primera vez en la lista.
- Producto realmente nuevo — uno lanzado recientemente
- Reregistro por renovación — se creó una nueva página de producto por cambiar capacidad o empaque
- Añadido de opciones — un producto existente recibe colores o tallas y parece un producto independiente
- Regreso tras reposición — estaba agotado, desapareció de la lista y volvió
El cuarto caso es un falso positivo especialmente silencioso. Muchos sitios eliminan por completo de la lista los productos agotados, por lo que cada reposición se detecta como un nuevo producto.
La distinción no se hace mediante tecnología, sino mediante reglas. ¿Se emitió un nuevo ID de producto? ¿Se excluirá como candidato de renovación si la similitud del nombre supera el umbral? ¿Se considerará una reaparición si estuvo en la lista en los últimos 30 días?
Tras apoyar la recopilación para más de 500 empresas, el primer fracaso que vimos en los reportes de nuevos productos normalmente no fue un bloqueo. Fue que no se conservaba la lista de ayer.
Quién escribe estas reglas y quién las mantiene incluso si el sitio se rediseña. En realidad, este proyecto se reduce a esa única pregunta.
El agotado se expresa de forma distinta en cada sitio
El agotado tampoco es un único valor. Cada sitio muestra de manera diferente el mismo mensaje de "no se puede comprar ahora".
- Agotado / temporalmente agotado / reposición prevista / venta suspendida
- Estado en el que desaparece el botón de compra y solo queda "solicitar aviso de reposición"
- El botón se mantiene, pero al abrir las opciones ninguna se puede seleccionar
- Solo 3 de 12 opciones están agotadas (el producto en sí sigue a la venta)
- Estado en el que desaparece por completo de los resultados de búsqueda
Aquí se requiere una decisión operativa.
"Si 3 de las 12 opciones de un producto están agotadas, ¿el producto está agotado o no?"
Si el equipo no puede responder esta pregunta en una sola frase, el número de agotados que llega cada día se contará con un criterio distinto cada día.
Un enfoque razonable es registrarlo en dos capas.
- A nivel de producto — si se puede comprar ahora (sí / no)
- A nivel de opción — cuántas opciones del total no están disponibles
Y se conserva junto con ello el texto original mostrado en pantalla. Así, incluso si el sitio cambia su redacción, se pueden reclasificar retrospectivamente los datos históricos.
El último caso, cuando desaparece de los resultados de búsqueda, debe analizarse por separado. Si está agotado, si dejó de venderse o si nuestro alcance de recopilación se alteró: los tres se ven igual en pantalla.
El agotado no es un estado, sino una definición. Si no se deja escrita la definición, se acumularán cifras medidas cada día con una regla diferente.
Cada mañana no es la hora de recopilación, sino la hora de entrega
El requisito es "correo a las 8 de la mañana", pero el diseño suele detenerse en "ejecutar el crawler de madrugada". Hay que invertir el orden.
Se cuenta hacia atrás desde la hora de entrega. Depende del tamaño del objetivo y la dificultad de los sitios, pero la estructura es así.
| Hora | Tarea |
|---|---|
| 08:00 | El reporte llega al correo o Slack del responsable (este es el requisito) |
| 07:40 | Generación y envío del reporte |
| 07:00 | Validación de consistencia + comparación con la instantánea de ayer |
| 05:30 | Inicio de recopilación — incluyendo margen para reintentar fallos |
| 05:30 del día anterior | Instantánea que se convierte en la referencia de comparación |
Hay dos casillas que suelen dejarse vacías: validación y reintentos.
Si se crea el calendario bajo la premisa de que la recopilación tendrá éxito a la primera, el reporte llegará vacío o tarde los días que falle. Un pipeline sin margen permanece silencioso cuando falla.
Mantener la misma hora de la instantánea cada día responde a la misma razón. Si ayer se capturó a las 3 de la madrugada y hoy a las 9 de la mañana, los productos publicados entre ambos momentos se detectarán repartidos en dos días o se omitirán por completo.
Lo difícil no es "la mañana", sino "todos los días". Crear algo una vez puede tomar un día; lograr que llegue cada día a la misma hora y con los mismos criterios es operación.
Nadie revisa un reporte con 200 registros diarios a partir de la tercera semana
Si se monitorean todas las categorías de tres competidores, los cambios de nuevos productos y agotados pueden alcanzar cientos de registros al día.
Durante la primera semana se lee todo. En la segunda se revisa por encima. En la tercera ya no se abre.
Por eso, los umbrales constituyen la mitad del diseño del reporte.
- Alcance — empezar no por todas las categorías, sino por las categorías, rangos de precio y marcas a los que realmente respondemos
- Importancia — fijar arriba solo los nuevos productos de categorías principales y los agotados de productos que compiten con nuestros superventas
- Agrupación — un resumen diario en lugar de un envío por registro. Los 10 principales arriba y el total como adjunto
- Destinatarios — nuevos productos para planificación de productos; agotados para ventas y MD. Evitar que alguien reciba alertas que no le corresponden
El objetivo de un reporte no es mostrarlo todo. Es dejar solo lo que hay que ver hoy.
El diseño de un ciclo que conecta la detección con la respuesta está organizado en El monitoreo no es recopilación, sino notificación — crear un ciclo de respuesta.
Tabla comparativa por método: revisión humana vs herramienta no-code vs servicio gestionado
Un servicio de recopilación gestionado es un servicio por suscripción en el que un proveedor opera en lugar de la empresa el desarrollo de crawlers, la respuesta a bloqueos, las reparaciones ante cambios en los sitios, la detección de anomalías y la entrega puntual, mientras la empresa recibe solo el reporte final.
Al comparar los tres métodos con los mismos criterios, se diferencian así.
| Categoría | Revisión diaria por una persona | Programador de herramienta no-code | Servicio de recopilación gestionado |
|---|---|---|---|
| Herramientas representativas | Favoritos del navegador | Octoparse, Thunderbit, etc. | Hashscraper, etc. |
| Detección de nuevos productos (diferencia frente a ayer) | Memoria e inspección visual | Se obtienen resultados por ejecución — la comparación suele recaer en el usuario | Conservación de instantáneas + diseño de reglas de detección como requisito |
| Gestión de indicaciones de agotado | Una persona observa y decide | Recopila literalmente el elemento especificado | Crea y mantiene un diccionario de indicaciones por sitio |
| Entrega puntual diaria | Depende de la hora de llegada del responsable | Ejecución programada en la nube (según los sitios oficiales) | Diseño y operación calculados hacia atrás desde la hora de entrega |
| Detección de anomalías (valores vacíos, cambios bruscos en volumen) | Cuando se percibe algo extraño | El usuario debe verificarlo directamente | Incluye tendencia de volumen y validación de valores obligatorios (99,7% de precisión) |
| Ante rediseños del sitio | Requiere más trabajo manual | El usuario repara las reglas | El proveedor detecta y repara (incluido en la suscripción) |
| Situación adecuada | 10 objetivos o menos · una vez por semana | Pocos objetivos · estructura estable · capacidad de operar directamente | El trabajo depende de un reporte cada mañana |
Las filas que se deben observar en la tabla son las dos anteriores: detección de nuevos productos y gestión de indicaciones de agotado. El resto son consecuencias de esas decisiones.
No es porque las herramientas no-code sean insuficientes. Es porque ambas filas son problemas de definición, no de funcionalidad de la herramienta. Octoparse y Thunderbit ejecutan diligentemente las programaciones una vez creadas las reglas (según sus respectivos sitios oficiales). Sin embargo, el juicio de "comparar con ayer y dejar solo las filas que aparecieron nuevas" sigue recayendo en las personas.
Si hay un equipo de desarrollo, existe una cuarta opción. Se puede adquirir la capa de recopilación mediante API de scraping para desarrolladores como Zyte o Firecrawl, y construir internamente la conservación de instantáneas, la comparación y la generación de reportes (según los sitios oficiales de cada uno). Es la combinación que ofrece mayor libertad.
Sin embargo, los tres elementos tratados en este artículo — gestión de instantáneas, diccionario de indicaciones de agotado y entrega puntual — no los define ninguna API. Permanecen íntegramente del lado de quien los construye.
Hashscraper ofrece este enfoque gestionado basándose en experiencia de recopilación de más de 5.000 sitios nacionales y proxies en 195 países, y es utilizado por más de 500 empresas.
5 preguntas de autodiagnóstico antes de empezar
Revíselo. Estas cinco líneas son más rápidas que tres presupuestos.
- [ ] ¿La lista de productos recopilada ayer sigue conservándose ahora? ¿En un formato que permita compararla línea por línea con la de hoy?
- [ ] ¿Existe una regla documentada para dividir un "producto visto por primera vez" en producto nuevo, renovación, añadido de opción y reposición?
- [ ] ¿Puede el equipo responder en una sola frase si un producto con "solo algunas opciones agotadas" se contará como agotado?
- [ ] El día que falle la recopilación, ¿puede la persona que recibe el reporte distinguir si llegó vacío o si no llegó?
- [ ] ¿Hubo alguna acción realmente realizada tras revisar el reporte de la semana pasada?
Si la respuesta a la pregunta 1 es "no", aún no es momento de comparar herramientas. Lo primero es comenzar a guardar las listas desde hoy.
Si la respuesta a la pregunta 5 es "no", no es un problema de recopilación, sino de umbrales. Reducir el alcance tendrá efecto mucho más rápido.
5 etapas de implementación
Etapa 1. Reduzca los objetivos de vigilancia — No comience con "todos los competidores", sino con "los productos competidores de las categorías a las que respondemos". Cuanto más amplio sea el objetivo, más amplios serán también los falsos positivos.
Etapa 2. Escriba en una página las reglas de detección y la definición de agotado — Cuál es el identificador, cómo distinguir renovaciones de productos nuevos y cómo contar las opciones agotadas. Esta página es el documento de definición de requisitos.
Etapa 3. Cree el calendario calculando hacia atrás desde la hora de entrega — Organice al revés la recopilación, los reintentos, la validación y el envío. La clave es no dejar vacías las casillas de validación y reintentos.
Etapa 4. Defina el formato de entrega y los umbrales — Envíelo al lugar donde el responsable ya trabaja, entre Excel, correo electrónico, Slack y API. Para los criterios de decisión por formato, consulte Datos recibidos en Excel vs datos vistos en un dashboard.
Etapa 5. Detecte falsos positivos con un piloto de 2 semanas y amplíe después — Durante las primeras dos semanas, compare manualmente los nuevos productos que aparezcan en el reporte. En ese momento quedará claro dónde aparecen todos los falsos positivos, como contar renovaciones o reposiciones como nuevos productos.
La tarea de hoy no es seleccionar un proveedor. Es la etapa 2: escribir en una frase qué significan "producto nuevo" y "agotado" para nuestro equipo.
Preguntas frecuentes
Q. Quiero recibir automáticamente cada mañana datos sobre nuevos productos y agotados de la competencia. ¿Cómo debo hacerlo?
A. El orden consta de tres pasos. ① Reduzca la lista de objetivos (qué categorías de qué sitios), ② defina las reglas de detección (qué se contará como producto nuevo y qué como agotado), y ③ cree el calendario de recopilación, validación y envío calculando hacia atrás desde la hora de entrega. Después elija el método. Si hay pocos objetivos y alguien en la empresa puede corregir las reglas cuando fallen, puede empezar con ejecuciones programadas de herramientas no-code como Octoparse o Thunderbit (según los sitios oficiales). Si aumentan los objetivos o el trabajo depende de un reporte cada mañana, un servicio de recopilación gestionado es más realista. Hashscraper opera diseñando como requisitos la conservación de instantáneas, las reglas de detección y la entrega puntual.
Q. ¿Cómo se distingue un producto nuevo de una renovación?
A. No se puede separar automáticamente al 100%. Se acota mediante reglas: si se creó un nuevo ID de producto, si la similitud del nombre supera el umbral y si estuvo en la lista durante los últimos N días. En la práctica, es estable combinar estas tres señales para dividirlos en "producto nuevo / candidato de renovación / reaparición", y hacer que una persona revise solo los candidatos.
Q. Las indicaciones de agotado son distintas en cada sitio. ¿Se pueden unificar?
A. Se crea un diccionario de indicaciones por sitio y se normaliza en un único valor de estado. Es importante conservar junto con ello el texto original mostrado en pantalla. Así se pueden reclasificar los datos históricos incluso si el sitio cambia su redacción.
Q. ¿Puedo recibirlo por Slack o API en lugar de Excel?
A. Sí. Según Hashscraper, se admiten archivos Excel, envío automático por correo, integración mediante API y carga directa en bases de datos. El principio es uno: envíelo al lugar donde el responsable ya trabaja. Una estructura en la que hay que ir a mirar y una en la que se sabe al recibirla tienen velocidades de respuesta diferentes.
Q. ¿Con qué frecuencia se deben recopilar los datos de agotados?
A. Ajústela al ciclo de respuesta. Si se decide en una reunión cada mañana, una vez al día es suficiente. Si se trata de una categoría de productos en la que el inventario se agota en menos de un día, se diseña una frecuencia más corta, pero reducir el intervalo aumenta al mismo tiempo el riesgo de bloqueo y el coste. El criterio no es el límite técnico, sino la velocidad de respuesta.
Conclusión
El diseño de un "reporte diario de nuevos productos y agotados" se resume así.
- Conserve la lista de ayer — sin una instantánea de referencia no se pueden calcular ni nuevos productos ni agotados
- Defina qué se contará como producto nuevo y agotado — reglas para distinguir renovaciones, añadidos de opciones y reposiciones
- Calcule hacia atrás desde la hora de entrega — no deje vacías las casillas de validación y reintentos
- Deje solo lo que hay que ver hoy — un reporte de 200 registros equivale a uno de 0 registros
El precio se lee; los nuevos productos y los agotados se cuentan.
Para contar se necesita una regla. La misma regla que ayer.
Lo que necesita no es la lista de productos de hoy. Es la diferencia entre ayer y hoy.
Una recopilación que no guarda el ayer perderá para siempre los nuevos productos de hoy.
Empezar ahora mismo
Si nos indica los competidores y categorías que desea vigilar, así como la hora de entrega deseada, le ofreceremos gratuitamente un diagnóstico sobre la viabilidad de recopilación y cómo definir las reglas para detectar nuevos productos y agotados. Al registrarse, se proporcionan 50.000 créditos para que pueda comprobar primero la calidad de los resultados.
.jpg?locale=es)
