1. Algunas cosas a tener en cuenta al hacer crawling que todos deberían intentar
Recientemente, el crawling se ha vuelto una parte esencial de los programas de educación en software ofrecidos en academias y sitios de educación en línea.
El crawling es una técnica que se utiliza incluso en los cursos de análisis de big data, pero a menudo, si se hace de manera descuidada, uno puede terminar sin recopilar ni siquiera el 10% de los datos deseados a pesar de haber invertido mucho tiempo en su desarrollo, lo que podría llevar a fracasos inesperados.
Así que primero, vamos a aprender sobre el crawling, por qué se argumenta que solo se recopila el 10% de los datos, y cómo se puede resolver este problema.
Anuncio de educación sobre crawling
¿Qué es el crawling?
El crawling o scraping es el acto de traer una página web tal como está y extraer datos de ella. El software utilizado para crawling se llama crawler.
Ahora, veamos qué debemos tener en cuenta al desarrollar un crawler.
1) ¿Es Python la mejor opción?
Dado que Python se utiliza ampliamente en el análisis de datos, la mayoría de los materiales y programas educativos utilizan Python para crear crawlers. Sin embargo, no es necesario usar Python obligatoriamente. En nuestra empresa, Hashscraper, lo estamos desarrollando en Ruby.
Siempre y cuando se logre el objetivo, no importa qué herramienta se utilice, pero creo que elegir Python, que es ampliamente utilizado, es una buena elección. En esta era en la que "saber dónde" es más importante que "saber cómo", elegir un lenguaje que facilite la resolución de problemas a través de búsquedas es una elección inteligente. (Aunque personalmente elegí Ruby por ser más fácil y conveniente)
2) Bloqueo de IP
Al leer libros, escribir diligentemente y comprender para crear un crawler, al principio todo funciona bien. Sin embargo, al recopilar datos de sitios web de gran escala, te encontrarás con situaciones como las siguientes:
- Bloqueo de acceso
- Solicitudes de inicio de sesión
- CAPTCHA
- Redirección a páginas incorrectas
Dado que los servidores web conocen tu IP, si solicitas páginas web con demasiada frecuencia, tu IP puede ser bloqueada durante un tiempo.
¿Cómo se puede resolver el bloqueo de IP? Necesitas más IPs. Es una solución simple pero difícil de implementar en la práctica.
Por lo tanto, desde hace unos 3 años, Hashscraper ha estado utilizando múltiples instancias de AWS EC2 para recopilar datos. Además, dependiendo de la cantidad de datos a recopilar, aplicamos la tecnología de AutoScaling para aumentar y disminuir automáticamente el número de servidores.
Además, los servidores que fallan repetidamente se apagan por sí mismos y se crean nuevas instancias para asignar nuevas IPs y utilizarlas.
3) Distribución de IPs
Hay muchos lugares que utilizan EC2, como Hashscraper, para hacer crawling, y algunos servidores específicos han bloqueado toda la gama de IPs de EC2. Por lo tanto, aseguramos IPs "limpias" a través de proveedores de alojamiento nacionales y, si es necesario, utilizamos servidores de IP proxy.
2. Conclusión
Para tareas como la recopilación de datos para informes o asignaciones, crear un crawler básico es suficiente.
Sin embargo, si deseas utilizarlo para actividades comerciales (marketing, análisis de tendencias, datos básicos de la plataforma, búsqueda de influencers, etc.), te recomendamos que establezcas un sistema de crawling adecuado.
Lee también:
Automatiza la recopilación de datos ahora
Comienza en 5 minutos sin necesidad de programación · Experiencia en recopilación de datos de más de 5,000 sitios web
