¿Qué es un crawler o araña web?
Es un software automatizado que de manera sistemática va inspeccionando y rastreando todas las páginas de Internet para indexarlas y posicionarlas en el buscador.
La Araña Web empieza con unas pocas URL’S iniciales, llamadas web semilla y va descubriendo las páginas web enlazadas a nuestro sitio web y rastreando estas.
Recolecta y añade URL´s a la lista para procesarlas e indexarlas posteriormente.
¿Cómo actúa un crawler cuando visita un sitio web?
El Cwarler utiliza el archivo robots.txt y la meta etiqueta para recoger la información que el propietario de la Web ha dejado, como páginas que quiere que ignore, páginas no index, etc…
Rastrea el contenido e hipervínculos. Con esta información, crea una estructura de tu sitio web con todas las páginas web que existen.
Araña Web de Google Bot
Es el crawler de Google más famoso en Internet. Este rastrea e indexa todo el contenido nuevo o actualizado de Internet. Una vez indexado, lo posiciona y clasifica en un orden según la relevancia y utilidad que tenga para el usuario.
Podemos enviar directamente nuestra página a Google para que la indexe en la herramienta Search Console. Cuanta más autoridad tenga tu sitio Web, con más frecuencia pasara el bot de Google.
Este bot solo lee el código fuente de la página, por lo que deberemos optimizar y diseñar nuestro sitio Web para este robot. Es un factor imprescindible si queremos posicionarnos en los primeros resultados de búsquedas, es decir, las SERPS.
