Rastreo e indexación: así funciona Google

En este post veremos los básicos de SEO sobre cómo trabaja Google y sus arañas o bots.

Antes de meternos en faena con el SEO, debemos entender, al menos de forma básica cómo funciona Google*

*Hablo de Google porque es el buscador que mayoritariamente usamos en España.

¿Cómo trabaja Google?

Cuando lanzamos un proyecto al mundo digital, debemos tener en cuenta cómo funciona Google, al menos en su parte más básica si queremos hacer las cosas bien, así que vamos a hablar de dos procesos fundamentales a la hora de encontrar y mostrar las URLs de nuestra web en Google

Rastreo

Lo primero que hace Google es rastrear los sitios web que se dejen rastrear por Google (tú puedes esconder tu web a Google, aunque, eso quizá en nuestro caso sería un poco una locura).

El rastreo es el proceso en el que las arañas o bots de Google recorren todas las webs que están en internet para ver que hay en ellas (esas arañas viajan por medio de los enlaces que tiene una web) para posteriormente indexarlas.

¡Se viene ejemplo!

Imagina que el señor de páginas amarillas pasa por tu tienda y coge los datos de contacto y la información de tu negocio, si es que quieres dárselos. Ya veremos después que hace con esos datos.

A continuación Google indexa toda esa información en sus servidores y la organiza para posteriormente poder acceder a ella fácilmente (Vamos, como haría mi madre cualquier día de su vida, porque… no te ha pasado que tu madre sabe la vida de toda la familia, los cumpleaños, está enterada de todas las enfermedades y de si tienes que llamar a tu tío el del pueblo, tiene las  recetas de la familia como tesoro y sabe mil remedios para tus migrañas, el dolor de muela del niño y vete tú a saber que más).

¡Volvamos al ejemplo!

Pero volvamos al ejemplo, esto que sería, bueno, pues nuestro señor de las páginas amarillas guardando en su agenda la información de tu tienda, es más, esa información la categorizó dentro del sector de papelería y manualidades, porque tu vendes artículos de papelería para scrapbooking, y además das talleres en tu taller.

Indexación

La indexación es el proceso mediante el que Google registra de forma ordenada en su índice, toda la información que ha encontrado en las webs que previamente rastreó (por medio de esos enlaces) y que le han dado permiso para añadir esa información a su índice.

Así, cuando alguien realiza una búsqueda en Google, este revisa su índice (el que creó antes cual madre ordenada). El algoritmo de Google ordena esa información según los más de 200 factores que tiene en cuenta (o eso se supone) a la hora de ordenar toda esa información.

Esta parte del permiso es vital, pues cuando Google pasa por una web, le dejamos entrar a prácticamente todos los lados, pero no es necesario que añada a su índice absolutamente toda la información que encuentra allí.

Es cómo si cuando vienen clientes a nuestro negocio, además de pasar al probador o ver la ropa, les dejamos bajar al almacén a ver toda la mercancía, les mostramos la salita dónde comemos y de paso el baño privado para el personal del negocio.

En definitiva, nos interesa que Google tenga acceso a muchas partes de nuestra web por medio de los enlaces (que funcionan cómo los pasillos de nuestra casa para conectar 2 habitaciones), pero no nos interesa tanto, que Google ponga en su índice absolutamente todas las cosas que se encuentra por el camino.

Si quieres profundizar en la indexación, aprender cómo indexar o desindexar contenidos en tu WordPress y aprender qué contenidos deberías o no indexar, creo que esta guía completa sobre indexación SEO te va de perlas.

¡Vamos a terminar con el resto del ejemplo!

Digamos que los señores de páginas amarillas tienen una serie de valores que dan a la calidad de la atención de vuestras dependientas, a cómo de bien ordenado tengáis el género y si tienes un folletín (que viejuno quedó eso) dónde das tips a tus clientas sobre cómo usar los artículos que te compran y así hasta llegar a unos 200 factores, bueno, pues cuando alguien llama al señor de las páginas amarillas para preguntar por una empresa que venda papelería para un álbum de boda, este señor ponderará los resultados obtenidos por tu tienda y por todas las demás tiendas de papelería y scrap, y le dará los resultados a este usuario ordenados por relevancia para que se ajusten lo más posible a su búsqueda.

¿Qué es un motor de búsqueda?

Cuándo te conté lo que era el SEO, me referí a él cómo optimización en motores de búsqueda,  pues bien, hoy toca explicar qué es un motor de búsqueda.

Si tomamos la versión que nos da Wikipedia, “un motor de búsqueda o buscador es un sistema informático que busca archivos almacenados en servidores web gracias a su araña web. Un ejemplo son los buscadores de Internet cómo Google”

Esto en cristiano viene a decirnos que un motor de búsqueda es un sistema que organiza y distribuye la información producida por los distintos usuarios que hacen uso de la red (dentro de esos usuarios estamos los productores de contenido digital que tenemos blogs como este que estás leyendo, los periódicos, etc. Todo contenido publicado en la Word Wide Web es susceptible de terminar apareciendo en los motores de búsqueda o buscadores (seguro que ese nombre ya si te suena).

Y cómo esto parece el cuento de nunca acabar, antes hemos mencionado una palabreja que quizá te ha causado curiosidad, araña web, así que vamos a ver qué leches es eso que tan mal rollo da según lo dices.

¿cómo funciona Google? en este post aprenderemos sobre rastreo e indexación. Voy a hacer clic aquí para tuitear esto

¿Qué es una araña web?

Los crawlers o arañas son programas informáticos encargados de rastrear tu web (y todas las existentes en la World Wide Web) para ver qué novedades hay, cómo imaginarás rastrear todo internet en busca de las novedades que vamos creando supone una cantidad de trabajo estratosférica (y aún me quedo corta) así que los buscadores se sirven de estos bots para revisar todos los rincones de internet. Cabe resaltar que cada buscador tiene sus propias arañas.

¿Cómo funcionan las arañas de Google?

1. Primero acuden a un listado o índice semilla ya existente dentro de su base de datos y rastrean todos los directorios y subdirectorios de él.
2. Las arañas “visitan” tu web sirviéndose de los enlaces existentes navegables (Una de las formas de decirle a la araña que URL son navegables es mediante el fichero robots.txt) dentro de ella para navegar por todos los sitios accesibles.
3. Ahora el crawler buscará los enlaces a páginas nuevas para poder analizar sus enlaces
4. Cuando terminan de revisar todas las url de los distintos directorios, añaden los nuevos accesos encontrados.

Según Wikipedia el comportamiento de un buscador web es el resultado de una combinación de políticas:

• Una política de selección que establece las páginas de descarga.
• Una política de re-visita que establece cuándo debe buscar cambios en las páginas.
• Una política de cortesía que indica cómo evitar la sobrecarga de los sitios Web.
• Una política de paralelización que indica la forma de coordinar todos los rastreadores web distribuidos.

Si quieres ampliar la información sobre los crawlers puedes visitar este post de la Wikipedia.

¿Y cómo afecta a mi posición en Google lo que encuentre esa araña web?

Te diré que Google dispone de un tiempo finito limitado para poder rastrear cada web, esto los flipados del SEO lo conocemos como Crawl Budget, pero básicamente es eso, que tienes un número de milisegundos (si, leíste bien) asignados para que los bots paseen por tu web.

Por tanto es de lógica que cuanto más ágil sea tu web y más optimizada esté, mucha más información podrá recoger el bot y más páginas dentro de tu web podrá recoger.

¡Otro ejemplo!

Imagina que tienes una tienda online de ropa y es muy común que cambies todo el catálogo o casi al cambiar la temporada o que cuándo se te agotan las prendas las quites de tu web. Pues si directamente borras el producto, lo que va a pasar es que generarás lo que llamamos error 404 que viene a ser que la página a la que intenta acceder (la araña en el caso que nos ocupa) no existe.

¡Tachán! Has hecho que tu tiempo de rastreo o crawl budget se disemine entre errores y realmente el rastreador no ha podido hacer su trabajo que era detectar las maravillosas prendas de la nueva colección que tienes a la venta.

Esta es mi breve aportación al tema de las arañas (auch, que repelús) y los motores de búsqueda. Si tienes cualquier anotación o duda déjame un comentario y te responderé lo más brevemente posible.

Si te gustó el post:

y crees que puede resultarle útil a alguien más que quiera aprender la base del SEO para aplicar en su tienda online o en su tienda física, comparte este post.

Y si has decidido delegar la estrategia SEO de tu tienda en un profesional ponte en contacto conmigo y te diré cómo puedo ayudarte.