Un poco de SEO: Robots.txt y la indexación en buscadores

Tengamos o no relación con el SEO, el diseño web, el marketing digital, y otras disciplinas, es seguro que hemos oído en algún momento la palabra indexación.

Figura 1. Bot.

A modo de introducción, explicamos en qué consiste el fichero robots.txt y algunas de las posibilidades que nos ofrece a la hora de mejorar nuestra reputación online.

Por ejemplo, en la barra de direcciones de vuestro navegador, podéis realizar las siguientes búsquedas:

Figura 2. Ejemplo de robots.txt en la web de la Casa Real Española.

Figura 3. Ejemplo de robots.txt en la web de la SGAE.

Figura 4. Ejemplo de robots.txt en la web de Rafa Nadal.

¿Qué tratamos de demostrar? Robots.txt nos sirve para indicarle a los buscadores: Google, Bing, etcétera... que partes de un sitio web no deseamos que sean indexadas. ¿Para qué? Los enlaces y los títulos de las URL´s pueden  quedar en los índices de los motores de búsqueda y con esto generar problemas de privacidad, casos que contaremos más adelante. 

Figura 5. Enlace a las Herramientas Websmaster.

Puede ocurrir, que el robots.txt del sitio web objeto de nuestro trabajo, quede indexado en los índices; de esta forma estamos indexando en los buscadores aquellos contenidos del fichero que provocan que en él, se pueda buscar lo que los sitios web no desean que se encuentre, algo que no tiene mucho sentido.

Figura 6. El fichero robots.txt de Casa Real indexado en Google y Bing.

Como conclusión, es algo que no tiene mucho sentido; indicar en el fichero robots.txt que partes de nuestro sitio no deseamos que se indexen, y por el contrario facilitarle a los motores de búsqueda las partes que tratamos de proteger. De esta forma, cualquier atacante sabe cómo obtener la información necesaria para acceder a esos contenidos. Se puede eliminar la indexación? SI.

Las soluciones son reducidas, y pasan por:

          1. - Filtrar robots.tx en robots.txt

          2. - Eliminar la URL del índice con las herramientas del Webmaster

          3. - Filtrar la indexación con una tag NoIndex

¡En próximas entradas!