Un robots.txt bien configurado te ayudará a posicionar correctamente tu sitio web o ecommerce en Google. ¿Por qué? Porque te permite indicarle a los robots de este buscador qué páginas indexar y qué no. Así puedes potenciar las que deseas posicionar al tiempo que omites las que no favorecen tu SEO. Por eso, quiero hablarte hoy sobre cómo crear y configurar archivos robots.txt en Wordpress.
El archivo robots.txt de Wordpress
El archivo robots.txt de Wordpress está localizado en la raíz del servidor (no en la del sitio). Puedes acceder utilizando un cliente FTP, el panel de control de tu proveedor de hosting o el explorador de archivos de tu ordenador si estás trabajando con una copia local del sitio web.
Una vez hayas accedido al fichero, verás algo como lo siguiente:
User-agent: * Disallow: /wp-admin/ Disallow: /wp-includes/
Como ves, las reglas por defecto que ofrece Wordpress son bastante pocas y simples. ¿Pero qué significan?
User-agent
Lo que hace la primera línea es aplicar las reglas de rastreo a todos los robots de Google que visiten tu web. Esto es así porque se emplea un asterisco (*). Si quieres aplicar las reglas solo a robots específicos, tendrás que cambiar este valor. Por ejemplo, poner:
User-agent: Google
Esto hará que las reglas se aplique únicamente a los robots de Google. Si quieres conocer más opciones, tendrás que revisar la base de datos de robots disponible en el sitio www.robotstxt.com. Pero lo normal es aplicar las reglas a todos los robots disponibles.
Disallow
Disallow indica el bloque de acceso. En el ejemplo de más arriba, que es el robots.txt de Wordpress por defecto, solo se bloquea el acceso de los robots a los directorios “/wp-admin/” y “/wp-includes/”. Esto significa que no podrán acceder a ninguno de los archivos en tales directorios. Y no te recomiendo cambiar esta regla salvo por una causa mayor o con fines de experimentación. Pero eso es algo que harás cuando tengas mayor dominio en estos asuntos.
¿Cómo configurar el robots.txt?
Ya sabes dónde localizar el robots.txt de Wordpress y qué significan sus instrucciones más básicas: User-Agent y Disallow. Pero hay otros 2 comandos que puedes utilizar para personalizar con mucho detalle el acceso de los bots a tu sitio web o ecommerce:
Allow
La instrucción Allow te permite crear excepciones a disallow. Por ejemplo, podrías restringir el acceso a la carpeta “/wp-content-/uploads/2020/06” porque no quieres que los robots indexen las imágenes, videos y otros contenidos del mes de junio de 2020, excepto el video llamado “clase-de-ingles-01.mp4”. En ese caso, incluirías par de reglas como las siguientes:
Disallow: /wp-content-/uploads/2020/06 Allow: /wp-content-/uploads/2020/06/clase-de-ingles-01.mp4
Sitemap
Sitemap indica la ruta en la que se encuentran los sitemaps de tu sitio web, así de sencillo. ¿Para qué sirve esto? Para facilitarle a los robots la tarea de encontrar tus ficheros sitemap.xml y que los motores de búsqueda descubran sin dificultades todas las páginas de tu sitio web. Un ejemplo puede ser el siguiente:
Sitemap: https//tusitioweb.com/sitemap.xml
Si tienes varios sitemaps, hay 2 opciones: indicar la ubicación del índice de sitemaps o poner las URLs individuales. El primer caso se vería así:
Sitemap: https//tusitioweb.com/sitemap_index.xml
Y el segundo sería algo como:
Sitemap: https//tusitioweb.com/sitemap_pages.xml Sitemap: https//tusitioweb.com/sitemap_post.xml
Como ves, configurar manualmente el robots.txt de Wordpress es muy simple. Pero también lo puedes hacer automáticamente con plugins como Yoast SEO o All In One Seo Pack. Así que la elección va por ti. Lo importante es que las reglas del fichero permitan optimizar el SEO de tu sitio web, para conseguir una mejor y más rápida indexación en los motores de búsqueda.
Si te pareció útil este artículo, compártelo en tus cuentas de redes sociales o déjame un comentario con tu opinión o cualquier duda que tengas en mente. Y no dejes de suscribirte al blog para mantenerte al tanto de cada nuevo post sobre WooCommerce, Wordpress y temas relacionados.