Uno de los principales errores que solemos cometer los desarrolladores por pura confusión, es la de intentar no indexar contenidos añadiendo «Disallow» en los robots.txt, pero el problema es que le estás diciendo a Google que no acceda a esos contenidos, pero estos pueden estar indexados o incluso tener un index y entramos en conflicto. Lo idea es que la página en cuestión tenga la etiqueta «noindex» y que google pueda acceder a ella.
Así que vamos a pasar de este robots.txt erróneo, a la forma correcta.
Disallow: /*/feed/
Disallow: /*/page/
Disallow: /page/
Disallow: /*/author/
Disallow: /author/
Disallow: /*/tag/*/page/
Disallow: /*/tag/*/feed/
Disallow: /tag/*/page/
Disallow: /tag/*/feed/Noindex author con Yoast SEO
Tenemos que ir al menú de Yoast SEO > Ajustes > Avanzado > Archivos de autor y tenemos que desmarcar la siguiente opción.
Noindex paginación con Yoast SEO
Normalmente nos interesa que indexe la categoría de las noticias pero no las siguiente páginas. Para ello tenemos que añadir algo de código a nuestro functions.php
add_filter('wpseo_robots', 'custom_wpseo_robots');
function custom_wpseo_robots($robots) {
if (is_paged()) {
return 'noindex, follow';
}
return $robots;
}Pasaremos de esto
<meta name='robots' content='index, follow, max-image-preview:large, max-snippet:-1, max-video-preview:-1' />a esto
<meta name='robots' content='noindex, follow' />Noindex de etiquetas con Yoast SEO
Tenemos que ir al menú de Yoast SEO > Ajustes > Categorías y etiquetas > Etiquetas y tenemos que desmarcar la siguiente opción.
Desactivar feeds con Yoast SEO
Debido a que no es una página html, no podemos añadir la etiqueta meta robots. Pero tenemos el header «X-Robots-Tag» para que no indexe. Con el siguiente código en functions.php lo conseguiremos.
add_action('template_redirect', 'noindex_feeds');
function noindex_feeds(){
if (!is_feed()) {
return;
}
header('X-Robots-Tag: noindex', true);
}
También deberíamos de enlazar las diferentes páginas con los correspondientes /feed/
Tenemos que ir al menú de Yoast SEO > Ajustes > Avanzado > Optimización del rastreo y tenemos que marcar las siguientes opciones, yo siempre activo todas menos la primera de «Eliminar el feed global».
También podemos añadir una redirección 301 de /feed/ a la sección correspondiente, ya sea la categoría, etiqueta…
¿Tienes problemas con la indexación de tu página?
Escríbenos y solucionaremos todos tus problemas.
