julio 2, 2019

Google cancela el soporte para Robots.txt Noindex

Google anunció oficialmente que GoogleBot ya no obedecerá una directiva de Robots.txt relacionada con la indexación. Los editores que confían en la directiva robots.txt noindex tienen hasta el 1 de septiembre de 2019 para eliminarlo y comenzar a usar una alternativa.

Robots.txt Noindex no oficial

La razón por la que no se admitirá la directiva noindex robots.txt es porque no es una directiva oficial.

En el pasado, Google ha apoyado esta directiva robots.txt, pero este ya no será el caso.

Google solía obedecer la directiva Noindex

StoneTemple publicó un artículo señalando que Google obedecía principalmente a la directiva robots.txt noindex.

— > Su conclusión en ese momento fue: < —

“En última instancia, la directiva NoIndex en Robots.txt es bastante efectiva. Funcionó en 11 de los 12 casos que probamos. Puede funcionar para su sitio y, debido a su implementación, le proporciona una ruta para evitar el rastreo de una página Y también para que se elimine del índice.

Eso es bastante útil en concepto. Sin embargo, nuestras pruebas no mostraron un éxito del 100 por ciento, por lo que no siempre funciona “.

Ese ya no es el caso. La directiva robots.txt noindex ya no es compatible.

Este es el tweet oficial de Google:

“Hoy nos despedimos de las reglas no documentadas y no admitidas en robots.txt

Si confiabas en estas reglas, aprende sobre tus opciones en la publicación de nuestro blog “.

Esta es la parte relevante del anuncio:

“Con el fin de mantener un ecosistema saludable y preparar futuros lanzamientos de código abierto, retiramos todos los códigos que manejan reglas no admitidas y no publicadas (como noindex) el 1 de septiembre de 2019.”