Google anunció oficialmente que GoogleBot ya no obedecerá una directiva de Robots.txt relacionada con la indexación. Los editores que confían en la directiva robots.txt noindex tienen hasta el 1 de septiembre de 2019 para eliminarlo y comenzar a usar una alternativa.

Robots.txt Noindex no oficial

La razón por la que no se admitirá la directiva noindex robots.txt es porque no es una directiva oficial.

En el pasado, Google ha apoyado esta directiva robots.txt, pero este ya no será el caso.

Google solía obedecer la directiva Noindex

StoneTemple publicó un artículo señalando que Google obedecía principalmente a la directiva robots.txt noindex.

— > Su conclusión en ese momento fue: < —

“En última instancia, la directiva NoIndex en Robots.txt es bastante efectiva. Funcionó en 11 de los 12 casos que probamos. Puede funcionar para su sitio y, debido a su implementación, le proporciona una ruta para evitar el rastreo de una página Y también para que se elimine del índice.

Eso es bastante útil en concepto. Sin embargo, nuestras pruebas no mostraron un éxito del 100 por ciento, por lo que no siempre funciona “.

Ese ya no es el caso. La directiva robots.txt noindex ya no es compatible.

Este es el tweet oficial de Google:

“Hoy nos despedimos de las reglas no documentadas y no admitidas en robots.txt

Si confiabas en estas reglas, aprende sobre tus opciones en la publicación de nuestro blog “.

Esta es la parte relevante del anuncio:

“Con el fin de mantener un ecosistema saludable y preparar futuros lanzamientos de código abierto, retiramos todos los códigos que manejan reglas no admitidas y no publicadas (como noindex) el 1 de septiembre de 2019.”

¿Cómo controlar ahora la indexación?

La publicación oficial del blog de Google enumeró cinco formas de controlar la indexación:

Lee el anuncio oficial de Google aquí:
https://webmasters.googleblog.com/2019/07/a-note-on-unsupported-rules-in-robotstxt.html

Lee el tweet oficial de Google aquí
https://twitter.com/googlewmc/status/1145950977067016192

Google cancela el soporte para Robots.txt Noindex

Más Artículos Similares: