Google ha propuesto un estándar oficial de Internet para las reglas incluidas en los archivos robots.txt.

Esas reglas, descritas en el Protocolo de Exclusión de Robots (REP), han sido un estándar no oficial durante los últimos 25 años.

Si bien los motores de búsqueda han adoptado el REP, aún no es oficial, lo que significa que está abierto a la interpretación de los desarrolladores. Además, nunca se ha actualizado para cubrir los casos de uso de hoy.

Como dice Google, esto crea un desafío para los propietarios de sitios web debido a que el estándar de facto, ambiguamente escrito, dificultó la escritura correcta de las reglas.

Para eliminar este desafío, Google ha documentado cómo se usa el REP en la web moderna y lo ha enviado al Grupo de trabajo de ingeniería de Internet (IETF) para su revisión.

Google explica lo que está incluido en el borrador:

“El borrador de REP propuesto refleja más de 20 años de experiencia en el mundo real de confiar en las reglas de robots.txt, utilizadas tanto por Googlebot y otros rastreadores principales, como por la mitad de los mil millones de sitios web que dependen del REP. Estos controles detallados le dan al editor el poder de decidir qué es lo que desean que se rastree en su sitio y se muestre a los usuarios interesados ​​”.

El borrador no modifica ninguna de las reglas establecidas en 1994, solo se acaba de actualizar para la web moderna.

Algunas de las reglas actualizadas incluyen:

Google está totalmente abierto a comentarios sobre el borrador propuesto y dice que está comprometido a hacerlo bien.

Google quiere establecer un estándar oficial para usar robots.txt

Más Artículos Similares: