La herramienta que convirtió a Google en un gigante de las búsquedas ahora puede convertirse en una parte fundamental de la web.

Google es lo que es hoy en día gracias a las búsquedas, por lo que vale la pena devolver el favor. La compañía está trabajando para que el protocolo que colabora con la indexación de sitios -más conocido como Protocolo de Exclusión de Robots, REP, o robots.txt- se convierta en un estándar de internet después de 25 años de haber sido creado.

Para ello, anunció que el código del parser en C++ que funciona como la base de Googlebot ahora está disponible en GitHub para todos. Así, una herramienta base de Google pasa a ser Open Source, como parte del plan para convertir el protocolo en estándar. El plan de la compañía al volver su herramienta de código abierto es eliminar la confusión con una sintaxis estandarizada para todos los motores de búsqueda.

LEER MAS: https://www.fayerwayer.com/2019/07/google-robots-txt-rep-estandar/