El fichero Robots.txt es un archivo de texto que dicta unas recomendaciones para que todos los crawlers y robots de los buscadores, cumplan con ellas. Os preguntareis y ¿qué es un crawlers?. Un crawlers es un robot de una entidad, generalmente buscadores, que acceden a las páginas web de un sitio para buscar la información en ella, añadirla en los buscadores, etc. También se los conoce con el nombre de Spider, arañas, bots o indexadores.

    Por ejemplo, Googlebot es el nombre del crawler del buscador de Google. También existen otros como Mediapartners-Google, que es el crawler que se encarga de revisar los anuncios de Google. Está Googlebot-Image que como su palabra indica es el robot indexador de imágenes del buscador de Google. Y así podríamos seguir con una amplia lista.

    Si establecemos un control con nuestro fichero robots.txt, podremos conseguir una serie de beneficios como:

• Impedir acceso a robots determinados. Aunque os parezca contradictorio, algunos crawlers no nos proporcionarán nada más que problemas. Algunos robots no son buscadores, e incluso algunos no son tan amigos...
• Podrás reducir la sobrecarga del servidor. Podrás controlar el flujo de algunos robots. Algunos de ellos son un verdadero descontrol de peticiones que pueden llegar a saturar tu servidor.
• Prohibir zonas. Puede que en algunos casos, nos interese tener disponible una zona en nuestra página web que solo sea accesible para algunos, de tal forma que no aparezca en los buscadores.
• Eliminar el contenido duplicado, este es uno de los puntos más importantes que todo webmaster debe tener en cuenta. Si se elimina la duplicidad de contenido, los buscadores nos puntuaran más alto, consiguiendo así mayor tráfico de visitas.
• Fijas mapas de sitio. También es posible acoplar un sitemap, que ya hablamos de ello anteriormente, para indicar el buen camino a los robots.

   El buscador optimiza el buscador para los dispositivos de Apple. Este anuncio que saltó por sorpresa en la conferencia anual de Google en San Francisco fue acogido con gran expectación. La emprea sustituye así el navegador Safari (de Apple) que hasta el momento dominaba los dispositivos de Apple.

   Aunque el navegador será totalmente gratuito la compañía puede obtener grandes beneficios si propone en un futuro el desarrollo de Safari para iPhone. Este anuncio ha sido presentado justo un mes después de que Yahoo lanzara al mercado un buscador personalizado para los dispositivos de Apple llamado "Eje" pero que ha tenido menos repercusión en el sector.