Acceder

Registrar




Espera un minuto, mientras que estamos haciendo el calendario

Súscríbete al BLOG

Al suscribirme indico que he leido y acepto el Aviso Legal y la Politica de Privacidad de la web

Blog by Grupodw. Diseño Web Profesional

Descubre todos los secretos para tener éxito en Internet

Fichero Robots.txt, lo que debes saber

    El fichero Robots.txt es un archivo de texto que dicta unas recomendaciones para que todos los crawlers y robots de los buscadores, cumplan con ellas. Os preguntareis y ¿qué es un crawlers?. Un crawlers es un robot de una entidad, generalmente buscadores, que acceden a las páginas web de un sitio para buscar la información en ella, añadirla en los buscadores, etc. También se los conoce con el nombre de Spider, arañas, bots o indexadores.

    Por ejemplo, Googlebot es el nombre del crawler del buscador de Google. También existen otros como Mediapartners-Google, que es el crawler que se encarga de revisar los anuncios de Google. Está Googlebot-Image que como su palabra indica es el robot indexador de imágenes del buscador de Google. Y así podríamos seguir con una amplia lista.

    Si establecemos un control con nuestro fichero robots.txt, podremos conseguir una serie de beneficios como:

  • Impedir acceso a robots determinados. Aunque os parezca contradictorio, algunos crawlers no nos proporcionarán nada más que problemas. Algunos robots no son buscadores, e incluso algunos no son tan amigos...
  • Podrás reducir la sobrecarga del servidor. Podrás controlar el flujo de algunos robots. Algunos de ellos son un verdadero descontrol de peticiones que pueden llegar a saturar tu servidor.
  • Prohibir zonas. Puede que en algunos casos, nos interese tener disponible una zona en nuestra página web que solo sea accesible para algunos, de tal forma que no aparezca en los buscadores.
  • Eliminar el contenido duplicado, este es uno de los puntos más importantes que todo webmaster debe tener en cuenta. Si se elimina la duplicidad de contenido, los buscadores nos puntuaran más alto, consiguiendo así mayor tráfico de visitas.
  • Fijas mapas de sitio. También es posible acoplar un sitemap, que ya hablamos de ello anteriormente, para indicar el buen camino a los robots.
Consejos para los concursos online
Venta online, una oportunidad para las farmacias
 

Comentarios

No hay comentarios por el momento. Se el primero en enviar un comentario.
¿Ya està registrado? Ingresa Aquí
Invitado
Miércoles, 20 Junio 2018
Si desea registrarse, por favor rellene los campos de nombre de usuario y nombre.

Imagen Captcha

Newsletter
Al suscribirme indico que he leido y acepto el Aviso Legal y la Politica de Privacidad de la web

Este sitio usa cookies propias y de terceros con finalidades técnicas, analíticas y de sesión. Si continúas navegando por nuestro sitio, aceptas el uso que hacemos de estas cookies.