{"id":36507,"date":"2022-12-21T11:25:06","date_gmt":"2022-12-21T11:25:06","guid":{"rendered":"https:\/\/www.conectasoftware.com\/magazine\/?p=36507"},"modified":"2022-12-23T11:39:23","modified_gmt":"2022-12-23T11:39:23","slug":"sabes-la-importancia-que-tiene-el-robot-txt-para-tu-web","status":"publish","type":"post","link":"https:\/\/www.conectasoftware.com\/magazine\/sabes-la-importancia-que-tiene-el-robot-txt-para-tu-web\/","title":{"rendered":"\u00bfSabes la importancia que tiene el Robot.txt para tu web?"},"content":{"rendered":"\n<p>El Robots.txt es un archivo de texto que contiene instrucciones para los bots de los <a href=\"https:\/\/www.conectasoftware.com\/magazine\/marketing-digital\/seo-en-google-yahoo-y-bing-diferencias\/\">buscadores<\/a>, de esta manera se indica que p\u00e1ginas pueden rastrear y cuales no. Estas indicaciones se especifican \u201cdando permiso\u201d o \u201cdesautorizando\u201d el rastreo de los robots.<\/p>\n\n\n\n<p>Este es el aspecto del robot.txt de una web:<\/p>\n\n\n\n<figure class=\"wp-block-image size-full\"><img loading=\"lazy\" loading=\"lazy\" decoding=\"async\" width=\"706\" height=\"298\" src=\"https:\/\/www.conectasoftware.com\/magazine\/wp-content\/uploads\/2022\/12\/image.png\" alt=\"Robots.txt conecta software\" class=\"wp-image-36508\"\/><\/figure>\n\n\n\n<p>Aunque inicialmente parecen complicados, presentan un lenguaje inform\u00e1tico bastante sencillo. A lo largo de este art\u00edculo veremos todo lo relacionado con \u00e9l para que puedas comprender y utilizar con eficacia este archivo.<\/p>\n\n\n<div class=\"wp-block-image wp-duotone-unset-1\">\n<figure class=\"aligncenter size-full\"><a href=\"https:\/\/www.conectasoftware.com\/producto\/automatiza-tu-ecommerce-mayorista-desde-tu-erp\/\"><img loading=\"lazy\" loading=\"lazy\" decoding=\"async\" width=\"1024\" height=\"263\" src=\"https:\/\/www.conectasoftware.com\/magazine\/wp-content\/uploads\/2022\/12\/automatiza-tu-ecommerce-cta-124.png\" alt=\"automatiza tu ecommerce cta 124\" class=\"wp-image-36496\"\/><\/a><\/figure><\/div>\n\n\n<h2 class=\"wp-block-heading\">Importancia del archivo robots.txt<\/h2>\n\n\n\n<p>Ayuda a gestionar las actividades de los rastreadores web para que no hagan trabajo en vano y no <a href=\"https:\/\/www.conectasoftware.com\/magazine\/seo\/importancia-auditoria-seo\/\">indexen<\/a> p\u00e1ginas que no nos interesan que sean vistas por los usuarios.<\/p>\n\n\n\n<p>Los motivos para tenerlo bien actualizado son las siguientes:<\/p>\n\n\n\n<ul class=\"wp-block-list\">\n<li>Optimizar el crawl Budget. El \u201cpresupuesto de rastreo\u201d es el tiempo que asigna Google para rastrear una p\u00e1gina web. Este, se ve influido por la autoridad, accesibilidad, calidad y velocidad del sitio web. Este presupuesto es importante, ya que, si el n\u00famero de p\u00e1ginas indexadas es demasiado amplio y el robots.txt no est\u00e1 optimizado, habr\u00e1 p\u00e1ginas que se queden sin indexar, y por lo tanto, sin posicionarse.<\/li>\n<\/ul>\n\n\n\n<ul class=\"wp-block-list\">\n<li>Bloquear las <a href=\"https:\/\/www.conectasoftware.com\/magazine\/marketing-digital\/el-contenido-duplicado-penalizacion-mitos-y-consecuencias\/\">p\u00e1ginas duplicadas<\/a>. No todas las p\u00e1ginas de un sitio web tienen que indexarse. Un claro ejemplo de esto son aquellas p\u00e1ginas de los sitios de pruebas o las p\u00e1ginas duplicadas.<\/li>\n<\/ul>\n\n\n\n<h2 class=\"wp-block-heading\">Funcionamiento de un archivo robots.txt<\/h2>\n\n\n\n<p>Estos archivos indican a los motores de b\u00fasqueda que Urls pueden rastrear y cu\u00e1les no. Por lo tanto, tienen dos objetivos: rastrear la web y indexar el contenido.<\/p>\n\n\n\n<p>Lo primero que har\u00e1 un bot al llegar a un sitio web es buscar un archivo robots.txt. Si lo encuentra, lo leer\u00e1 antes de hacer cualquier otra cosa, de ah\u00ed la importancia en tenerlo y adem\u00e1s, que se encuentre actualizado y optimizado.<\/p>\n\n\n\n<p>La sintaxis es bastante sencilla:<\/p>\n\n\n\n<ul class=\"wp-block-list\">\n<li>Asignas reglas a los bots utilizando \u201cUser-agent\u201d.<\/li>\n\n\n\n<li>Para asignar comandos a todos los user-agent utilizamos el *.<\/li>\n\n\n\n<li>El comando sitemap. Indica a los motores de b\u00fasqueda donde se encuentra.<\/li>\n<\/ul>\n\n\n\n<p>Estas son las reglas b\u00e1sicas que tienes que conocer para la optimizaci\u00f3n del archivo.<\/p>\n\n\n\n<h2 class=\"wp-block-heading\">Ubicaci\u00f3n de un archivo robots.txt<\/h2>\n\n\n\n<p>Este archivo se encuentra alojado en el servidor. Se puede localizar escribiendo la URL completa de la p\u00e1gina web y a\u00f1adiendo \/robots.txt: <a href=\"https:\/\/www.conectasoftware.com\/robots.txt\">https:\/\/www.conectasoftware.com\/robots.txt<\/a><\/p>\n\n\n\n<p>Este se debe encontrar siempre en la ra\u00edz del dominio para que los rastreadores asuman que tienes el archivo.<\/p>\n\n\n\n<h2 class=\"wp-block-heading\">Creaci\u00f3n del archivo<\/h2>\n\n\n\n<p>Se puede crear de manera sencilla a trav\u00e9s de una herramienta generadora de archivos robots txt.<\/p>\n\n\n\n<ul class=\"wp-block-list\">\n<li>Crea un archivo y n\u00f3mbralo. Abre un archivo con cualquier editor de texto y n\u00f3mbralo robots.txt.<\/li>\n\n\n\n<li>A\u00f1ade comandos. A\u00f1ade los comandos vistos anteriormente para que los rastreadores puedan detectar las directrices.<\/li>\n\n\n\n<li>Sube el archivo. S\u00fabelo a tu web para que este a disposici\u00f3n de los rastreadores. Deber\u00e1s acudir a tu <a href=\"https:\/\/www.conectasoftware.com\/magazine\/diseno-web\/proveedor-de-hosting-o-alojamiento\/\">hosting<\/a> para realizar este paso.<\/li>\n\n\n\n<li>Testea tu robots.txt. Verifica si tu archivo es accesible p\u00fablicamente. A trav\u00e9s de Google Search Console podr\u00e1s comprobar el marcado robots.txt.<\/li>\n<\/ul>\n\n\n\n<p>Para cada subdominio se deber\u00e1 crear un archivo robots.txt distinto, ya que, estos solo controlan el comportamiento de rastreo en el subdominio donde se encuentra alojado.<\/p>\n\n\n\n<p>Ahora que ya sabes como puedes crear y optimizar tu web para que los bots la puedan rastrear, \u00a1ll\u00e9vala al siguiente nivel!<\/p>\n","protected":false},"excerpt":{"rendered":"<p>El Robots.txt es un archivo de texto que contiene instrucciones para los bots de los buscadores, de esta manera se indica que p\u00e1ginas pueden rastrear y cuales no. Estas indicaciones se especifican \u201cdando permiso\u201d o \u201cdesautorizando\u201d el rastreo de los robots. Este es el aspecto del robot.txt de una web: Aunque inicialmente parecen complicados, presentan [&hellip;]<\/p>\n","protected":false},"author":304,"featured_media":36544,"comment_status":"closed","ping_status":"closed","sticky":false,"template":"","format":"standard","meta":{"content-type":"","footnotes":""},"categories":[50],"tags":[],"class_list":{"0":"post-36507","1":"post","2":"type-post","3":"status-publish","4":"format-standard","5":"has-post-thumbnail","7":"category-seo"},"_links":{"self":[{"href":"https:\/\/www.conectasoftware.com\/magazine\/wp-json\/wp\/v2\/posts\/36507","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/www.conectasoftware.com\/magazine\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/www.conectasoftware.com\/magazine\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/www.conectasoftware.com\/magazine\/wp-json\/wp\/v2\/users\/304"}],"replies":[{"embeddable":true,"href":"https:\/\/www.conectasoftware.com\/magazine\/wp-json\/wp\/v2\/comments?post=36507"}],"version-history":[{"count":2,"href":"https:\/\/www.conectasoftware.com\/magazine\/wp-json\/wp\/v2\/posts\/36507\/revisions"}],"predecessor-version":[{"id":36512,"href":"https:\/\/www.conectasoftware.com\/magazine\/wp-json\/wp\/v2\/posts\/36507\/revisions\/36512"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/www.conectasoftware.com\/magazine\/wp-json\/wp\/v2\/media\/36544"}],"wp:attachment":[{"href":"https:\/\/www.conectasoftware.com\/magazine\/wp-json\/wp\/v2\/media?parent=36507"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/www.conectasoftware.com\/magazine\/wp-json\/wp\/v2\/categories?post=36507"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/www.conectasoftware.com\/magazine\/wp-json\/wp\/v2\/tags?post=36507"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}