Como configurar Crawl-Delay en tu archivo Robots.txt

Crawl-Delay en robots.txt: Que significa esto?

Los motores de búsqueda como Google, Bign, Yahoo necesitas rastrear tu sitio web regularmente, no solo para indexar el contenido que recientes estás creando, sino también para poder actualizar sus sistemas de cualquier cambio que hayas realizado en tu sitio web.

En este sentido cuando indicamos craw delay hablamos de un parámetro que puedes añadir en tu archivo robots.txt utilizado para especificar y establecer la cantidad de segundos que el robots debe esperar entre cada solicitud en tu sitio web, es decir la velocidad a la que los motores de búsqueda indexan tu sitio web.

En algún caso algunos sitios web necesitan retrasar el rastreo por lo que es una buena idea ver como podemos configurar esto desde nuestro archivo robots.txt

En este articulo te explicaremos como insertar la directiva correcta para limitar la frecuencia de rastreo de un motor de búsqueda y como administrar esta configuración para que los motores de búsqueda no se adieran a esta configuración.

Crear un archivo robots.txt

Si aún no tienes creado tu archivo robots.txt en este caso puedes seguir la siguiente guía donde se explica de forma detallada como añadir y configurar este archivo en tu sitio web

Crear y optimizar Robots.txt en WordPress – La Mejor Guía

Una vez tienes creado y optimizado tu archivo robots.txt podemos seguir con el siguiente paso.

Configurar Crawl-Delay en tu archivo robots.txt

En este caso lo primero que tenemos que hacer es editar nuestro archivo robots.txt, existen dos métodos para editarlo, podemos hacerlo a través del plugins Yoast SEO si lo tenemos instalado o a través de nuestro cPanel, explicaremos los dos métodos.

Editando el archivo robots.txt con Yoast SEO

Lo primero que tenemos que hacer en ingresar al escritorio de nuestro sitio web e ir al apartado de Yoast SEO -> Herramientas  y seleccionar la opción que indica Editor de archivos

Dentro de las opciones que se abren veremos que tenemos disponible nuestro archivo robots.txt donde podemos añadir las diferentes directivas, una vez estas en este paso puedes ir al punto que indica Directivas Cr

Editando el archivo robots.txt desde cPanel 

Si has seleccionado esta opción para editar tu archivo robots.txt lo primero que tienes que hacer es ingresar a tu cPanel -> Administrador de archivos -> public_html

Una vez estés en el apartado del public_html ingresa a la carpeta donde tienes los archivos de tu sitio web y edita tu archivo robots.txt, para ello solo tienes que seleccionar el archivo y con el botón derecho de tu mouse pulsar en edit.

Verás que aparece una nueva ventana, solo debes pulsar editar y se abrirá tu archivo robots.txt

Insertando Craw-delay en nuestro archivo robots.txt

Lo primero que debes tener en cuenta es que las siguientes directivas funcionan como los motores de búsqueda Bing, Yahoo y Yandex, para añadir esta directiva únicamente copia y pega el siguiente código en tu archivo robots.txt

User-agent: *
Crawl-delay: 1

Esto le indicará a las arañas de los motores de búsqueda que esperen 1 segundo entra cada página que rastrean, si deseas esperar más puedes usar las siguientes configuraciones.

User-agent: *
Crawl-delay: 5
User-agent: *
Crawl-delay: 10

Después de ingresar la directiva que deseas solo debes pulsar en guardar cambios que se encuentra en la esquina superior derecha.

¿Cómo modificamos la frecuencia de rastreo del robot de Google?

En 2019 Google anuncio que ignoraría ciertas directivas en el archivo robots.txt y luego actualizo la consola de búsqueda de Google para darte control sobre las velocidades de rastreo.

Para administrar las tasas de rastreo de los botos en Google debes iniciar sesión en la consola de búsqueda de Google y en la configuración del sitio selecciona «Limitar la tasa de rastreo máxima de Google» como se muestra a continuación.

Únicamente pulsa en guardar los cambios, de esta forma puedes controla el tiempo de rastreo de Google en tu sitio web

 

Updated on 23 noviembre, 2021

Related Articles