Probablemente haya oído hablar de la importancia de rastrear su sitio web, pero ¿qué hace realmente? Grawling es el proceso por el cual los motores de búsqueda indexan y devuelven páginas web. Si su sitio no está rastreado por Googlebot, no se indexará y devuelve, lo que resulta en un tráfico deficiente. Entonces, ¿cómo optimiza su sitio para Googlebot? Sigue leyendo para aprender. Este artículo lo guiará a través del proceso, paso a paso, desde crear una cuota de rastreo hasta establecer un presupuesto.
Índice de contenidos
Rastreo
Si desea analizar cómo GoogleBot rastrea su sitio web, puede usar el menú de comandos para deshabilitar JavaScript. Los usuarios de Chrome también pueden deshabilitar JavaScript en el menú DevTools. Googlebot rastrea su página web solo una vez por unos pocos segundos, dependiendo de la cantidad de enlaces externos que tiene su página web y su PageRank. Además, solo se pueden acceder a páginas web menos populares y débilmente vinculadas una vez cada pocos días. Esto se debe a que GoogleBot usa su caché para servir páginas web con menos frecuencia visitadas.
Desarrollar una buena estructura de sitios web es crucial para SEO. Su página de inicio debe ser accesible para Googlebot, y las páginas importantes deben ubicarse cerca de ella. Un sitio web bien estructurado también es propicio para la expansión futura, por lo que la estructura debe ser simple y flexible. Su mapa del sitio contiene la lista completa de páginas en su sitio web. Puede enviar su mapa del sitio a la consola de búsqueda de Google para que Googlebot sepa qué páginas debe visitar y actualizar.
Eficiencia de arrastre
Una buena manera de aumentar el presupuesto de rastreo de Googlebot es optimizar la eficiencia de rastreo de su sitio web. Cuantas más páginas se rastree su sitio web por visita, más de esas páginas serán indexadas por Google. Esto también acelera la indexación de nuevas páginas. Intente rastrear URL alternativas, páginas con parámetros y páginas con contenido integrado. Estas estrategias reducirán el tiempo y el esfuerzo que Googlebot gasta para rastrear su sitio web y aumentar su presupuesto de rastreo.
Para aumentar la eficiencia de rastreo de Googlebots, use Sitemaps XML. GoogleBot usa Sitemaps XML para rastrear diferentes tipos de URL. Si su sitio web tiene errores, GoogleBot puede encontrarlos y recoger la página siguiente de la pila. Si hay demasiados errores, Google reducirá la velocidad de rastreo. Si su sitio tiene demasiados errores, hará que Googlebot deje de gatear. Los errores se pueden eliminar reduciendo el número de páginas con errores del servidor.
Cuota
La cuota para Googlebot se cambió recientemente, lo que dificulta que el bot indexe tantas páginas como antes. El cambio fue el resultado de personas que abusan del servicio. Estas personas presentaban spam y contenido pirateado. Google quería lograr un equilibrio entre un buen uso y malo. John Mueller, el científico jefe de Googlebots, confirmó que el cambio estaba relacionado con la prevención del abuso.
Este algoritmo es muy sensible, ya que tiene que navegar a través de una variedad de configuraciones, restricciones y tiempos de inactividad. También tiene que rastrear todos los enlaces directos que apuntan a una página. Al imponer este límite al BOT, los webmasters pueden limitar el número de URL que Googlebot puede arrastrarse por mes. Por defecto, GoogleBot puede arrastrar hasta 500 URL por mes. Si está enviando más de 500 URL por mes, se le pedirá que ingrese al IM A Robot Captcha, lo que evita que GoogleBot se vaya a visitar su sitio web.
Presupuesto
Puede facilitar el SEO para su sitio web optimizando su presupuesto de rastreo. El presupuesto para los rastreos de Googlebot describe cuántas páginas desea que se rastree dentro de un plazo específico. Cuanto mayor sea el presupuesto de rastreo, más contenido encontrará Googlebot. Si el presupuesto de rastreo es demasiado bajo, el bot del motor de búsqueda puede no encontrar contenido actualizado o nuevo. Afortunadamente, hay formas de mejorar su presupuesto de rastreo sin sacrificar la calidad del contenido de sus sitios.
Una de las mejores maneras de aumentar el presupuesto de rastreo es disminuyendo el número de 500 errores del servidor que GoogleBot encuentra. Esto reducirá su límite de rastreo y presupuesto de rastreo, y un alto volumen de 500 errores del servidor podría indicar un problema de capacidad del servidor. Además, las páginas de rastreo con códigos de estado que no son 200 pueden ser una pérdida de tiempo. En su lugar, asegúrese de que las URL de Google se arrastren en vivo. Solo entonces Google podrá gatearlos.
Sitemaps son esenciales tanto para los humanos como para los motores de búsqueda. Los Sitemaps XML son el formato más común, y son la forma más efectiva de proporcionar una visión general de la estructura de sus sitios web. XML Sitemaps usa lenguaje que GoogleBot entiende. Esto ayuda al motor de búsqueda a determinar dónde indexar su sitio y para qué es más relevante su contenido. Pero antes de enviar un mapa del sitio XML, debe entender por qué son importantes.
Sitemaps son útiles tanto para humanos como para motores de búsqueda, pero también juega un papel en la optimización de los rastreo. Los Sitemaps ayudan a los rastreadores a encontrar páginas más rápido y reducen los recursos del servidor. Googlebot se pierde páginas sin enlaces, y los sitios de sitios XML reducen las posibilidades de faltar esas páginas. Sitemaps también ayudan a las páginas del índice de GoogleBot con contenido de medios ricos. Si se pregunta por qué los Sitemaps son tan importantes, mire este video para obtener más información.
Correo no deseado
Un ejemplo común de spam es cuando un usuario escribe una determinada palabra en un motor de búsqueda. Pero en lugar de ser dirigidos a la página asociada con esa palabra, se redirigen a una página con contenido irrelevante. Esta es una experiencia muy molesta para el usuario y puede llevarlos a un sitio web que es spam. Pero Googlebots ha sido diseñado para detectar este tipo de spam, y el spam en Googlebot significa que un sitio web no proporciona contenido de calidad a sus usuarios.
Un estudio reciente de Spambots ha descubierto cómo los spammers pueden engañar a Googlebot para que piensen que están retrasando. Usando un encabezado de referencia falso, Spambots registra una solicitud en el registro del servidor. Mientras que algunos SEO usan spambots para mejorar la construcción de enlaces, Google detecta archivos de registro como páginas web no reales y los marca como spam. Pero los spammers nunca podrán superar este obstáculo.