Arañas de google

Búsqueda araña por imagen

La mayoría de los posts que he leído sobre el tema se limitan a reflejar el anuncio, y no hablan realmente de por qué quieres marcar la casilla. Quizás una pregunta más interesante sería ¿por qué NO querrías hacerlo? Aun así, la mayoría de la gente va a querer marcar esta casilla. Te diré por qué, pero también cómo probarlo de antemano.

A veces es un motor de búsqueda que busca listar tu contenido en su sitio. A veces es un programa que busca ver si tu blog tiene contenido nuevo para avisar a alguien en su lector de noticias. A veces es un servicio que TÚ has contratado para comprobar que tu servidor funciona, que su velocidad de carga es normal, etc.

Algunos sitios, como el nuestro, reciben toneladas de estas visitas de las que sólo tenemos constancia a nivel de registro del servidor. Todos los que tenéis servicios automatizados haciendo ping a nuestros servidores en busca de nuevas entradas cada pocos segundos nos estáis costando dinero. No pasa nada, no nos importa. No estropea nuestros datos analíticos.

Tratar con estos bots puede ser un gran problema. En el pasado, a menudo había que cazarlos para discernirlos por el navegador en el que aparecen, el número de páginas que visitan y otros comportamientos, etc. Una vez averiguado esto, podías filtrar muchos de ellos en el futuro, pero seguirían apareciendo en tus datos históricos y afectando al muestreo.

Bingbot

La codificación específica se utiliza para informar a las arañas de los motores de búsqueda sobre una página. Por ejemplo, el marcado schema se utiliza para indicar a las arañas exactamente de qué trata una página. Si su empresa es un hotel o una aerolínea, puede utilizar schema para indicar a las arañas de los motores de búsqueda que es un hotel, qué tipo de alojamiento ofrece, las habitaciones que tiene disponibles y mucho más. Puede obtener más información sobre el marcado de esquemas aquí.

Cuando un bot rastrea su sitio y encuentra el marcado schema, sitemaps, protocolo robots.txt, noindex, etc., detectará esta información y actualizará su índice para seguir rastreando con el fin de comprender mejor su sitio.

Las arañas pueden ver toda la codificación técnica y los mensajes escritos en su HTML para ellas. También pueden ver todo el contenido nuevo y actualizado de su sitio. Esto puede incluir blogs, artículos, páginas de glosarios, vídeos, imágenes, archivos PDF, etc.

Apache nutch

Cuando los rastreadores encuentran una página web, nuestros sistemas muestran el contenido de la página, igual que lo hace un navegador. Tomamos nota de las señales clave, desde las palabras clave hasta la frescura del sitio web, y hacemos un seguimiento de todo ello en el índice de búsqueda.

De hecho, tenemos varios índices de distintos tipos de información, recopilada mediante rastreo, asociaciones, fuentes de datos que nos envían y nuestra propia enciclopedia de hechos, el Gráfico de Conocimientos.

Gracias a estos múltiples índices, puedes buscar entre millones de libros de las principales bibliotecas, encontrar los tiempos de viaje de tu agencia de transporte público local o encontrar datos de fuentes públicas como el Banco Mundial.

Búsqueda en Google

Si usted es un sitio web de un periódico que sube nuevos contenidos casi constantemente, probablemente será rastreado cada pocas horas. Pero si nunca actualiza su contenido, o lo hace muy raramente, probablemente será rastreado cada pocas semanas. Lo cual es una mala noticia.

Puedes ver que el nuestro fue rastreado el día 4, que fue el día antes de que tomara la captura de pantalla. Eso está bastante bien. (Y si no puedes leer esto, no te preocupes. Cuando lo hagas en tu ordenador, el texto ocupará todo el ancho de tu navegador, así que será mucho más legible).

Imagina que vas en coche a algún sitio, tienes que llegar rápidamente y puedes elegir entre dos rutas. Una le llevaría directamente por una autopista. La otra te llevaría por pequeñas carreteras rurales, la mayoría de las cuales implican conducir detrás de un tractor. Y parte de la carretera no está asfaltada. ¿Qué ruta elegirías?

Si no estás seguro de cuál es la diferencia entre código limpio y código desordenado, deberías leer el artículo de mi colega Mark sobre cómo optimizar el código. También hay una lista de comprobación técnica con la que puedes trabajar.