Clinic seo crawling & logs

crawling & logs
Colaboradores:
#clinicseo
Sponsors:

Recuerda nuestro hashtag!
#CLINICSEO
Crawling & Logs

Ponentes #clinicseo
Lino Uruñuela
@errioxa
mecagoenlos.com
Javi Lorente
@javier_lorente
javierlorente.es
Eduardo Garolera
@egarolera
digitalgrowth.io

Pues esto del crawling es
como cuando te cachean.

Qué son los logs...#clinicseo
Información que guarda nuestro servidor de cualquier
interacción que se realiza en él.
¿Dónde y cómo se guardan?
● Se guardan en ficheros .tar.gz
● Se suelen borrar cada X días
● Pregúntale a tu proveedor de hosting cómo obtenerlos
● Pideselo a tus técnicos

¿por qué son importantes?#clinicseo
Son sus
● Rastrean los sites
● Leen el contenido y lo guardan
● Sigue buscando enlaces para
continuar
Transmiten al “cerebro” lo que ven

Si a través de sus ojos recibe
información confusa, errónea o le
engañamos su comportamiento será
peor en nuestro site.

¿Qué es el crawl Budget?#clinicseo
Según Google
“Representa el número de conexiones
paralelas y simultáneas que utiliza el
robot de Google para rastrear el sitio
web, así como el tiempo de espera
entre cada obtención.”

¿Queé es el crawl Budget?#clinicseo
Definición personal
“Google incluirá un determinado
número de urls en su índice, y NO
necesariamente las mejores”

¿Importancia crawl Budget?#clinicseo
Filtros de un site de clasificados
● ciudad (100)
● marca (9)
● modelo (90)
● particular o concesionario (2)
● color (3)
¿Cuántas urls posibles hay?

m = número total de distintos valores
100+9+90+2+3
n = número de agrupaciones (filtros) 5

204!÷(5!((204−5)!))
=
2.802.350.040 URLs

Rastreo
Indexación
Eficacia

Rastreo#clinicseo
URLs Únicas rastreadas por status

Rastreo Segmentado#clinicseo
Nº URLs status 200 por segmento

Indexación#clinicseo
¿Si aumento el número
de urls con visitas
ganaré tráfico orgánico?

Indexación#clinicseo
Orgánico Vs URLs con visitas

Eficaicia#clinicseo
Rastreo
Indexación
Eficacia

Eficacia#clinicseo
¿Si aumento el número
de URLs rastreadas
aumenta el tráfico?

Eficacia#clinicseo
URLs rastreadas Vs orgánico

Eficacia#clinicseo
“El ratio entre el número
total de URLs rastreadas Vs
el número de urls con
visitas orgánicas.”
Eficacia de las urls

#clinicseo
Agregando
valor a los
datos

Dándole valor a los datos#clinicseo
Una gráfica solo muestra la evolución

Dándole valor a los datos
a los listados
#clinicseo
Debemos ordenarla por prioridad

Mitos Vs Realidad#clinicseo
rel="canonical"
<link rel="canonical"
href="http://example.com/" />
● Reduce el rastreo de Google
● Transfiere valor a la URL de
destino

URLs Únicas rastreadas por Googlebot

HITS de Googlebot al directorio canonizado

NoIndex
<meta name="robots"
content="noindex" />
Google no mostrará la url en sus
resultados…. pero sí la rastreará

● No saldrá en las serps
● Evitar ser penalizado
Usado en thin content o urls de poco valor
como filtros
NoIndex
<meta name="robots"

NoIndex
<meta name="robots"
● No saldrá en las serps
● Evitar ser penalizado
Thin content o urls de poco valor como filtros

#CLINICSEO
Casos de uso logs#clinicseo
Crawling es el core de Google o de cualquier buscador

#CLINICSEO

#CLINICSEO
¿Cómo trabajar con logs?

#CLINICSEO
Auditar logs es parte de una auditoria SEO

#CLINICSEO
Caídas del servidor
Tipos de contenido más utilizado
Bots que más vienen y su comportamiento
Tener una información más granulada que la que nos da
GSC
¿Como crawlea google el JS? ¿Lo hace?
Expedientes X
Ventaja competitiva en como google valora o no
nuestras páginas

#CLINICSEO
¿Que está afectando al crawl budget?
widgets, publicidad, cadenas de redirecciones, etc...

#CLINICSEO
¿Top páginas crawleadas?
¿Que enlaces tienen?
¿Que nos interesa enlazar desde esas páginas
para potenciarlo?
¿Que efecto tiene hacerlo?
¿Nuestras top páginas de tráfico son las más
crawleadas?
¿Cómo podemos optimizar esto?
¿Tenemos páginas huérfanas?

#CLINICSEO
¿Thin content?
¿Que tenemos que no genera tráfico?
¿Se crawlea? ¿Cada cuando? ¿más o menos que el resto?
¿Canonical, noindex, redirect, enriquecer, robots.txt...?
¿Qué porcentaje de mi site está crawleando Googlebot?

#CLINICSEO
Análisis del crawling por tipología de página
¿Cuánto tarda en descubrir nuestro contenido en cada tipo de página?
¿Cuánto tiempo pasa entre que lo descubre y rankea?
¿Qué podemos hacer para cambiar eso?
¿Cuánto tardamos en empezar a recuperar nuestra inversión en ese contenido?
¿Qué comportamiento sigue el Google en las páginas AMP?
Ahora que hemos lanzado AMP que ocurre? Crawlea igual que la versión mobile?
¿Qué relación existe entre mejorar el ratio de crawling de una tipología y el tráfico que recibe?
¿Qué tipologías reciben más tráfico por parte del bot? Esas priorizaré para arreglar los errores

#CLINICSEO
URLs con enlaces, importante
Status 200
Enlaces que además nos aportan tráfico
Importancia para Google de ese link →
cuántos más accesos del bot más importante
la url de origen

#CLINICSEO
Redirecciones 30x
Backlinks a urls con 302 →
desperdiciamos autoridad
Backlinks a urls con Dobles, triples, redirecciones

#CLINICSEO
Errores 4xx
Backlinks a urls que dan error a Google,
desperdiciamos autoridad
Backlinks a urls que dan error
y antes tenían visitas y autoridad

#CLINICSEO
Migración HTTPS
¿Como podemos auditar el estado?
¿Qué páginas ha rastreado ya google?
¿Qué status code tienen las antiguas?
¿Qué status code tienen las nuevas?
¿Comparativa de logs de las urls nuevas y antiguas?
Podemos priorizar los esfuerzos centrándonos en urls que:
- Tienen más tráfico
- Tienen mejores rankings
- Han sido las más crawleadas
En la nueva URL:
- Se crawlean con la misma frecuencia?
- Responden con el status code correcto?
- Las antiguas dan un 301?
- Sigue Google crawleando alguna URL antigua? A qué se debe?

#CLINICSEO
Mobile First Index

#CLINICSEO
Mobile First Index
¿Nuestro site está ya siendo más crawleado por el user agent de mobile?
¿Qué páginas mobile se llevan la mayor parte del rastreo?
¿Tenemos los mismos enlaces que en desktop?
¿Están estas páginas optimizadas igual que en desktop?
¿Comparativa de logs de las urls desktop vs mobile?
¿Siguen los mismo patrones?

#CLINICSEO
Mobile Speed Update
Identificación de las páginas que:
- Cargan más lentas
- Tienen un mayor tamaño
Verificación de las
implementaciones y su impacto

#CLINICSEO
Crawleando#clinicseo
dicen los sabios que casi siempre...
es mejor no tener nada
que URLs rastreadas y
no posicionadas

#CLINICSEO
A lo fácil#clinicseo

#CLINICSEO
Bing#clinicseo

#CLINICSEO
Yandex#clinicseo

#CLINICSEO
Yandex (Excluded)#clinicseo

#CLINICSEO
Yandex Crawl Stats#clinicseo

#CLINICSEO
G. Search Console#clinicseo

#CLINICSEO
Webmasters Tools#clinicseo
Son gratis y hay que usarlas
pero no son “on demand” ni rastrean el
100% de URLs y tipologías de errores
como las diferentes soluciones de pago

#CLINICSEO
Soluciones SaaS#clinicseo
No hacen nada que no se
pueda hacer con Screaming
Frog, Excel y mucho tiempo.

#CLINICSEO
Herramientas#clinicseo

#CLINICSEO
Inconvenientes#clinicseo

#CLINICSEO
Ventajas#clinicseo
- Mucho más fácil de configurar & te olvidas del “mantenimiento”
- “Sin límite” de URLs (algunos hablan de 200.000.000 URLs)
- Fácil integración con otras fuentes de datos y herramientas
- Fácil filtrado de URLs con desplegables drag & drop
- Velocidad a la hora de cruzar entre segmentos y grupos de URLs
- Comparación con rastreos anteriores de todo el histórico.
- Informes preconfigurados; schema, OGP, AMP, mobile sites, etc.
- Si dominas regex & xpath, puedes personalizar todo bastante.
- Extensiones para los principales navegadores & APIs para geeks
- ...

#CLINICSEO
Ejemplos OnCrawl#clinicseo
Crawler / LOGs

#CLINICSEO
Silos#clinicseo

#CLINICSEO
Depth & Page Rank#clinicseo

#CLINICSEO
Clústers dupes#clinicseo

#CLINICSEO
URLs activas#clinicseo

#CLINICSEO
LOGs#clinicseo

#CLINICSEO
robots.txt ¿WTF?#clinicseo

#CLINICSEO
Visitas SEO vs BOTs#clinicseo

#CLINICSEO
Segmentos#clinicseo
el 90% del éxito del análisis
está en segmentar bien

#CLINICSEO
2 tipos de grupos#clinicseo
● En base a elementos de la URL
○ Compatible con LOGs
○ Puedes hacer grupos de URLs a posteriori
● En base al HTML (custom fields) > Terminan siendo URLs
○ No son compatibles con el análisis de LOGs
○ Debes definir muy bien qué quieres buscar antes del rastreo
○ Tras un rastreo sólo puedes hacer grupos configurando custom fields PRErastreados

#CLINICSEO
Ej en Wordpress#clinicseo
● En base a elementos de una URL de WP con /%postname%/ tendríamos:
○ URL contains /tag/
○ URL contains /page/
○ URL contains /author/
○ URL contains /amp/
○ Poco más… puesto las categorías serían URLs “iguales” que la de un post.
● En base al HTML las posibilidades son infinitas.
○ Podemos buscar en el HTML si existe:
■ <meta property="article:section" content="Actualidad" />
■ <meta property="article:published_time" content="2018
■ <body class="archive category...

#CLINICSEO
Regex & XPATH#clinicseo

#CLINICSEO
de regalo...#clinicseo
● Lista de categorías: string(//meta[@property="article:section"]/@content)
● Lista de tags: string(//meta[@property="article:tag"]/@content)
● Publicación: string(//meta[@property="article:published_time"]/@content)
● Modificación: string(//meta[@property="article:modified_time"]/@content)
● ¿qué más se te ocurre…?

#CLINICSEO
Data ingestion#clinicseo
También podemos crear grupos de URLs subiendo CSV con campo “URL”

Colaboradores:
Sponsors:
Gracias por vuestra asistencia,

#CLINICSEO

Clinic seo crawling & logs

Empfohlen

Empfohlen

Weitere ähnliche Inhalte

Was ist angesagt?

Was ist angesagt? (20)

Ähnlich wie Clinic seo crawling & logs

Ähnlich wie Clinic seo crawling & logs (20)

Mehr von Clinic Seo

Mehr von Clinic Seo (20)

Clinic seo crawling & logs