Estimación del CPA en campañas de Adwords utilizando modelos de regresión.

1. Métodos Estadísticos para la Planificación de Campañas de Adwords Justo Ibarra Senior Analyst – Intellignos [email_address]

3. Estructura de la Campaña ¿Cuánto influye cada uno de estos aspectos en el CPA global de nuestra campaña?

5. El Modelo Estadístico En función de los datos disponibles recurrimos a un modelo de Regresión Lineal Multivariante. Este modelo busca estimar los valores de una variable independiente numérica a partir de los valores de un conjunto de variables independientes numéricas y dicotómicas (dummy). Estadísticamente se expresa: Y =  +  X 1 +  X 2 + ... +  X n +  donde: Y = variable dependiente X 1 , X 2 , X n = variables independientes  = coeficientes de regresión  = error de predicción

6. Entendiendo el Modelo La forma más sencilla de estimación lineal es utilizar el valor promedio de CPA, pero esto elimina sus variaciones

7. Entendiendo el Modelo La regresión lineal busca estimar el CPA usando información de otras variables para disminuir el error de estimación

8. Entendiendo el Modelo Lo importante es crear un modelo que permita maximizar la proporción de varianza explicada empleando pocas variables explicativas. Existen algunas restricciones a considerar: - Colinealidad: las variables explicativas son independientes entre sí. - Homocedasticidad: el error de estimación tiene esperanza cero y distribución normal para todos los valores considerados. - No autocorrelación de los residuos: los residuos no presentan autocorrelación serial. - Especificación correcta: todas las variables explicativas han sido incluidas en el modelo y no se presenta sobre-determinación.

9. Planteamiento del Modelo Para estimar el CPA planteamos las siguientes hipótesis: - El CPA guarda relación directa con la cantidad de clics, el CPC y la posición promedio. - Mantiene relación inversa con la Calidad del Anuncio y el CPC Máximo. - Las Keywords más relevantes y el criterio de búsqueda exacto disminuyen el CPA. - La hipótesis nula indica que el CPA no es afectado por estas variables en grado significativo.

10. Analizando los Datos Primero es necesario realizar la transformación de variables categóricas en dicotómicas (dummy) de la siguiente forma: Var. Original: Categorías: Var. Dummy: Categorías: Keyword Basket Beisbol Fútbol Soccer d_Basket d_Beisbol d_Fútbol d_Soccer Basket = 1 Beisbol = 0 Fútbol = 0 Soccer = 0 Basket = 0 Beisbol = 1 Fútbol = 0 Soccer = 0 Basket = 0 Beisbol = 0 Fútbol = 1 Soccer = 0 Basket = 0 Beisbol = 0 Fútbol = 0 Soccer = 1

11. Analizando los Datos Es posible analizar los datos con Excel utilizando el complemento de análisis de datos que debemos instalar así: 1- Haga clic en el Botón Microsoft Office y, a continuación, haga clic en Opciones de Excel. 2- Haga clic en Complementos y, en el cuadro Administrar, seleccione Complementos de Excel . 3- Haga clic en Ir. 4- En el cuadro Complementos disponibles, active la casilla de verificación Herramientas para análisis y, a continuación, haga clic en Aceptar . Tendremos ciertas limitaciones: - El formato de las variables debe ser numérico. - Los datos deben estar un rango continuo y sin celdas vacías. - No podemos analizar más de 16 variables independientes. - No podemos ajustar los criterios de entrada de las variables.

12. Analizando los Datos Datos -> Análisis de Datos -> Regresión

13. Analizando los Datos Rango Y -> var. dependiente Rango X -> var. Explicativas

14. Analizando los Datos Obtendremos una salida de resultados de la siguiente forma

15. Analizando los Datos Empleando el software SPSS podremos incrementar la capacidad de análisis estadístico y resolver los problemas que conlleva Excel respecto de la estructura de los datos. El programa seleccionara las variables que integran el modelo y podremos realizar test para comprobar el cumplimiento de los supuestos que limitan el empleo de la regresión lineal. ADVERTENCIA: Voy a mostrar números y fórmulas es el momento apropiado para los que se quieran escapar de la sala

16. El éxodo masivo AHORA QUE SE FUERON TODOS

17. Interpretando los Resultados Existen dos modelos posibles uno que explica el CPA solo en base a los clics y otro que combina clics y gasto en Adwords. Coeficiente de Correlación varía entre -1 y 1: 1 correlación perfecta positiva -1 correlación perfecta negativa 0 independencia estadística Coeficiente de Regresión Lineal varía entre 0 y 1: Indica la proporción de varianza atribuible a la incidencia de las variables explicativas en este caso casi un 42% Varianza o suma de cuadrados: Se descompone en la parte explicada por el modelo y la parte residual no explicada Varianza Total = Varianza Explicada = Varianza Residual =

18. Interpretando los Resultados Los coeficientes de regresión del modelo indican el impacto de las variables sobre el CPA Coeficientes Beta ponderan el impacto de los cambios en los valores de las variables explicativas:  * X Coeficientes estandarizados homogeneízan la escala de medición para permitir comparar el impacto de las variables Nivel de Significación estadística su valor crítico debe ser inferior a  =0,05 o sea un error del 5% Para que un coeficiente sea significativo el intervalo de confianza debe excluir al valor cero del rango que cubre el mismo La ecuación de la recta de regresión en nuestro caso sería: CPA = - 0,022 + 0,024 * Clic + / - 0,42 error

19. Interpretando los Resultados Para confirmar si las restricciones del modelo se cumplen tenemos que observar los siguientes gráficos: La distribución de los residuos estandarizados debería ajustarse a una curva normal. En este caso se observa una mayor desviación hacia la derecha lo que podría indicar que estamos subestimando sistemáticamente el CPA La probabilidad acumulada de los residuos estandarizados debería ajustarse a la línea diagonal. En este caso tenemos mayor cantidad de residuos con valores pequeños que lo esperado lo que indica desajuste.

20. Interpretando los Resultados Para confirmar si las restricciones del modelo se cumplen tenemos que observar los siguientes gráficos: La distribución de los residuos estandarizados debería seguir un patrón irregular para todos los valores. En nuestro caso encontramos problemas de estimación cuando el CPA es cero o mayor a $ 0,60 Sobrestimación Subestimación La distribución de los residuos estandarizados debería seguir un patrón irregular para todos los valores. En nuestro caso encontramos problemas de estimación a medida que los valores predichos crecen Subestimación Sobrestimación

21. Interpretando los Resultados Sin embargo no son tantos los casos donde el error de predicción es superior a 2 desvíos estándar: Solo en 9 casos entre 124 la estimación realizada excedió el margen de error determinado por una distribución normal La línea media representa la recta de regresión lineal y las líneas en los márgenes los límites superior e inferior de la estimación al 95% de confianza

22. Corrigiendo el Modelo El modelo tiene errores de especificación porque la cantidad de clics es una función dependiente de otras variables. Para resolverlo plantearemos un nuevo modelo más complejo: CPA Clics CPC Promedio Impresiones Posición Promedio CPC Máximo

24. Comparando los Resultados Puestos frente a frente los modelos comprobamos considerables mejoras en los estadísticos: Mientras el primer modelo OLS solo permitía explicar el 42% de las variaciones en el CPA el modelo 2SPS da cuenta del 62% lo que es una mejora de casi un 50% El error del modelo se redujo considerablemente lo que incrementa la precisión en las estimaciones del CPA Además algunas de las restricciones dejan de aplicarse para los modelos 2SLS como la colinealidad entre variables.

25. Comparando los Resultados Es necesario graficar los residuales para comprobar si existen problemas en el modelo: Los residuales de la regresión se distribuyen con un mayor ajuste a la curva normal debido a la mejora del modelo. La dispersión del CPA pasa a estar explicada por 2 variables los clics y el CPC promedio lo que permite ajustar un plano de regresión más adecuado.

26. La crisis existencial Todo muy lindo nos rompemos la cabeza tratando de entender la Regresión Lineal pero… COMO C@R@J@ PODEMOS ESTIMAR EL CPA EN ADWORDS!!!

27. Estimando el CPA Es muy fácil y en realidad ya lo hicimos… APLICANDO LA FÓRMULA!!! Y =  +  X 1 +  X 2 +  O en nuestro análisis: CPA = 0*constante + 0,032*clics – 1,19*CPC Prom. + / - 0,18 error

28. Estimando el CPA Con ello vamos a crear distintos escenarios… Resultados de la campaña durante el primer mes: Clics: 894 Prom. diario: 28,8 Conversiones: 53 Prom. Diario: 1,71 CPC Prom.: $0,05 CPA Prom.: $0,82 APLICANDO LA FÓRMULA!!!

29. Estimando el CPA Escenario 1: se mantienen los clics y CPC promedio CPA = 0,032 * 28,8 clics – 1,19 * $ 0,05 CPC Prom. + / - 0,18 error CPA Estimado: $0,86 CPA Mínimo: $0,68 CPA Máximo: $1,04 Escenario 2: 80% de los clics y 60% del CPC promedio CPA = 0,032* 23,1 clics – 1,19 * $ 0,03 CPC Prom. + / - 0,18 error CPA Estimado: $0,70 CPA Mínimo: $0,52 CPA Máximo: $0,88 Escenario 3: 120% de los clics y 150% del CPC promedio CPA = 0,032* 34,6 clics – 1,19 * $ 0,07 CPC Prom. + / - 0,18 error CPA Estimado: $1,02 CPA Mínimo: $0,84 CPA Máximo: $1,20 Así podemos testear todos los escenarios que creamos probables

30. Precisión de la Estimación Mucha estadística pero… ¿Funciona realmente? A las pruebas me remito… CPA Real $ 0,89 CPA Estimado $ 0,86 Margen de error 3%