Este documento describe el diseño e implementación de un agente de modelado de usuario para el entorno virtual de aprendizaje de la UTPL. Presenta el proceso de extracción de conocimiento utilizado para construir los modelos de usuario iniciales y actualizarlos continuamente mediante tareas de aprendizaje automático. El agente fue desarrollado usando la metodología INGENIAS y almacena los modelos de usuario en una base de datos relacional.

1. AGENTE DE MODELADO DE USUARIO PARA EL
ENTORNO VIRTUAL DE APRENDIZAJE DE LA UTPL
Proyecto de fin de carrera previo a la obtención del titulo de ingeniero en sistemas informáticos y computación

2. Agenda
Modelos de usuario
Selección de herramientas
Minería de datos
Diseño del modelo de usuario
Construcción del agente de modelado de
usuario
Conclusiones y recomendaciones

3. Modelos de Usuario

4. Definición
Elena Gaudioso (2002) define a los
modelos de usuario como:

5. Representación
Los modelos de Usuario se
representan de tres formas
diferentes:

6. Construcción
Se identifican cuatro faces para la
construcción de modelos de usuario
Recogida de datos
Diseño del modelo de usuario
Construcción del modelo de usuario
Validar el modelo construido

7. Construcción (Cont.)
Se distinguen dos técnicas para la
construcción de modelos de usuario
Predefinir el modelo de usuario en
base al conocimiento de expertos.
Diseñar el sistema de manera que
sea éste el que aprenda
autónomamente obteniendo
información de las interacciones de
los usuarios

8. Datos de entrada
Datos que se pueden tomar, evaluar y
transformar, para que formen parte del
modelo de usuario
Según Kobsa, Koenemann, y Pohl (1999) los
datos que se deben incluir pertenecen a tres
categorias principales:
Datos de usuario,
Datos de uso del sistema, y
Datos de entorno

9. Datos de entrada (Cont.)
Datos de usuario
Datos personales, demográficos, estatus social, etc.
Datos de uso del sistema
Uso observable (acciones selectivas, ratings, etiquetado, aprobación y
desaprobación)
Regularidades de uso (frecuencia, correlaciones, secuencias)
Datos de entorno
Entorno software (plugins, sistemas operativos)
Entorno hardware (ancho de banda, procesamiento, presentación,
dispositivos de entrada)
Localidad (localización, lugares frecuentes)

10. Aprendizaje Automático
El análisis del comportamiento de los usuarios,
sistemas de apoyo a la educación, permitira la
predicción de acciones futuras en el sistema
(Gaudioso 2002).
La inclución de esta técnica conlleva el diseño
de varias Tareas de aprendizaje, que necesitan
de un conjunto de datos de entrenamiento
etiquetados.
Se puede aumentar el rendimiento de las tareas
de aprendizaje mediante combinación de
clasificadores.

11. Agente de modelado de usuario
Definimos al agente de modelado de
usuario como:

12. Selección de herramientas

13. Herramientas que se utilizaron dentro del
proceso de diseño e implementación del
modelo de usuario de los estudiantes de
la UTPL, y del agente de modelado de
usuario que lo obtiene
Tipo de modelo de usuario
Clasificación de estilos de aprendizaje
Datos del modelo de usuario
Metodología de desarrollo del agente
Algoritmos de aprendizaje automático

14. Clasificación de estilos de aprendizaje
Se selecciono la
clasificación de Felder y
Silverman (1988)
Alto grado de aplicación en
sistemas de apoyo a la
educación (Peña, Marzo, de
la Rosa y Fabregat, 2002)
Aplicado con buenos
resultados en grupos de
estudiantes de carreras
técnicas

15. Datos del modelo de usuario

16. Metodología de desarrollo del agente
Fundamentada en Message
Proceso robusto de desarrollo de Sistemas
Multiagente (SMA)
Incorpora todos los paradigmas de
desarrollo de agentes y de ingeniería de
software
Describe formalmente la interacción entre
modelos
Presenta una de las mejores herramientas
de diseño y construcción de SMA el IDK
(Ingenias Development Framework)

17. Algoritmos de aprendizaje automático
Parámetros de
selección
Grado de aplicación en
trabajos similares
Grado de concordancia con
los datos disponibles para la
experimentación
Incidencia dentro del campo
de extracción de
conocimiento en la minería
de datos
Algoritmos de Clasificación
Árboles de decisión C4.5 (J48)
Arboles de decisión (REPtree)
Redes neuronales con perceptrón
multicapa (MultilagerPerceptron)
Clasificador NaiveBayes
Redes Bayesianas (BayesNet)
Combinación de clasificadores por el
método Bagging

18. Minería de datos

19. Proceso de extracción de conocimiento
Proceso de extracción de
conocimiento de alta
aceptación en investigaciones
sobre sistemas de apoyo al
aprendizaje (Hernández,
Ramírez y Ferri 2004).

20. Antecedentes
Base de datos de prueba tomada del servidor
evadev.utpl.edu.ec
Se tomo como población estudiantes de 14 carreras (6845
est.)
Se aplico la técnica de muestreo aleatorio (Hernádez, Ramírez
y Ferri, 2004), mediante scrips de php.
Es aplicable ya que en poblaciones en donde se identifican
estratos, y se necesita que la muestra contenga elementos
pertenecientes a cada uno de ellos.

21. Integración y recopilación
Se diseño una aplicación ETL en php
Extracción de datos mediante SQL
Creación de tablas en MySQL para
albergar en la base de datos
mineria_eva
Tabla cursos_y_alumnos: 2400 filas
Tabla interacciones: 35432 filas
Tabla acciones_objetos: 29323 filas
Las tablas contienen la interacción en
los cursos por parte de los usuarios.

22. Selección, limpieza y transformación
Uso de la discretación como técnica
para transformar valores numéricos
en valores nominales.
Se definió los atributos a obtener
mediante aprendizaje automático
Se diseñaron tres tablas las cuales
incorporan los datos transformados.
En la transformación, para su
representación, se incluyen las
técnicas como, discretación,
numeralización, y creación de
nuevas características, Hernández,
Ramírez y Ferri (2004).

23. Selección, limpieza y transformación (Cont.)
Introducción de conocimiento
previo, mediante interfaz en la
aplicación ETL.
Mediante discretación
utilizando WEKA (filtro
discretize) con 3 bins.
Se generan vistas minables
para conteniendo consultas
que son aplicables a la fase de
minería de datos

24. Minería de datos
Se desarrollo la experimentación
en la herramienta WEKA, con los
algoritmos seleccionados
anteriormente
La selección del los algoritmos
depende de los datos de entrada, y
de los resultados en estudios
referentes a la aplicación de
técnicas de aprendizaje
supervisado a modelos de usuario.
De la experimentación se
generaron un conjunto de archivos
(.txt, .model, .jpg)

25. Evaluación e interpretación
Para la evaluación de los modelos se
utilizo la validación cruzada con n pliegles
(Hernández, Ramírez y Ferri, 2004).
De los algoritmos se evalúa la predicción
predictiva, y la evaluación de la matriz de
confusión.
Se utilizo las implementaciónes de estas
técnicas incorporadas en la herramienta
WEKA.
Resultados muy diferentes para cada
atributo. Varían dependiendo del número
de parámetros utilizados en su evaluación
Los resultados son similares a los
obtenidos por Gaudioso (2002) e Itmazi
(2005).

26. Evaluación e interpretación (Cont.)
Finalmente de la evaluación
de resultados se obtiene los
algoritmos para crear los
modelos más idóneos para la
cada uno de los atributos

27. Diseño del modelo de usuario

28. Elementos
Los elementos de
modelo de usuario están
divididos en tres
categorías
Categoría 1
Datos de entorno
Categoría 2
Datos de usuario
Categoría 3
Datos de interacción
Zona geográfica
Entorno de
usuario
Estilo de
aprendizaje
Nombre de
usuario
Cédula
Nombres
Carrera
Curso
Modalidad
Nivel de interés
Nivel de
interacción
Acciones sobre
objetos

29. Técnicas de obtención de atributos
Se utilizan varias técnicas
para la obtención de los
atributos del modelo de
usuario
Atributos
Extracción directa de
los datos del sistema
Nombre de usuario
Nombre
Apellido
Ciudad
País
Ultimo acceso
Ultimo login
Ultimo ip
Contraseña
email
Dirección
Teléfono
Cédula
Carrera
Curso
Modalidad
Reglas de adquisición
de atributos
Zona geográfica
Entorno de usuario
Acciones sobre objetos
Test electrónicos Estilo de aprendizaje
Tareas de aprendizaje
Nivel de Interés en el Curso
Nivel de Interés en Recursos
Nivel de Interacción

30. Diseño del Modelo de
Usuario
Dentro de las técnicas de
obtención de atributos destaca la
obtención mediante tareas de
aprendizaje
Los atributos tienen valores fijos
para cada atributo
Provienen de la inferencia
mediante modelos de
aprendizaje automática.
Valores de atributos
Nivel de Interés en el
Curso
bajo
medio
alto
Nivel de Interés en
Recursos
bajo
medio
alto
Nivel de Interacción
principiante
medio
avanzado
experto

31. Modelo de datos
Se diseño un modelo
de datos en donde se
almacenan los
modelos de usuario
de los estudiantes en
cada uno de los
cursos en los que se
encuentra
participando

32. Modelo de datos (Cont.)
Ejemplo de
modelo de
usuario dentro
de las tablas del
modelo de datos

33. Construcción del agente de
modelado de usuario

34. INGENIAS
Sustentado mediante la
aplicación de la
metodología de
desarrollo de sistemas
multiagente (SMA)
INGENIAS
Se basa en el diseño de
metamodelos

35. IDK (Ingenias Development Framework)
Herramienta de apoyo a la
implementación de SMA que
acompaña a Ingenias
Multiplataforma (Windows,
Linux, Mac)
Soporta todas las etapas del
desarrollo (desde casos de
uso iniciales, a generación de
código fuente), incluyendo la
generación de la
documentación respectiva
Gestiona los meta - modelos
que propone Ingenias

36. Fases del desarrollo
Las fases que integra ingenias
contemplan:
Inicio
Elaboración
Implementación
Incorporando en cada una de ellas el
análisis y el diseño como ejes del
desarrollo

37. Meta-modelos del diseño

38. Arquitectura del sistema
Arquitectura
modular e
incremental
Interacción
con el entorno
virtual de
aprendizaje

39. Módulos del agente de modelado de
usuario

40. Conclusiones y
recomendaciones

41. Conclusiones
Los datos de entrada no pueden ser operados directamente de las fuentes de información ya que
necesitan transformaciones, dependiendo de la complejidad del atributo del modelo. Es por ello que este
proyecto se desarrollo un proceso de extracción de conocimiento que ayudo a formalizar estos datos de
entrada utilizando la técnica de discretación.
La clasificación que mejor se acopla a las características de los estudiantes de la UTPL, es la propuesta
por Felder y Silverman.
El proceso de extracción de conocimiento, definió tres atributos del modelo de usuario que se obtienen
mediante tareas de aprendizaje: el nivel de interés en el curso, el nivel de interés en recursos y el nivel de
interacción.
Los atributos del modelo de usuario definidos mediante tareas de aprendizaje, según el proceso de
extracción de conocimiento aplicado al EVA, se calculan mediante los algoritmos C 4.5 (J48), Bayes Net
y Bagging (J48), respectivamente.
Se demuestra que los modelos de usuario de los estudiantes de la UTPL se pueden crear
inicialmente, mediante los estilos de aprendizaje. Se actualizan ejecutando tareas de aprendizaje,
que mediante el procesamiento de los datos de la interacción del estudiante infieren los nuevos
valores de los atributos del modelo de usuario.

42. Conclusiones (Cont.)
Para la obtención de atributos del modelo de usuario mediante aprendizaje automático, en el
proceso de extracción de conocimiento, se determino que se necesita obtener: modelos para
inferenciar el atributo, un conjunto de datos de entrenamiento, y la instancia a clasificar.
El modelo de usuario contiene tres tipologías de atributos, datos de entorno, datos de usuario y
datos de interacción. Estos se pueden obtener mediante test electrónicos, extracción directa del
sistema, reglas de adquisición de atributos y mediante la utilización de tareas de aprendizaje.
Los modelos de usuario se almacenan en una base de datos relacional que permite albergar,
además del los modelos de usuario, las actualizaciones en los cambios en la interacción del
estudiante con la plataforma, así como los datos que apoyan el funcionamiento del agente de
modelado de usuario.

43. Conclusiones (Cont.)
Los modelos de usuario de los estudiantes de la UTPL se almacenan en una base de datos
relacional que permite albergar, además del los modelos de usuario, las actualizaciones en los
cambios en la interacción del estudiante con la plataforma, así como los datos que apoyan el
funcionamiento del agente de modelado de usuario.
La metodología de desarrollo de sistemas multiagente INGENIAS fue seleccionada de un grupo
de siete metodologías estudiadas para el desarrollo del agente de modelado de usuario de los
estudiantes de la UTPL, por demostrar un proceso de desarrollo robusto, que soporta el trabajo y
la implementación de agentes inteligentes en todas las fases del desarrollo.
Se diseño e implemento el agente de modelado de usuario de los estudiantes de la UTPL, para
que demuestre funcionalidades que permitan la construcción de modelos de usuario iniciales, así
como la actualización de estos modelos. Mediante una arquitectura modular, que permite
además mantener un grado de flexibilidad para la incorporación de nuevos atributos, y de las
funciones de obtención que los soportan.

44. Conclusiones (Cont.)
Se diseño e implemento el agente de modelado de usuario de los estudiantes de la UTPL,
para que demuestre funcionalidades que permitan la construcción de modelos de usuario
iniciales, así como la actualización de estos modelos. Mediante una arquitectura modular,
que permite además mantener un grado de flexibilidad para la incorporación de nuevos
atributos, y de las funciones de obtención que los soportan.

45. Recomendaciones
Considerar el incremento de nuevas funcionalidades en el entorno virtual de aprendizaje ya que esto,
conlleva la incorporación de nuevos datos de interacción que pueden utilizarse como datos de entrada,
que permitan la generación de nuevos atributos para el modelo de usuario.
La implementación e incorporación de nuevas tareas de aprendizaje a las existentes, que mediante
aprendizaje automático modelen atributos relacionados, con el nivel rendimiento académico, y la
identificación de las acciones del usuario sobre la interfaz del sistema.
La implementación de un modulo de administración del agente de modelado de usuario que permita
incrementar las opciones de configuración, y una mejor gestión de las funcionalidades del sistema.
Para las tareas de aprendizaje existentes y las nuevas, es recomendable la experimentación con
diferentes algoritmos de aprendizaje automático ya que dependiendo de los datos de entrada los
resultados con un mismo algoritmo pueden variar drásticamente entre atributos.
Considerar, para futuras extensiones del agente de modelado de usuario, las nuevas versiones de la
metodología INGENIAS, que soporten el trabajo con más de un desarrollador, ya que si la magnitud
del proyecto creciera seria difícil el soporte al proceso de desarrollo con la versión actual de la
metodología

46. Referencias bibliográficas
Felder, R y Silverman, L. (1988): “Learning and Teaching Styles in Engineering
Education Application”. Engr. Education, 78 (7), (pp. 674-681).
Gaudioso E. (2002). Contribuciones al Modelado del Usuario en Entornos
Adaptativos de Aprendizaje y Colaboración a través de Internet mediante técnicas
de Aprendizaje Automático. Tesis Doctoral. Universidad Complutense de Madrid,
Madrid, España.
Gómez, J. y Fuentes, R. (2002). The INGENIAS Methodology. Fourth
Iberoamerican Workshop on Multi-Agent Systems Iberagents.
Gómez, J. (2003). Metodologías para el Desarrollo de Sistemas Multi-Agente. En
Revista Iberoamericana de Inteligencia Artificial, 18, (pp. 51-63)
Gómez, J. y Pavón, J. (2004). INGENIAS Metthodology and Tools. En AL3
PROMAS TFG. Universidad Complutense de Madrid.

47. Referencias bibliográficas
Hernández, J., Ramirez, M., J., y Ferri, C. (2004). Introducción a la Minería de
Datos. España: Pearson Education.
Kobsa, A., Koenemann, J., y Pohl, W. (1999). Personalised hypermedia
presentation techniques for improving online customer relationships. German
National Research Center for Information Technology. St. Augustin, Germany:
Technical Report 66