Marco de referencia para evaluar calidad de sitios Open Course Ware OCW mediante atributos de calidad cisti2015

1. Marco
de
Referencia
para
evaluar
la
calidad
de
si2os
Open
Course
Ware
(OCW)
mediante
atributos
de
calidad
Actas Cisti 2015 Pág. 835
grrodriguez@utpl.edu.ec
spcueva@utpl.edu.ec
mesucunuta@utpl.edu.ec
omarban@fi.upm.es

2. Agenda
1. Tendencia Abierto en Educación
2. Problema y propuesta de solución
3. Marco Conceptual – Insumos
4. Marco de valoración de calidad basada en atributos
propuesto
5. Implementación del marco de evaluación
6. Conclusiones
7. Bibliografía

3. Tendencia
Open
en
Educación
Año Aporte
1994 Objetos de Aprendizaje (OA) - Wayne Hodgins
1998 Recursos Educativos Abiertos (REA)
2002 Open Course Ware (OCW) – MIT
Foro UNESCO impacto REA en la Educación
2004 Open Course Ware Consortium (OCWC) – MIT y otras
universidades
2008 Massive Open Online Courses (MOOC)
2012 Foro UNESCO 10 años REA
Declaración de París sobre REA: literal e) Apoyar a las
instituciones, formar y motivar a los profesores y demás personal
para que produzcan e intercambien materiales educativos
accesibles y de alta calidad

4. Problema
y
propuesta
de
solución
¿Cómo valorar la calidad de un REA?
¿Cuál es el REA más adecuado?
¿Cuál es el mejor REA?
El presente trabajo propone un marco de referencia
para evaluar la calidad de sitios OCW basado en
atributos, fundamentado en estándares y modelos de
calidad de software.

5. Marco
conceptual
1. Propuestas de evaluación y aseguramiento de calidad para OER
2. Calidad basada en atributos – IEEE 1061
3. Metodología de evaluación de calidad basada en atributos – Web-QEM
1. Planificación y Programación de la Evaluación de Calidad.
2. Definición y Especificación de Requerimientos de Calidad.
3. Definición e Implementación de la Evaluación Elemental.
4. Definición e Implementación de la Evaluación Global.
5. Análisis de Resultados, Conclusión y Documentación.
6. Validación de Métricas (no mostrada en la figura).

6. Marco
de
referencia
propuesto
FASE1: Definir el dominio y ente para la Evaluación de la
Calidad
Para el contexto de OCW el dominio de aplicación es una
muestra de sitios que proveen REA tipo OCW. El ente es el
sitio web donde se publican (IS es un recurso, no un proceso,
no un artefacto)
FASE 2: Definir Metas de Evaluación y seleccionar el Perfil
de Usuario
La meta de evaluación propuesta es: Obtener una valoración
cuantitativa de la calidad global de un sitio OCW basada en
características y atributos definidos desde el punto de vista
del visitante (ISO/IEC 9126 visitantes, desarrolladores,
gerenciadores)

7. Marco
de
referencia
propuesto
FASE 3: Especificar Requerimientos de Calidad para artefactos
Web
Características de un conjunto prescrito, esto es, a partir de la
medición directa de un conjunto de atributos. Las 4 características de
significativa importancia para sitios de instituciones educativas según
(Olsina & Rossi, 2002) son: usabilidad, funcionalidad, confiabilidad y
eficiencia.
• Usabilidad: conjunto de atributos que confieren el esfuerzo
necesario para su uso.
• Funcionalidad: atributos que influyen en la existencia de un
conjunto de funciones y sus propiedades especificadas.
• Confiabilidad: conjunto de atributos que le confieren la capacidad
para mantener su nivel de rendimiento.
• Eficiencia: agrupación de atributos que influyen en la relación entre
el nivel de rendimiento del software y la cantidad de recursos
utilizados, bajo las condiciones establecidas.

8. Marco
de
referencia
propuesto
FASE 3: Especificar Requerimientos de Calidad para
artefactos Web
Cada característica se descompone en atributos y sub atributos en lo
posible medibles que se codifican utilizando una tabla.

9. Marco
de
referencia
propuesto
FASE 4: Definir Criterios Elementales e Implementando
Procedimientos de Medición
Definir procedimientos de medición para cada uno de ellos, en lo posible
una estrategia y una escala de valoración; a continuación se muestra un
ejemplo para el atributo Mapa del sitio.
Título: Mapa del sitio; Código: 1.1.1; Tipo: Atributo
Característica de más Alto Nivel: Usabilidad
Super-característica: Organización del sitio
Definición/Comentarios: Este atributo permite una navegación rápida dentro del sitio.
Medición: Verificación visual del componente

10. Marco
de
referencia
propuesto
FASE 5: Definir las Estructuras de Agregación e
Implementando la Evaluación de Calidad Global
Accesibilidad
(0.15)
Deficiencias
varias (0.1)
Rendimiento
(0.05)
Calidad
(1)
Funcionalidad
(0.3)
Usabilidad
(0.3)
Confiabilidad
(0.2)
Eficiencia
(0.2)
Organización
(0.07)
Ayuda
(0.05)
Interfaces
(0.07)
Estilo
(0.05)
Miscelánea
(0.07)
Búsqueda
(0.075)
Recuperación
(0.075)
Navegabilidad
(0.075)
Aspectos de
dominio(0.075)
Errores de
enlace (0.1)

11. Marco
de
referencia
propuesto
FASE 6: Analizar los Resultados Parciales y Globales
Se centrará en analizar la valoración cuantitativa de la calidad
obtenida por cada sitio OCW y en comparativas entre los resultados
obtenidos.

12. Implementación
del
marco
de
evaluación
3. Medición de la calidad global
y elemental cuantificando los
atributos definidos
4. Analizar los resultados
2. Definir metas de evaluación
y seleccionar el perfil de
usuario
1. Definir el dominio y ente de
evaluación de la calidad

13. Implementación
del
marco
de
evaluación
PASO1: Definir el dominio y ente para la Evaluación de la Calidad
Los criterios que se tomaron para la selección de los sitios OCW a
evaluar fueron:
• Número de visitas: Mide la popularidad, se obtuvo el número de
visitas mensuales promedio de cada sitio utilizando la herramienta
trafficestimate; Número de resultados de búsquedas en sitios google:
Mide la visibilidad; se consideraron los resultados de las búsquedas
en: google.com; .us; .ec; y .es.
• Número de recursos: Determina la producción; se obtuvo mediante
observación directa..
• Número de citas en bases de datos científicas: Evidencia la relevancia
científica en torno a OCW. Las bases de datos en las que se realizaron
las búsquedas son: Google Scholar, Elsevier, Web of Knowledge,
IEEE, Scopus, ACM.

14. Implementación
del
marco
de
evaluación
PASO1: Definir el dominio y ente para la Evaluación de la Calidad
Con los datos de los criterios establecidos se obtuvo la muestra con los
cinco sitios OCW institucionales con la mayor puntuación, y se agregan
el sitio OCW de la Universidad Técnica Particular de Loja ya que es el
sitio en donde se implementa la propuesta del marco de referencia de
atributos de calidad propuestos en este documento.
• Massachusetts Institute of Technology (MIT) http://ocw.mit.edu/
• Universidad Politécnica de Madrid (UPM) http://ocw.upm.es/
• Universidad Carlos III de Madrid (UC3M) http://ocw.uc3m.es/
• Delft University of Technology (TUDelft) http://ocw.tudelft.nl/
• TUFS University (TUFTS) http://ocw.tufts.edu/
• Universidad Técnica Particular de Loja (UTPL) http://ocw.utpl.edu.ec

15. Implementación
del
marco
de
evaluación
PASO2. Definir Metas de Evaluación y seleccionar el Perfil de Usuario
La meta de evaluación propuesta es valorar y comprender la calidad global de un
sitio OCW desde el punto de vista del visitante general. El perfil de usuario
evaluador es de usuario visitante no registrado.
Así mismo es relevante mencionar que la evaluación se focaliza esencialmente en
el sitio de la iniciativa OCW como un todo, antes que de cada titulación o curso
individual.
PASO 3: Medición de la Calidad global y elemental cuantificando los
atributos definidos
La medición de las Fases 3, 4 y 5 en las que se definieron las características, sub
características, atributos y sub atributos, los criterios elementales para su
medición, así como las estructuras de agregación que permiten cuantificar la
calidad de un sitio OCW, aplicando las técnicas y escalas definidas se obtiene la
valoración de la calidad de cada sub atributo, atributo, sub carácterística, la
sumatoria de la valoración proporcionan la cuantificación de la calidad por cada
carácterística y finalmente sumadas proporciona la calidad global.

16. Implementación
del
marco
de
evaluación
PASO 3: Medición de la Calidad global y elemental cuantificando los
atributos definidos

17. Implementación
del
marco
de
evaluación
PASO 4: Análisis de Resultados

18. Implementación
del
marco
de
evaluación
PASO 4: Análisis de Resultados

19. Conclusiones
Un buen número de instituciones educativas han decidió incorporar los
OCW como parte de los recursos de aprendizaje, existe la necesidad de
contar con recursos que aporten a los usuarios. Medir la calidad
de los OCW mediante un marco de referencia desde el punto de vista
de producto permite que se pueda establecer criterios de
confiabilidad por parte de los usuarios de los recursos.
El marco propuesto se ha utilizado en una muestra de 6 repositorios
analizados permite tener una aproximación cuantitativa a la
calidad de los sitios OCW, como trabajo futuro se propone
incorporar otras características u atributos medibles, otro aspecto
relevante sería incorporar una priorización de los atributos que ayuden
a tener una mejor aproximación de los resultados; por ejemplo en el atributo
de accesibilidad las sub atributos como la accesibilidad de navegadores y de
dispositivos móviles.

20. Gracias
por
su
atención!!
¿Preguntas?