Guía de evaluación de la usabilidad para herramientas de minería de datos

Ferrari Alve, Santiago Iván
Mariño, Sonia I.

Resumen: Se presenta una propuesta de guía para evaluar la usabilidad en herramientas de minería de datos. Además, se exponen los resultados obtenidos al aplicarla a una herramienta de software libre.

1. Introducción

El estándar ISO 9241 define la Usabilidad como “el grado en el que un producto puede ser utilizado por usuarios específicos para conseguir objetivos específicos con efectividad, eficiencia y satisfacción en un determinado contexto de uso” (ISO 9241-11, 1998).

Siguiendo a Ferre Grau (2001), se vincula la usabilidad de un sistema a usuarios, necesidades y condiciones específicas. Es decir, la usabilidad del sistema no es un atributo inherente al software, no puede especificarse independientemente del entorno de uso y de sus usuarios.

La evaluación de la usabilidad asegura que los productos sean fáciles de usar, eficientes, eficaces y satisfactorios para los usuarios (Hwang, Salvendy; 2010). Existen diversos métodos para la evaluación de usabilidad (Nielsen, Molich; 1990) (Wixon, Wilson; 1997) (Hix, Hartson; 1993)

Nielsen y Molich (1990) clasifican los métodos de evaluación en cuatro categorías:

• Evaluación formal. Realiza la evaluación de la interfaz de usuarios mediante algunos análisis técnicos. Los modelos de análisis formal son actualmente objeto de extensa investigación para poder ser aplicados en proyectos de desarrollo de software real.
• Evaluación automática. Aplica procedimientos computarizados para la evaluación de usabilidad.
• Evaluación empírica. Realiza experimentos con pruebas de usuario, con el objetivo de lograr una completa evaluación del destinatario. Actualmente la mayoría de situaciones prácticas no conducen a evaluaciones empíricas por falta el tiempo, especialización, inclinación, o simplemente tradición para hacerlo.
• Evaluación heurística. Realiza la revisión la interfaz del usuario y genera un informe de acuerdo a la propia opinión.

Por otro lado, la Minería de Datos (MD) o Data Mining (Lorenzo-Montero; 2008) (Villan-Román et. al.; 1993) puede definirse como un proceso de descubrimiento de nuevas y significativas relaciones, patrones y tendencias al examinar grandes cantidades de datos. Es una tecnología de manejo y análisis de información que aprovecha la capacidad existente de procesamiento, almacenamiento y transmisión de datos a gran velocidad y bajo costo (Cervantes-Macías et. al.; 2010). Permite encontrar el conocimiento contenido en las inmensas cantidades de información para aportar a la toma de decisiones y realizar predicciones en una organización.

También recibe esta denominación el conjunto de técnicas y tecnologías que permiten explorar grandes bases de datos, de manera automática o semiautomática, con el objetivo de encontrar patrones repetitivos, tendencias o reglas que expliquen el comportamiento de los datos en un determinado contexto.

Existen una diversidad de herramientas de software desarrolladas bajo licencia GPL (Licencia Pública General). Entre las orientadas a aplicar Minería de Datos se mencionan: WEKA, RapidMiner, Tanagra, Pentaho, Kxen, Orange, SSPS Clementine, Statistica.

En este trabajo se propone una guía para la medición de la usabilidad en herramientas de Minería de Datos. Además, a fin de evaluar dicha guía, se seleccionó como caso de estudio la herramienta RapidMiner.

2. Metodología

Una medida frecuente para evaluar una herramienta es conocer cuántas personas la utilizan. Desde el punto de vista de la usabilidad esta medida resulta insuficiente, ya que no garantiza que el usuario alcance el objetivo deseado al emplearla.

La metodología adoptada para el desarrollo del trabajo constó de las siguientes etapas:

Etapa 1. Selección de la herramienta para la evaluación

Se optó por herramientas orientadas a implementar técnicas de Minería de Datos, eligiéndose RapidMiner. RapidMiner/YALE es un software Open-Source con licencia GNU GPL (Licencia Pública General), basado en JAVA (Fritz; 2007).

Etapa 2. Selección de los parámetros de medición

Se fijaron los parámetros de medición para la herramienta seleccionada, que se sintetizan a continuación (Ferré-Grau; 2001) (Obeso-Alva; 2005):

• Facilidad de aprendizaje: determina en qué medida el usuario comprende cómo utilizar inicialmente la herramienta y cómo a partir de su empleo llega a un nivel máximo de conocimiento y uso de la misma. La facilidad de aprendizaje se propone medir a través de la Ayuda.
• Recuerdo en el tiempo: Para usuarios intermitentes (que no utilizan el sistema regularmente) es vital ser capaces de usar el sistema sin tener que aprender cómo funciona partiendo de cero cada vez.
• Entendibilidad: Los usuarios deben estar habilitados para seleccionar un producto software que sea adecuado para su uso propuesto. El parámetro de entendibilidad valora si los nuevos usuarios pueden entender si el software es adecuado o cómo puede ser usado para tareas particulares. Los atributos del parámetro son:
  Funciones de la interfaz entendibles. Las funciones y/o elementos proporcionados por la herramienta están diseñados o expresados de tal manera que son fácilmente comprendidos por el usuario.
  Explicación clara de requisitos de entrada y salida. Evalúa en qué medida el usuario entiende los datos de entrada requeridos y los que son proporcionados como salida.
  Lenguaje sencillo y breve. El lenguaje utilizado tanto en los mensajes de ayuda/documentación y las funciones son sencillos, breves y acordes.
• Atractivo: Una de las características principales de los productos software es su apariencia estética o la atracción visual, entendiendo que es visualmente atractivo cuando hace uso de colores y gráficos para mejorar el despliegue de la información. La combinación de texto, gráficos y colores usados debe facilitar al usuario entender el contenido.

Etapa 3. Elaboración de una guía de evaluación

Se elaboró una guía de evaluación de usabilidad orientada a su aplicación en herramientas de MD. La misma se basó en los trabajos mencionados en Ferreras-Beltré (2008), Obeso-Alva (2005) y Vera del Campo (2008).

Etapa 4. Evaluación heurística

A fin de localizar problemas asociados a la usabilidad, se aplicó una evaluación heurística, que permite conocer en profundidad la herramienta tanto funcionalmente como sus errores o posibles mejoras.

Siguiendo a Hix y Hartson (1993) y Wixon y Wilson (1997) para que una evaluación heurística sea efectiva, es decir, se encuentre el mayor número posible de errores de usabilidad, es recomendable realizar una serie de tareas, entre las que se mencionan:

• Estudiar previamente la herramienta para familiarizarse con ella.
• Determinar los parámetros de usabilidad.
• Definir, para cada uno de los parámetros, una serie de preguntas para determinar si se cumplen. Realizar una guía de evaluación donde cada una de las preguntas tenga la frecuencia con que aparece el problema así como el impacto del mismo. El criterio utilizado para estimar el impacto de cada una de las preguntas se expone en la Tabla 1.
• Realizar la evaluación heurística de la herramienta rellenando la guía.

Tabla 1. Definición de impacto.

Impacto	Explicación
Bajo (1)	Aunque es recomendable que se cumpla la afirmación su incumplimiento no implica confusión ni error en el usuario. No daría problemas de usabilidad importantes.
Medio (2)	El incumplimiento puede provocar problemas no muy graves de usabilidad aunque conviene resolverlos ya que se facilitaría el funcionamiento del sistema.
Alto (3)	Produce problemas significativos de comprensión y funcionalidad en el sistema por lo que es primordial que el problema sea solventado. Puede provocar problemas graves de usabilidad

Etapa 5. Selección de los usuarios

La selección de usuarios es un elemento fundamental en el proceso de evaluación.

La muestra se compuso de 6 participantes. En su selección se consideró a quienes tuvieron conocimiento de las herramientas mencionadas.

Etapa 6. Revisión y análisis de datos

Se sistematizaron y analizaron los datos relevados a fin de elaborar un informe detallando los problemas y las posibles soluciones.

3.Resultados

En la Tabla 2 se resumen los criterios evaluados y los resultados obtenidos.

Cabe aclarar que: i) Las columnas rotuladas como frecuencia, indican el número de encuestados que manifestaron: afirmativamente, negativamente o no respondieron respectivamente. ii) La columna impacto indica el nivel de complicaciones que manifestaron en el uso de la herramienta. Los niveles posibles de impacto se pueden observar en la Tabla 1, donde 3 significa alto, 2 significa medio y 1 corresponde a bajo.

La asignación de la columna de impacto se obtuvo a partir de los siguientes criterios:

• Si más del 50% de los encuestados respondió la opción "siempre" en la columna frecuencia, corresponde el nivel de impacto bajo (1).
• Si ninguna opción de la columna frecuencia obtuvo más del 50% de las respuestas, corresponde el nivel de impacto medio (2).
• Si más del 50% de los encuestados respondió la opción "nunca", corresponde el nivel de impacto alto (3).

Tabla 2. Resultados de la aplicación de guía de evaluación en la herramienta RapidMiner.

Criterios de usabilidad		Frecuencia			Impacto
		Siempre	Nunca	No respondió
1	Facilidad de aprendizaje
1.1	Facilidad para entender los cambios producidos en las operaciones	2	4	-	3
1.2	Facilidad para entender que datos ingresar y los resultados proporcionados	5	1	-	1
1.3	Desde cualquier punto un usuario puede salir de la herramienta	6			1
1.4	En caso que el proceso requiera varios pasos es posible volver a los anteriores para modificar los datos	6	-	-	1
1.5	La terminología es constante en toda la herramienta	4	1	1	1
1.6	Un mismo elemento aparece igual en toda la herramienta	5		1	1
1.7	Se dan indicaciones para completar campos problemáticos	1	5	-	3
1.8	Se identifican fácilmente las figuras, las tablas, las zonas activas y el tipo de acción que se debe ejecutar	3	3	-	2
1.9	Si una tarea tiene opciones por defecto, están a disposición del usuario	3	2	1	2
1.10	La herramienta no requiere volver a escribir la información solicitada anteriormente	6	-	-	1
1.11	La herramienta soporta el aprendizaje colaborativo	5		1	1
2	Ayuda
2.1	El acceso a la ayuda está en una zona visible y reconocible	6	-	-	1
2.2	La ayuda no interrumpe la tarea del usuario	6	-	-	1
2.3	La ayuda ofrece área de Preguntas Frecuentes con datos de ayuda a usuarios	-	6	-	3
2.4	La herramienta está diseñada para necesitar el mínimo de ayuda y de instrucciones	3	3	-	2
2.5	La ayuda está organizada en pasos	6	-	-	1
3	Recuerdo en el tiempo
3.1	No se necesita recurrir a la ayuda en caso de no recordar el uso de la herramienta	5	1	-	1
3.2	Es fácil de recordar como ejecutar una tarea en la herramienta	3	3	-	2
4	Entendibilidad
4.1	Los mensajes emitidos son fáciles de entender	1	5	-	3
4.2	El mensaje de error propone una solución		6	-	3
4.3	Los tipos y tamaños de letra son legibles y distinguibles	5	1	-	1
4.4	El tamaño de las imágenes e iconos es adecuado para saber qué representan	6	1	-	1
4.5	El lenguaje está más cercano al utilizado por el usuario que al informático o técnico	-	5	1	3
5	Atractivo
5.1	Los títulos son descriptivos y distintivos	6	-	-	1
5.2	No despliega excesiva información en la interfaz de la herramienta.	6	-	-	1
5.3	Se utilizan las ventanas emergentes para mostrar información importante	1	4	1	3
5.4	En los menús desplegables, los elementos de las listas son suficientemente explicativos y se visualizan todos a la vez	1	3	2	2
5.5	La apariencia de la herramienta es agradable y sencilla	2	2	2	2

En la Tabla 3 se presentan datos estadísticos descriptivos de los problemas identificados por los usuarios. Es decir, aquellos parámetros no contemplados en la herramienta evaluada

Tabla 3. Estadísticos descriptivos de los parámetros no contemplados en RapidMiner

Parámetros	Promedio	Desviación estándar	Varianza
Facilidad de aprendizaje	1.4545	0.6876	0,4727
Ayuda	1.6	0.8944	0,8
Recuerdo en el tiempo	2	0.7071	0,5
Entendibilidad	2.2	0.8944	0,8
Atractivo	1.8	0.8367	0,7

4. Discusión

El trabajo se enfocó en la elaboración de una guía de usabilidad basada en tres propuestas anteriores. Asimismo, para validar su aplicabilidad se seleccionó como caso de estudio la herrgamienta de Minería de Datos RapidMiner. A través de la indagación realizada, se concluye que esta herramienta no cumple niveles aceptables de satisfacción del usuario. Atendiendo que RapidMiner es de código abierto los resultados obtenidos podrán aplicarse con miras a modificar la interfaz.

5. Bibliografía

Cervantes-Macías, A; López-Galindo, V. (2010) Minería de datos. Ingeniería Mecánica y Eléctrica de la Facultad de Ingeniería BUAP.

Cohen, S.; Chechile, R.; Smith, G.; Tsai, F.; Burns, G. (1994). A method for evaluating the effectiveness of educational software. Behavior Research Methods, Instruments & Computers, (26) 236 - 241.

Díaz-Antón, G. (2002) Uso de software educativo de calidad como herramientas de apoyo para el aprendizaje. Jornadas educativas: “La escuela como instrumento de cambio”, IEA, Abril, Caracas.

Ferré-Grau, X. (2001). Principios básicos de usabilidad para ingenieros software.

Ferreras-Beltré, H. J. (2008). Aplicación de la usabilidad al proceso de desarrollo de páginas web. Facultad de informática universidad politécnica de Madrid.

Fritz, C.A. (2007). RapidMiner (YALE).

González-Castañón, M. A. (2010). Evaluación de software educativo: Orientaciones para su uso pedagógico.

Hix, D.; Hartson, H. (1993): Developing user interface: Ensuring usability through product y process. New York, John Wiley and Sons.

Hwang, W; Salvendy, G. (2010).Number of People Required for Usability Evaluation: the 10±2 rule. Communications of the ACM, 53 (5), 130-133.

ISO 14598-1. (1998). Information Technology – Evaluation of Software Products – General Guide. ISO,

ISO 9241-11. (1998). Ergonomic requirements for office work with visual display terminals. ISO,

Liu, M., Reed, W. (1995). The effect of hypermedia-assisted instruction on second language learning. Journal of Educational computing Research. 12, 159 –175.

Lorenzo-Montero, J. M. (2008) Minería de datos. Técnicas y procedimientos. ISBN: 978-84-9732492-2.

Mayer, R., Shustack, M. Blanton, W. (1997) What do children learn from using computers in an informal, collaborative setting? Educational Technology, March – April, 39 (2) 27 – 31.

Nielsen, J.; Molich, R. (1990): Heuristic evaluation of user interfaces, Proceedings of the CHI’90. ACM 0-89791-345 0/90/0004-0249. New York, pp.349-256

Obeso-Alva, M. E. (2005). Metodología de Medición y Evaluación de la Usabilidad en Sitios Web Educativos. Universidad De Oviedo. Departamento de Informática.

Vera Del Campo, I.S. (2008). Análisis de Usabilidad del Sistema de Gestión de Contenidos de la Web de la Facultad. Universidad politécnica de Madrid. Facultad de informática.

Villena-Román, J.; Crespo-García, R. M.; García-Rueda, J. J. (2011). Inteligencia en redes de comunicaciones.

Wixon D.; Wilson C. (1997). The usability-engineering framework for product design and evaluation. Handbook of HCI, 2nd edition, Elsevier Science, p653-688

Yildirim, Z.; Yasar, M.; Asku, M. (2001). Comparison of Hypermedia Learning and traditional instruction on knowledge acquisition. The Journal of Educational Research. March- April, 94 (4), 207 – 214.