no solo usabilidad: revista sobre personas, diseño y tecnología

Las viejas encuestas fallan. Descubre la nueva investigación de mercados con We are testers.
¡Pruébanos gratis!

5 de Enero de 2006

El Análisis de la Semántica Latente y su aportación a los estudios de Usabilidad

Jorge y Botana, Guillermo de

Resumen: Los diseñadores web han de tener en cuenta el modelo mental del usuario a la hora de confeccionar cabeceras, títulos, enlaces, links y demás guías a la navegación. La relación semántica entre la representación mental del usuario y las guías que le ayuden a realizar su búsqueda condicionará el éxito de la visita. El análisis de la semántica latente (LSA) ofrece una forma de evaluar objetivamente la conveniencia de estas guías.

Introducción

Cada vez es mayor la preocupación de las grandes entidades por la usabilidad de sus portales. En estos días estamos asistiendo a un ascenso vertiginoso de las operaciones de negocio por medio de la WEB. Podemos realizar infinidad de operaciones por medio de un ordenador y una conexión a red: inversiones bursátiles, operaciones bancarias como transferencias, asegurar vehículos, altas en contratos telefónicos y de acceso a Internet, etc.

Como no podía ser de otra forma, la captación de clientes en este ámbito viene parejo a la seguridad de las comunicaciones y a la facilidad de uso de los servicios ofrecidos. Al ser amplia la competencia, cualquier esfuerzo en la captación y fidelización de los clientes repercute en las cuentas generales. Una forma de captación y fidelización es hacer que los portales corporativos sean cómodos, ágiles, con un uso restringido a cortos periodos de tiempo por operación. En definitiva, conseguir que el usuario del servicio no abandone por el simple hecho de no comprender el funcionamiento o considerar que invierte un periodo excesivo de su tiempo.

El estudio de la usabilidad trata de estudiar todo lo que concierne a las variables de factor humano en el uso de las aplicaciones. En un artículo de New York Times 17-12-2000 encontramos un ejemplo de la evolución sufrida por la compañía Fidelity Investments y cómo la usabilidad ha contribuido a mejorar estos resultados. Esta empresa optó por invertir en investigación referente al factor humano en sus aplicaciones WEB y cuenta en su departamento de "human interface design" con un equipo de 14 personas además de disponer de dos laboratorios para realizar test de usabilidad. Los resultados se podrían resumir en que los clientes del broker de Fidelity aumentaron en un 37% sus operaciones por Internet. El 57% de sus altas en planes de pensiones fueron realizadas on-line. Según remarca la revista Business 2.0 Octubre 2002 en un seguimiento de este hecho, después de rediseñar el sitio de nuevo haciendo más clara la información que los usuarios debían tener más a mano, el número de operaciones creció en un mes el 4%. Esto puede darnos una idea de la importancia que tiene la forma de guiar al usuario hacia la información.

Un estudio de la empresa Usolab (2002) advierte de la existencia de términos frecuentemente utilizados en las web de banca que no son entendidos por un alto porcentaje de usuarios. Son términos que por ser muy usados en el lenguaje financiero, acaban por formar parte del lenguaje común del personal de banca, de tal forma que no se repara en la posibilidad de que los usuarios "no bancarios" no los conozcan.

Este estudio evidencia la importancia del diseño de los interfaces y en especial, el diseño de los enlaces y guías con contenido semántico. Los usuarios de la WEB y del software en general están continuamente aplicando su propio conocimiento semántico cuando navegan.

Por ejemplo, para realizar una búsqueda, el usuario encontrará en su camino enlaces o "links" que le indicarán la ruta a seguir. La cantidad de información y la forma en que varios enlaces solapen su significado extensional, es decir, parezcan referirse a los mismos objetivos, hará o no que los usuarios dilaten el tiempo invertido en la búsqueda a riesgo de que abandonen finalmente nuestro portal y recalen en otro.

La proliferación de los servicios ofrecidos vía WEB hace probable que el tiempo y el numero de "clicks" que un usuario considere aceptable para dar con lo que busca sea relativamente bajo. Por eso, los diseñadores de los portales WEB (en especial los de grandes compañías), son cada día más sensibles a introducir protocolos de usabilidad en los portales que construyen. En otras palabras, hacer un diseño centrado en el usuario.

Modelo Semántico del Usuario

Además de su diseño visual, copioso es el caudal de razones que inclina a considerar protocolos que contengan como sustrato el modelo mental del usuario, es decir, el modelo semántico que cada usuario posee del mundo que le rodea. Este modelo semántico de los usuarios, expresaría cómo las palabras se relacionan unas con otras y de qué manera las agrupaciones de estas palabras (enlaces de más de un término) se parecen entre sí.

Algunos de los fenómenos empíricos que pueden encontrarse son los siguientes:

  1. Los usuarios aplican de continuo su conocimiento semántico mientras buscan en la web. (Kaur, Hornof; 2005)
  2. Por regla general, los usuarios no evaluan todos los items disponibles (enlaces y cabeceras) antes de seleccionar el que consideran acertado (Brumby, Howes; 2003). En registros oculográficos se consigna que los sujetos se saltan candidatos.
  3. Incluso los factores visuales más primitivos están influidos por las propiedades semánticas de los apoyos a la búsqueda (Pierce; 1992). Procesos Arriba-abajo, (top-down). Esto significa que la percepción del diseño gráfico de las aplicaciones o portales estará influido por cómo los usuarios consideren las indicaciones de los enlaces, cabeceras y demás indicaciones lingüísticas e icónicas.
  4. Según los datos empíricos, los usuarios tienden a elegir los enlaces del menú que porten más información (más pistas hacia sus propósitos) (Brumby, Howes; 2004). Es decir, realizan una bondad de ajuste entre la representación propia de la meta y las indicaciones proporcionadas por el diseño.
  5. La elección del ítem (enlace) viene afectada por la información de los ítems que le rodean (Brumby, Howes; 2004). La selección entre los ítems examinados está afectada no sólo por la información del ítem que nos lleva a la consecución de la meta propuesta sino por la información de los ítems distractores.
  6. La similitud subjetiva percibida por el usuario entre la información deseada y los enlaces es dependiente del valor informativo de los otros enlaces (Brumby, Howes; 2004). La manera en que los usuarios verbalicen que el enlace indica la ruta hacía una información buscada es dependiente de los demás enlaces.
  7. Además de saltarse candidatos, los usuarios acotan los candidatos a ser elegidos en subconjuntos cada vez más pequeños (Brumby, Howes; 2004). Fijan su foco atencional en subconjuntos más pequeños de ítems (enlaces), es decir, siguen heurísticos que propician la simplificación de la información proporcionada por los propios enlaces en menos candidatos y prescinden de algunos por no considerarlos semánticamente pertinentes en una primera evaluación.

    Esto puede considerarse similar al modelo de análisis racional de solución de problemas de Anderson (1990). Este modelo se basa en la evaluación de la utilidad de una reevaluación medida en costes y beneficios. Los ítems son evaluados en la medida en que se supone que evaluando otro se consigue una ganancia adicional que supere el coste de esta última evaluación. Por tanto, los sujetos son conservadores a la hora de buscar nuevos ítems que tengan mejores pistas hacia la meta y acotan los candidatos en subconjuntos para realizar reevaluaciones.
  8. Cuando el ítem que indica la información buscada (la meta), lo hace de manera diferenciable (no hay otros enlaces que parezcan indicar esa misma información), los usuarios son mucho más rápidos en seleccionar ese ítem y lo hacen con una mayor seguridad pues fijan su atención en menos ítems después de la fijación inicial. (Brumby, Howes; 2004)
  9. Controlando los ítems (enlaces) confundibles entre ellos, su familiaridad medida en la frecuencia de uso y su representatividad en relación a la información deseada se mejora de forma palpable el porcentaje de aciertos, el número de "clicks" empleados y el tiempo invertido. (Blackmon, Kitajima y Polson; 2003) (Blackmon, Mandalia; 2004)

Todos estos datos y algunos otros pueden agruparse en un corolario común: existe una interdependencia de los enlaces, cabeceras y demás guías del menú en cuanto a su evaluación y consiguiente elección. En líneas generales, el hecho de que un usuario fije su atención en uno de los enlaces depende de la recurrencia de la información que porta este enlace además de la recurrencia de la información que portan los demás enlaces que han sido evaluados. Además, los usuarios son sensibles a la familiaridad de los términos de los enlaces y a como de representativos son esos mismos términos en relación con el tópico que es motivo de la búsqueda.

Paseo Cognitivo

Uno de los modelos que se han aplicado para detectar los problemas de representación semántica que pueden estar interfiriendo en el uso o navegación de una aplicación ha sido el llamado "Cognitive Walkthough for the Web" (CWW) o "Paseo Cognitivo para la Web" (Blackmon et al.; 2002) (Blackmon, Mandalia; 2004). Este modelo orientado a su aplicación trata de detectar los problemas derivados de los términos utilizados como guía (enlaces, cabeceras, "links") para la consecución de un objetivo.

El modelo CWW es heredero de otro modelo llamado simplemente "Cognitive Walkthough" (CW) o "Paseo Cognitivo" propuesto por Polson et al. (1996).

El Paseo Cognitivo trata de pronosticar los problemas que tendrán los usuarios en el uso de una aplicación. Para ello, simula la navegación de los usuarios asumiendo que todas las acciones de este irán destinadas a la consecución de una meta. Este modelo identifica los problemas de usabilidad simulando paso a paso en una interfaz la conducta del usuario en una tarea dada.

El equipo de expertos que lleva a cabo la simulación ha de contestar a un protocolo de preguntas claves:

  1. ¿Está clara para el usuario la acción correcta para la consecución de las metas?
  2. ¿Identificará el usuario la descripción de la acción correcta con lo que él trata de hacer?
  3. ¿Interpretará el usuario correctamente la respuesta del sistema para una acción?

El modelo "Cognitive Walkthough for the Web" (CWW) asume como herencia los postulados de este anterior modelo pero introduce mejoras en cuanto a costes y efectividad. Como el anterior, concibe que el usuario siempre tiene un propósito. CWW propone que para generar una acción en busca de este propósito (apretar un botón, un enlace, un "link", etc), el usuario involucra dos procesos:

  1. Divide la página en regiones y atiende a las regiones correctas (aquellas cuyas descripciones están de acuerdo con sus propósitos)
  2. Elige un enlace y actúa sobre él.

Fruto de estos dos procesos, el modelo CWW toma el anterior protocolo de preguntas pero introduciendo dos preguntas fundamentales que emanan de la pregunta número 2.

2a) ¿Identificará el usuario el título de la subregión correcta con la representación propia del propósito que desea llevar a cabo?
2b) Usando los enlaces, "links" y otra clase de informaciones en dichas subregiones ¿identificará el usuario las descripciones de estos controles como "pistas" que indican una posible consecución del propósito de lo que quiere llevar a cabo?

Para evaluar estas preguntas, CWW introduce el uso de un modelo de conocimiento de un usuario prototipo. No sólo simula este conocimiento con expertos sino que lo hace modelando el conocimiento que el usuario trae consigo a la hora de enfrentarse con nuestra aplicación.

Para evaluar si las descripciones de títulos y enlaces son identificados por el usuario como la propia senda hasta la consecución de su propósito, lo que hace este modelo es analizar si los términos que se utilizan pueden estar incurriendo en alguno de los problemas que emanan de los hechos empíricos anteriormente descritos, a saber: los sesgos en la selección provocados por la interdependencia de las descripciones de títulos y enlaces, la familiaridad de las descripciones y la representatividad que estas tienen del propósito o meta del usuario. Si los términos de las descripciones incurren en algún tipo de problema, habrá que retirarlos y sustituirlos por otros.

Para evaluar estos términos y su conveniencia, hace uso de un modelo de representación mental de los usuarios. Este modelo mental es una representación semántica de los términos en la mente de los usuarios, es decir, cómo los usuarios tienen representados los términos en su modelo mental y cómo, a consecuencia de esa representación, se relacionan unos con otros.

Si poseemos un modelo de la representación mental de los usuarios podemos analizar los enlaces que encontramos en una aplicación y optimizarlos para que haya una navegación ágil y sin los problemas que emanan de los hechos antes descritos. Una forma de disponer de dicho modelo es emplear una técnica como el Análisis de la Semántica Latente.

Análisis de la Semántica Latente

El Análisis de la Semántica Latente o Latent Semantic Analysis (LSA) es un modelo computacional que aprovecha un fenómeno que se suele cumplir en el lenguaje natural: las palabras del mismo campo semántico suelen aparecer juntas o en similares contextos.

Este modelo es susceptible de implementarse como aplicación informática. Yo mismo he implementado una aplicación para este análisis en la plataforma .NET, pero es famosa por ser de los mismos creadores la de la Universidad de Boulder accesible libremente por WEB.

El procedimiento analiza un corpus lingüístico de grandes dimensiones. Este corpus será representativo de un uso general de la lengua en un usuario prototípico (ej: adultos, niños, estudiantes, etc). El producto final de este análisis es un espacio semántico-vectorial en el que están representados todos los términos a los que el usuario ha sido expuesto. Estos contextos vendrán en forma de documentos (ej: frases, párrafos o páginas) en los que esos términos aparecen y serán los que acotaran el uso de unos términos en concurrencia con otros y la probabilidad en que otros términos sean utilizados en estos mismos documentos.

De una manera no técnica, lo que lleva a cabo el análisis de la semántica latente es eliminar el ruido que está presente en las relaciones entre términos y documentos y es debido a la gran variabilidad de uso de términos para expresar un mismo referente (se usan diferentes palabras para designar lo mismo). Esto lo realizará por medio de una variante del análisis factorial llamada Descomposición del valor singular (SVD) que por medio de un algoritmo recursivo, descompondrá la matriz que representa los términos y los documentos en que ocurren en dos matrices que representan vectores de términos y documentos y una matriz diagonal en los que se encuentran en orden descendente los valores singulares que representan las relaciones que mantienen ambas matrices de vectores singulares.

esquema desglose de matrices
Figura 1: Desglose de la matriz principal en las dos matrices de vectores singulares y una matriz diagonal de valores singulares. Será a partir de este desglose desde donde se reducirán las dimensiones tomando sólo las que más capacidad tienen para diferenciar diferentes regiones semánticas. (generalmente las 300 primeras).

De otra forma, La técnica SVD devolverá un desglose de las relaciones que se mantienen en la matriz original. Para liberar la relación de ruido, teniendo la matriz desglosada conforme a sus relaciones, podemos reconstruir la matriz inicial pero tomando en consideración sólo las dimensiones que hacen más fuerte la relación entre términos y documentos. Esto se hará tomando los valores singulares más altos y volviendo a multiplicar las tres matrices pero reduciendo sus dimensiones a las mismas que valores singulares hayamos considerado.

Una analogía muy gráfica de cómo funciona la técnica, la proporciona un artículo de Yu et al. (2004):

"Imaginemos que tenemos un acuario de peces tropicales y tan orgullosos estamos de tenerlo que qué deseamos fotografiarlo para una revista especializada. Para capturar la mejor foto, elegiremos el mejor ángulo que garantice la mejor toma. Además, nos aseguraremos de que en ella salgan visibles el máximo número de peces sin ser solapados por otros peces. Tampoco queremos que los peces salgan todos juntos en una masa sino que los queremos mostrar bien distribuidos en el agua. Como nuestro acuario es transparente, tomaremos diversas fotos desde diferentes puntos de vista y elegiremos la que mejor se adapte a lo antes descrito".

En definitiva, lo que hace la técnica es mediante la recursividad (hacer varias fotos), buscar las dimensiones que mejor permitan una diferenciación de las "bolsas semánticas” (peces) en las que los términos participan. Una vez hecho esto, elegiremos sólo las dimensiones que mejor caractericen estas bolsas sin restringir el número de estas, tanto que la representación semántica quede muy grosera, ni elegir demasiadas haciendo que las posibles diferencias se difuminen.

foto de acuario

Figura 2: Solo los amantes de los acuarios saben la satisfacción que se experimenta con una imagen así, casi tanta como al agrupar los términos en torno a conglomerados semánticos mediante LSA y poder comparar términos, documentos y texto libre.

Así pues, si poseemos un modelo mental de las relaciones semánticas que manejan los usuarios a la hora de enfrentarse con nuestra interfaz, podríamos predecir los ítems que resultaran deficientes y sustituirlos por otros. Es decir, si los ítem son interdependientes unos de otros y la información semántica influye hasta en el mismo diseño, debemos aislar los grupos de ítems que son confundibles unos con otros en cuanto a la representación de la meta, los ítems que no son para nada representativos de ninguna meta pues apenas evocan información relacionada con ella, los ítems poco familiares bajo el modelo mental del usuario, etc. Ahí es donde se introduce LSA como simulación de modelo mental de distintos tipos de usuario (grupos sociales). Una buena explicación de LSA como modelo la tenemos en Landauer, Foltz y Laham (1998).

En definitiva, el modelo mental proporcionado por el análisis de la semántica latente (LSA) hace algo que ni siquiera los expertos entrenados en usabilidad y psicología cognitiva pueden hacer: predecir las acciones que llevará a cabo un grupo de usuarios cuyo modelo mental o sustrato de conocimiento es muy diferente al de estos mismos expertos. De alguna manera, la simulación del modelo mental de los usuarios enriquece sobremanera la evaluación (Blackmon; 2004).

Una vez que poseemos un modelo mental de la representación semántica de un determinado perfil de usuario que utilizará nuestra aplicación, podemos realizar el análisis de la interfaz.

Análisis de la Interfaz

El primer paso es formular cuales son los propósitos o metas que desea conseguir el usuario cuando entra en una página web como la que se está analizando. Lo ideal es entrevistar a potenciales usuarios y hacer una lista de sus propósitos de tal manera que nos describan que información es la que desean encontrar.

Hecho esto, el modelo introduce ciertos parámetros a medir:

I) SIMILITUD:

Al permitir LSA medidas de similitud entre los vectores representados en la matriz, sean estos términos, documentos o documentos introducidos a posteriori, podemos medir de qué manera se relacionan los títulos y enlaces entre sí (en qué medida se confunden entre sí) y cómo se relaciona el título o enlace que se considera correcto con el texto o meta final (en qué medida porta información sobre la meta).

  1. Se considera que una enlace considerado correcto proporciona pocas "pistas" de la meta a encontrar si la similitud entre los dos medida con el coseno del ángulo que dejan los dos vectores entre si no llega a 0.10 (coseno<0.10)
  2. Se considera que dos títulos o enlaces son confusos entre si, si el índice de similitud entre ellos medido de la misma forma es mayor que 0.60. (coseno>0.60)

representación tridimensional de un espacio vectorial

Figura 3. Vectores en un espacio tridimensional. Los vectores del espacio semántico-vectorial que representan términos y documentos, son susceptibles de comparación calculando el coseno del ángulo que queda entre dos vectores.

II) FAMILIARIDAD:

Se consideran dos formas de medir la familiaridad de los términos. La primera es medir la frecuencia de aparición de un término en un corpus representativo del conocimiento de nuestro usuario prototipo. La segunda es acudiendo otra vez al modelo semántico-vectorial generado por el análisis de la semántica latente (LSA) y consignando la longitud del vector que representa ese término. Esta medida dará cuenta de la cantidad de información que porta un término. Puede decirnos "cuanta información posee el análisis LSA de ese vector.

Los términos sobre los que el análisis porta más información tendrán vectores con mayor longitud porque aparecen muy frecuentemente en el corpus en diversos contextos. Lo que muestra esta longitud es que ese término está bien representado en los documentos y podría representar bien alguno de los conglomerados que se forman dentro del universo semántico Kintsch (2001). Si un término posee un índice alto de similitud con un tópico, interesa que sea familiar pues se deduce que los usuarios conocen bien el término.

  1. Para la primera forma es necesaria una frecuencia de 15 en adelante.
  2. Para la segunda forma se hace necesaria una longitud de vector superior a 0.55 para una palabra y mayor de <0.80 para las estructuras complejas de varias palabras (recordemos qué la longitud de un vector frase es mayor que la de un vector término y a su vez, ambas longitudes son menores que la del vector párrafo). Toda longitud menor de estos umbrales serán considerados insuficientes.

Un Caso de Estudio

Un caso analizado por Blackmon y Mandalia (2004) utilizando la aplicación computerizada del CWW que ellos mismos diseñaron es el análisis sobre los enlaces y cabeceras del interfaz de la enciclopedia ENCARTA.

Para una mayor parsimonia experimental diseñan una interfaz simplificada en la que se homogeniza el diseño y la ubicación de enlaces y cabeceras. En una caja de texto en la parte superior se ofrecía a los sujetos experimentales un párrafo sobre un tema y la tarea consistía en pinchar en donde buscarían sobre él. Los temas podían ser desde razas, tipos de música, cibernética, etc, pero ningún texto contenía palabras no-familiares.

Tanto los modelos de espacio semántico surgidos del análisis LSA como usuarios reales de distintos niveles escolares son testados en la tarea. Primero se pronostican los problemas con los modelos de usuario LSA y luego pasan los usuarios reales. De los 154 enlaces que conectan con los temas, tomando diferentes espacios semánticos, el modelo pronostica que 79 son no-familiares para los niños de tercer grado, reduciéndose esta cifra a 27 en el espacio semántico de sexto grado.

En definitiva, el pronóstico sería que por ejemplo, un niño de tercer grado tendría bastantes problemas de usabilidad a la hora de buscar un artículo en la enciclopedia ENCARTA. Palabras como Paleontología (0.06), lo oculto(0.08), arqueología(0.10) ofrecerían dificultades a un niño de tercer grado dado su baja longitud de vector. Serían palabras no-familiares.

Para solucionar esta falta de familiariad se puede optar por añadir a la existente otra más familiar o sustituirla por otra más familiar. Por ejemplo, sustituir "Paleontología" por "paleontología y fósiles".

El siguiente análisis se hace en relación a la similitud y representatividad que tiene cada enlace de sus respectivos temas a buscar y cada cabecera de sus enlaces además de la similitud de cada enlace meta con los demás enlaces.

Para ello se relaciona mediante el análisis de similitud de los cosenos cada texto del tema a buscar con un pequeño texto compuesto de las palabras que más tienen relación con cada enlace (link) y cada cabecera con sus enlaces. Esto dará cuenta de si hay enlaces y cabeceras compitiendo entre si y si los enlaces representan el texto a buscar.

Un ejemplo: bajo la tarea "Buscar un artículo sobre Hmong" compiten las cabeceras "ciencias sociales" con el enlace "países". En la cabecera "Historia", hay tres enlaces compitiendo por ese misma meta como son "Historia de Asia y Australasia", "Historia de Estados Unidos" y "Gente de los Estados Unidos" , y en "Geografía" los enlaces "países" y "regiones del mundo" se solapan entre si.

Una posible solución sería hacer enlaces múltiples desde cada una de los enlaces o agrupar pues sino estaríamos ante muchos enlaces que resultan confundibles entre ellos.

Las correlaciones de los pronósticos con usuarios reales medidas estas antes y después de corregir los problemas pronosticados por el sistema corroboraron que los pronósticos eran acertados. Los modelos proporcionados por los espacios semánticos surgidos del análisis LSA (de cada uno de los grupos) parecen ser eficientes a la hora de usarse como usuarios prototipo de cada grupo y detectar sus posibles problemas.

Bibliografía

Compartir:

Facebook Twitter Google LinkedIn

Acerca del autor/a:

Guillermo de Jorge y Botana es Licenciado en psicología por la Universidad Complutense de Madrid y Magíster en Psicolingüística Aplicada. Actualmente es Doctorando de la universidad Complutense de Madrid y prepara su tesis sobre la técnica de Análisis de la Semántica Latente (LSA) como modelo informático de la comprensión del texto y del discurso: una aproximación distribuida al análisis semántico. A su vez, trabaja como Lingüista computacional en Soluziona.
Contacto: jorgeybotana@psi.ucm.es

Citación recomendada:

Jorge y Botana, Guillermo de (2006). El Análisis de la Semántica Latente y su aportación a los estudios de Usabilidad. En: No Solo Usabilidad, nº 5, 2006. <nosolousabilidad.com>. ISSN 1886-8592


No Solo Usabilidad - ISSN 1886-8592. Todos los derechos reservados, 2003-2016
email: info (arroba) nosolousabilidad.com
Powered by Calmly Writer