Métodos sin usuarios

Valéria Farinazzo Martins1, Cristina Cachero2, Yenny A. Méndez A.3

1Universidade Presbiteriana Mackenzie

2Universidad de Alicante

2Universidad Mayor

Resumen: Poco a poco, los desarrolladores de software van tomando conciencia de la importancia de realizar una buena evaluación de la usabilidad de sus soluciones tecnológicas. Hay varios métodos para esto: los que involucran a los usuarios y los que no, cada uno con sus fortalezas y debilidades. Este capítulo presentará cuatro de los principales métodos para evaluar la usabilidad sin involucrar usuarios: paseo cognitivo, evaluación heurística, revisión de guías y revisión de consistencia. Al final, se presenta un caso de estudio sobre un sistema de Realidad Aumentada sobre el que se ha aplicado una evaluación heurística.

1. Introducción

Los métodos sin usuarios (también conocidos como métodos de inspección de usabilidad (Mack & Nielsen, 1995)) utilizan evaluadores experimentados (especialistas en usabilidad, consultores de desarrollo de software, especialistas en algún estándar de interfaz, investigadores de experiencia de usuario, entre otros) (Vieira & Baranauskas, 2003) y principios reconocidos de ergonomía, usabilidad y cognición. Los métodos varían en la forma en que se da la opinión y en los criterios sobre los que se espera que el evaluador base su opinión (Vieira & Baranauskas, 2003; Sommerville, 2011).

En comparación con los métodos con usuarios, en los métodos sin usuarios, como principal ventaja,  hacen falta menos participantes (normalmente entre tres y cinco expertos (Nielsen, 1992)), que suelen detectar un mayor número de problemas potenciales, por lo que el coste y el tiempo necesario para realizar el estudio suelen ser menos elevados. El principal inconveniente de estos métodos es que no permiten detectar cuáles de esos problemas son los más críticos desde el punto de vista de los usuarios finales.

Dentro de los métodos de inspección sin usuarios, se pueden distinguir tres tipos de técnicas en función de sus objetivos: técnicas de modelado analítico (enfocadas a la tarea), técnicas de simulación (enfocadas a la predicción) y técnicas de inspección basadas en listas de comprobación (enfocadas a la detección de problemas más generales).

En las técnicas de modelado analítico los evaluadores parten de un modelo cognitivo y/o de rendimiento de las tareas que se quieren testar. A continuación, los evaluadores ejecutan la tarea paso a paso, siguiendo un proceso sistemático y enriquecido por ese modelo preexistente. Los métodos de modelado analítico permiten por tanto centrarse en problemas relacionados con el diseño de tareas. Dentro de este grupo destacan, por un lado, el paseo cognitivo (Mahatody, Sagar & Kolski, 2010), centrado en la detección de problemas cognitivos cuando el usuario utiliza la interfaz por primera vez, y por el otro el análisis de acción (en su versión formal y ágil o ‘back of the envelope’) y el análisis GOMS (Goals-Operators-Methods-Selection Rules) (John & Kieras, 1996), centrados en la predicción del rendimiento del usuario al ejecutar la tarea.

Las técnicas de simulación van un paso más allá de las técnicas analíticas, y buscan la automatización de las interacciones de los usuarios en base a teorías formales, a menudo con un alto componente matemático. De este modo es posible comparar distintas interfaces de manera muy rápida y predecir su rendimiento. Estas técnicas se utilizan sobre todo para técnicas de entrada de información, debido a que el rendimiento del sistema motor de las personas es probablemente el área mejor cuantificada de HCI. Un ejemplo de uso de este tipo de métricas puede verse en Zhai, Kristensson, & Smith (2005), donde se explica el proceso para la creación de una interfaz de entrada de texto para móviles basada en trazos (swipe typing).

Por último, las técnicas de inspección basadas en listas de comprobación requieren la provisión de una serie de criterios a un grupo de expertos, que deben revisar el diseño de manera individual y agregar posteriormente sus resultados. Dentro de este grupo, las dos técnicas más conocidas son la Evaluación Heurística y las Inspecciones Formales.

En la Figura 1 puede verse un mapa mental donde se recogen los principales métodos de evaluación sin usuarios. En dicho mapa, se han marcado en cursiva los métodos en los que se ha profundizado en este capítulo.

Figura 1. Mapa mental de los principales métodos de evaluación sin usuarios. Fuente: Creación propia

A la hora de elegir la técnica más apropiada, es importante tener en cuenta las propiedades psicométricas de los resultados obtenidos:

  • Confiabilidad de las métricas: ausencia de error en la medición. ¿Cuál sería el grado de consistencia y estabilidad de las medidas si se volviese a aplicar la técnica con los mismos instrumentos pero cambiando los sujetos (usuarios o expertos)?
  • Generalizabilidad: ¿Son generalizables los resultados obtenidos a una población más general?
  • Realismo: ¿Reflejan los resultados lo que se observaría en el mundo real?
  • Coste: ¿Cuánto cuesta aplicar la técnica (monetario, tiempo), en relación con el resultado que espero obtener?

A continuación, presentamos cuatro de los métodos más conocidos: evaluación heurística, revisión de guías, revisión de consistencia y paseo cognitivo. Los tres primeros son métodos de inspección, mientras que, en el caso del paseo cognitivo, se trata de un método analítico.

2. Métodos de inspección basados en listas de comprobación

Gran parte del trabajo de inspección consiste en clasificar y contar el número de problemas de usabilidad (aspectos de la interfaz de usuario que pueden reducir la usabilidad al usuario final del sistema) que presenta la interfaz. Estos problemas de usabilidad reciben grados de severidad para que los problemas más serios sean tratados con mayor prioridad que los menos importantes (Vieira & Baranauskas, 2003). A veces, también se añade una puntuación de frecuencia del error, que permite predecir el coste del arreglo.

2.1. Evaluación heurística

La mayoría de los métodos de inspección tienen un efecto significativo en la interfaz final solo si se utilizan durante el ciclo de vida del proyecto, lo que efectivamente no ocurre en la mayoría de los casos, ya sea porque son costosos, difíciles o consumen mucho tiempo (Vieira & Baranauskas, 2003). Al investigar este problema, Nielsen (1994) propone lo que él llama ingeniería económica de usabilidad. La evaluación heurística es el método principal de esta propuesta.

Este tipo de evaluación involucra a un pequeño grupo de evaluadores (3 a 5 evaluadores, en general) que examinan la interfaz y juzgan sus características, en vista de principios de usabilidad reconocidos, definidos por una heurística (Nielsen, 1994). La evaluación heurística se realiza primero de forma individual. Cada evaluador, durante la sesión de evaluación, pasa por la interfaz varias veces, inspeccionando los diferentes componentes del diálogo y al verificar los problemas, estos se relacionan con las heurísticas no consideradas. Se asigna un valor a los problemas de usabilidad, dependiendo de su gravedad, para que los problemas más graves se traten con mayor prioridad que los problemas menos importantes. En (Granollers, 2014) está disponible una plantilla de hoja de cálculo realizada por el grupo GRIHO de la Universidad de Lleida (España) que facilita la realización de una Evaluacion Heurística.

Una escala a utilizar se presenta a continuación (Nielsen, 1995):

  • 0 (cero): no es necesariamente un error de usabilidad;
  • 1 (uno) – Problema estético: no es necesario corregirlo a menos que haya tiempo disponible.
  • 2 (dos) – Prioridad baja: problema menor de usabilidad.
  • 3 (tres) – Alta prioridad: problema importante de usabilidad.
  • 4 (cuatro) – Catástrofe: se requiere solucionarlo de inmediato.

 

Las heurísticas son, de hecho, reglas generales que apuntan a describir propiedades comunes de interfaces usables (Nielsen, 1994). A continuación se presentan las 10 heurísticas propuestas por Nielsen (2005):

  1. Visibilidad del estado del sistema: en un tiempo razonable, el sistema mantiene informado al usuario sobre lo que está sucediendo en el sistema.
  2. Compatibilidad del sistema con el mundo real: el sistema utiliza un lenguaje común para los usuarios, en lugar de términos técnicos y específicos.
  3. Control y libertad del usuario: proporciona una salida de emergencia claramente etiquetada, lo que permite a los usuarios salir fácilmente de situaciones inesperadas.
  4. Consistencia y estándares: evita que el usuario tenga que pensar si diferentes acciones o situaciones significan lo mismo.
  5. Prevención de errores: evitar, siempre que sea posible, la aparición de errores.
  6. Reconocimiento: hacer que los objetos, acciones y opciones presentes en la interfaz, estén siempre visibles.
  7. Flexibilidad y eficiencia de uso: brinda opciones que optimizan la experiencia de los usuarios más experimentados.
  8. Estética y diseño minimalista: evita el uso de información ajena.
  9. Ayuda a los usuarios a reconocer, diagnosticar y recuperarse de errores: utiliza un lenguaje simple para presentar errores y muestra cómo solucionarlos.
  10. Ayuda y documentación: proporciona información que se encuentra fácilmente y guía a los usuarios a través de sencillos pasos.

Al final de esta etapa inicial, las listas elaboradas por los evaluadores se consolidan en una única lista. Por lo general, una sesión de evaluación dura aproximadamente 2 horas, pero según el tamaño o la complejidad de la interfaz, se recomienda dividirla en varias sesiones que cubren escenarios específicos. A continuación se presenta un resumen de las principales actividades de una evaluación heurística (Tabla 2) (Barbosa & Silva, 2010).

Tabla 1. Resumen de las actividades y tareas de la Evaluación Heurística (adaptado de Barbosa & Silva, 2010)

Además, el evaluador también puede considerar heurísticas específicas para la categoría del producto que se analiza. Vale la pena contextualizar que cuando la heurística fue ideada por Nielsen, en la década de 1990, los sistemas comenzaron a migrar a las páginas web. Así, estas heurísticas son bastante generales y se pueden adaptar según el tipo de sistema que se utilice. Por ejemplo, Salvador, Oliveira Neto y Guimarães (2009) propusieron otras heurísticas para evaluar la interfaz de usuario basada en voz, Sutcliffe y Gault (2004) propusieron heurísticas para evaluar sistemas de Realidad Virtual y Pacheco et al. (2018) propusieron una reinterpretación de las heurísticas de Nielsen para evaluar objetos de aprendizaje en Realidad Aumentada.

Se recomienda ampliamente revisar la información que se presenta en (Granollers, 2014) sobre evaluación heurística. Se dispone de referencias, videos, ejemplos, y recursos adicionales.

2.2. Revisión de estándares y guías

En este tipo de revisión, el experto compara un conjunto de pautas previamente establecidas. A diferencia de la evaluación heurística, en la revisión de guías se utilizan usualmente entre 10 y 200 pautas, de ahí que suelen ser más exhaustivas, pero se requiere mayor inversión de tiempo para su ejecución (Lazar, J.; Heidi, J & Hochheiser, H., 2017).

Algunas pautas utilizadas se presentan a continuación:

  • Guía de accesibilidad de contenido web (WCAG, por sus siglas en inglés Web Content Accessibility Guidelines) (W3C,2018): incluye recomendaciones para hacer contenido web más accesible, para personas con discapacidad, incluyendo personas ciegas, con baja visión, sordera, pérdida auditiva, discapacidad en el habla, algunas relacionadas con discapacidades de aprendizaje y limitaciones cognitivas, entre otras.
  • Guías de diseño para la usabilidad de la página de inicio (Nielsen, 2001): se propone un listado de 113 lineamientos que son “críticos para el éxito de la usabilidad de la página de inicio” de sitios web.
  • Research based Web Design and Usability Guidelines, compiladas por el US Department of Health and Human Services (Leavitt & Shneiderman, 2006) con el fin contribuir al desarrollo de aplicaciones Web gubernamentales más fáciles de utilizar para la ciudadanía. Incluye un conjunto de 209 recomendaciones, todas ellas basadas en la investigación empírica existente en el momento de su publicación.

Además, en numerosas investigaciones se muestra cómo es posible que el equipo de desarrollo genere sus propias guías de diseño en base a la literatura relacionada, su conocimiento experto y/o la retroalimentación de la audiencia para la que están desarrolladas. Para ello es conveniente seguir un proceso sistemático como el mostrado en (Zaphiris, Kurniawan & Ghiawadwala, 2007) para el desarrollo de guías de diseño para personas de edad avanzada.

2.3 Revisión de consistencia

En ese tipo de revisión, el evaluador verifica la coherencia dentro de una familia de interfaces, en términos de terminología, colores, diseño, formatos de entrada y salida, y todo lo demás dentro de la interfaz (Vieira & Baranauskas, 2003).

Dentro de este tipo de revisión, se pueden encontrar algunos desafíos. El primero es mantener la coherencia al mantener el software. En otras palabras, los cambios o adiciones de funcionalidad en los sistemas existentes deben asegurar que las pantallas tengan el mismo tipo de características, por ejemplo, la ubicación de los botones, el orden de los textos en los botones, etc. Un segundo desafío es mantener la consistencia de las interfaces en el software libre, ya que son construidas y modificadas por varias personas que pueden no seguir los estándares iniciales por desconocimiento o porque no comprenden la importancia de tal consistencia.

2.4. Efecto del evaluador

Por último, es importante llamar la atención sobre el efecto del evaluador en este tipo de métodos. Es un hecho reconocido que distintos evaluadores, evaluando la misma interfaz con el mismo método, detectan conjuntos de problemas significativamente distintos (Hartzum & Jacobsen, 2001) y les dan una importancia también significativamente distinta. Este efecto existe tanto cuando participan evaluadores noveles como experimentados, afectan a problemas tanto cosméticos como severos y a sistemas tanto simples como complejos. Es por ello que es necesario recalcar la importancia de involucrar a no menos de 3 expertos (Nielsen, 1992) en cualquier tipo de inspección de usabilidad, con el fin de mejorar la validez y fiabilidad del método.

3. Métodos analíticos

3.1.  Paseo cognitivo

El recorrido cognitivo es un método analítico en el que los evaluadores recorren una tarea con el producto e identifican los problemas de usabilidad. Se simula cómo los usuarios resuelven los problemas durante su interacción con un sistema. Los pasos relacionados con el recorrido cognitivo son (Sharp, Preece & Rogers, 2019):

  • Identificar y documentar las características de los usuarios.
  • Describir la maqueta, interfaz o prototipo a evaluar.
  • Establecer una clara secuencia de las acciones que necesita hacer el usuario para completar la tarea.
  • Un diseñador y uno o más investigadores de experiencia de usuario realizan el análisis.
  • Los evaluadores recorren la secuencia de acciones para cada tarea, ubicándose en el contexto de un escenario típico. A medida que lo realizan se cuestionan sobre: ¿Sabrán los usuarios qué hacer, verán cómo hacerlo y comprenderán a partir de la retroalimentación si la acción se realizó de forma correcta?. En específico se plantean las siguientes tres preguntas:
    • ¿La acción correcta será suficientemente evidente para el usuario? (¿El usuario sabrá qué hacer para lograr la tarea?)
    • ¿El usuario notará que la acción correcta está disponible? (¿Pueden ver los usuarios el botón o menú que ellos podrían usar para la siguiente acción? ¿Es aparente cuando se necesita?)
    • ¿El usuario asocia e interpreta la respuesta desde la acción correctamente? (¿Sabrán los usuarios por la retroalimentación que han elegido una acción correcta o incorrecta?)
  • Recopilar la información crítica sobre:
    • Posibles causas sobre lo que ocasiona el problema.
    • Notas sobre problemas secundarios y cambios de diseño.
    • Resumen sobre los resultados.
  • Posteriormente, se revisa el diseño para dar solución a los problemas que se identificaron. Se suele complementar la evaluación, involucrando a usuarios reales.

A continuación se presenta un resumen de las principales actividades y tareas de un paseo cognitivo (Tabla 1) (Barbosa & Silva, 2010).

Tabla 2. Resumen de las actividades y tareas del  Paseo Cognitivo (adaptado de Barbosa & Silva, 2010)

4. Caso de Estudio

Este caso de estudio presenta una inspección de usabilidad soportado en el método de evaluación heurística de una aplicación de Realidad Aumentada (RA) de una venta de accesorios (aretes, pulseras, collares, etc.), como se muestra en la Figura 2. Este caso de estudio se basó en el trabajo de Martins, Correa y Guimarães (2013).

Figura 2.  Pulseras virtuales (Martins, Correa y Guimarães, 2013)

Para facilitar la inspección de las aplicaciones de RA, los autores propusieron organizar las heurísticas en listas de verificación: las 10 heurísticas de Nielsen y también heurísticas específicas presentadas a continuación.

  1. Precisión: qué tan preciso es el sistema durante las interacciones. La posición del contenido virtual de la imagen, que está determinada por el sistema de ubicación, no debe fluctuar.
  2. Facilidad de uso: qué tan cómodo y seguro se siente el usuario al utilizar la aplicación, incluso la primera vez que la usa.
  3. Configuración del entorno: las aplicaciones de RA requieren dispositivos especiales como sensores o cámaras. Además, pueden ser necesarios marcadores como los marcadores fiduciales. La configuración del entorno debería ser lo más sencilla posible.

Seguir atentamente estas listas de verificación es una forma de evaluar las aplicaciones de RA según un método de inspección. También ayuda al evaluador a no olvidar algunas heurísticas, y aumenta la objetividad de la evaluación, confiabilidad y reproducibilidad.

Para la inspección realizada se utilizaron tres especialistas del área de usabilidad, con un promedio de cinco años de experiencia en el desarrollo y uso de aplicaciones de RA. Si bien Nielsen (1994) establece que se usan, en promedio, 2 horas en realizar la inspección, la aplicación fue bastante sencilla y por eso los expertos emplearon, en promedio, solo 30 minutos para enumerar los problemas encontrados en la aplicación, que luego fueron concatenados para dar el resultado. La lista de chequeo utilizada, así como las puntuaciones de los tres expertos (se indica en la columna “grado de severidad” el valor asignado por cada experto, separando cada puntuación por una coma), se presentan a continuación (Tabla 3).

Tabla 3. Evaluación Heurística y lista de chequeo

4. Conclusiones

Este capítulo presenta los principales métodos para inspeccionar la usabilidad sin usuarios. Estos métodos son importantes para detectar problemas de usabilidad, pero no reemplazan los métodos del usuario; son complementarios entre sí.

Si hay poco tiempo disponible para realizar una evaluación en la interfaz, es interesante optar por métodos de evaluación de inspección, ya que se realizan más rápido que los métodos que involucran a los usuarios. Sin embargo, es importante realizar al menos una evaluación empírica, porque a través de los usuarios es posible recolectar aspectos que los evaluadores no podrían predecir. Idealmente, la evaluación de la interfaz debería llevarse a cabo durante todo el proceso de diseño y desarrollo de la solución tecnológica. Como cada método de valoración tiene sus propias características, la ejecución de métodos de evaluación de la interfaz complementaria es una práctica prometedora para el desarrollo de sistemas interactivos. De esta forma, los resultados de la evaluación serían más adecuados, el rediseño de la solución estaría mejor informado y habría mejores condiciones para aumentar la calidad de uso del sistema (Barbosa & Silva, 2010).

El caso de estudio presentó la evaluación heurística de un sistema de Realidad Aumentada en el área de Moda. Se propuso un conjunto de listas de chequeo para facilitar la evaluación realizada por los expertos. Se presentaron los resultados recopilados.

Referencias

Barbosa, S., & Silva, B. (2010). Interação humano-computador. Elsevier Brasil.

 

Blandford, A. E., Hyde, J. K., Green, T. R., & Connell, I. (2008). Scoping analytical usability evaluation methods: a case study. Human–Computer Interaction, 23(3), 278-327.

 

Granollers, T. (2014). Evaluación heurística. [Online]. Available: https://mpiua.invid.udl.cat/evaluacion-heuristica-2/

 

Hertzum, M., & Jacobsen, N. E. (2001). The evaluator effect: A chilling fact about usability evaluation methods. International journal of human-computer interaction, 13(4), 421-443.

 

John, B. E., & Kieras, D. E. (1996). The GOMS family of user interface analysis techniques: Comparison and contrast. ACM Transactions on Computer-Human Interaction (TOCHI), 3(4), 320-351.

 

Lazar, J; Heidi, J, & Hochheiser, H. (2019). Research Methods in Human-Computer Interaction  ​​(5th. ed.), Morgan Kaufmann.

 

Leavitt, M. O., & Shneiderman, B. (2006). Based web design & usability guidelines. Health and Human Services Department.

 

Mack, R. L., & Nielsen, J. (1995). Usability inspection methods: Executive summary. In Readings in Human–Computer Interaction (pp. 170-181). Morgan Kaufmann.

 

Mahatody, T., Sagar, M., & Kolski, C. (2010). State of the art on the cognitive walkthrough method, its variants and evolutions. Intl. Journal of Human–Computer Interaction, 26(8), 741-785.

 

Martins, V. F., Correa, A. G. D., & Guimarães M. P. Avaliação de Usabilidade para Aplicações de Realidade Aumentada. Tendências e Técnicas em Realidade Virtual e Aumentada, v. 3, p. 138, 2013.

 

Nielsen, J. (1992). Finding usability problems through heuristic evaluation. In Proceedings of the SIGCHI conference on Human factors in computing systems (pp. 373-380).

 

Nielsen, J. (1994). Usability engineering. Morgan Kaufmann.

 

Nielsen, J. (1995). How to conduct a heuristic evaluation. Nielsen Norman Group, 1, 1-8.

 

Nielsen, J. (2001). 113 Design Guidelines for Homepage Usability. [Online]. Available: https://www.nngroup.com/articles/113-design-guidelines-homepage-usability/

 

Nielsen, J. (2005). Ten usability heuristics. [Online]. Available: http://www.useit.com/papers/heuristic/

 

Pacheco, B. A., Guimarães, M., Correa, A. G., & Martins, V. F. (2018, April). Usability Evaluation of Learning Objects with Augmented Reality for Smartphones: A Reinterpretation of Nielsen Heuristics. In Iberoamerican Workshop on Human-Computer Interaction (pp. 214-228). Springer, Cham.

 

Salvador, V. F. M., Oliveira Neto, J. S., & Guimarães, M. P. (2009). Levantamento de heurísticas para avaliação de interfaces do usuário baseadas em voz. Interaction South America.

 

Sharp, H.; Preece, J.; Rogers, Y. Interaction Design. Beyond Human-Computer Interaction ​​(5th. ed.), Wiley.

 

Sommerville, I. (2011). Software engineering 9th Edition. ISBN-10, 137035152, 18.

 

Sutcliffe, A., & Gault, B. (2004). Heuristic evaluation of virtual reality applications. Interacting with computers, 16(4), 831-849.

 

Vieira, H. C. R., & Baranauskas, M. C. C. (2003). Design e avaliação de interfaces humano-computador. Campinas: Unicamp.

 

World Wide Web Consortium (2018).  Web Content Accessibility Guidelines (WCAG) 2.1. [Online]. Available: https://www.w3.org/TR/WCAG21/

 

Zaphiris, P., Kurniawan, S., & Ghiawadwala, M. (2007). A systematic approach to the development of research-based web design guidelines for older people. Universal Access in the information Society, 6(1), 59-75.

 

​​Zhai, S., Kristensson, P. O., & Smith, B. A. (2005). In search of effective text input interfaces for off the desktop computing. Interacting with computers, 17(3), 229-250.