Aspectos generales de la evaluación

Yenny A. Méndez A.1, Lorena Soto S1

1Escuela Ingeniería en Computación e Informática, Universidad Mayor

Resumen: Evaluar representa una actividad fundamental en el proceso de desarrollo de soluciones tecnológicas, razón por la cual debe reconocerse y priorizarse su uso. Se presenta en el siguiente capítulo información general sobre la evaluación y respuestas generales a las preguntas de por qué se evalúa, qué se evalúa y dónde se evalúa.

1. Introducción

Evaluar tiene relación con la recopilación y análisis de datos sobre las experiencias de los usuarios o de los potenciales usuarios, al interactuar con artefactos de diseño, como lo son bocetos, maquetas, prototipo, aplicación, sistemas informático  o un componente de un sistema (Lazar, J.; Heidi, J & Hochheiser, H., 2019).

 

La evaluación se centra en (Lazar, J.; Heidi, J & Hochheiser, H., 2019):

  • La usabilidad: qué tan fácil es aprender y usar.
  • Experiencia de los usuarios al interactual con el artefacto: qué tan satisfactoria, agradable o motivadora es la interacción.

 

Se presentan a continuación algunos elementos a considerar de las pruebas de evaluación de usabilidad (Spool, Chisneell & Rubin, 2008):

 

  • Desarrollo de preguntas de investigación u objetivos de la evaluación.
  • Uso de una muestra representativa de usuarios finales que pueden o no elegirse al azar.
  • Representación del entorno laboral real.
  • Observación de los usuarios finales que utilizan o revisan una representación del producto.
  • Entrevistas y sondeos controlados y a veces extensos de los participantes por parte del moderador de la prueba.
  • Recopilación de medidas cuantitativas y cualitativas de desempeño y preferencia.
  • Recomendaciones de mejoras al diseño del producto.

2. Sobre métodos de evaluación

Hay diferentes métodos de evaluación, que van a depender de los objetivos de la evaluación (Lazar, J.; Heidi, J & Hochheiser, H., 2019):

  • La evaluación puede ocurrir en diferentes lugares, tales como: laboratorios, hogares, empresas, exteriores, entre otros.
  • Observar a los participantes para medir su desempeño cuando se realizan las pruebas de usabilidad, experimentos o estudios de campo.
  • Métodos que no involucran directamente a los usuarios, sino que un grupo de expertos evalúa a partir de protocolos establecidos.
  • El nivel de control en las evaluaciones puede variar, en algunos casos no se realiza ningún control como aquellos estudios en el exterior y en otros se requiere un mayor control al respecto de qué tareas se realizan y el contexto, similar a como se realiza en los experimentos.

3. Justificando hacer evaluaciones

Se presentan a continuación algunas razones por las que se justifica la necesidad de realizar evaluaciones:

  • Una razón inicial para evaluar es que los responsables del diseño suelen diseñar sólo pensando en ellos mismos y con la evaluación es posible comprobar si hay una aceptación y es apropiado por parte de los usuarios (Lazar, J.; Heidi, J & Hochheiser, H., 2019).
  • El evaluar productos permite tener productos que están bien diseñados y estos productos se venden, de ahí que se tiene un soporte desde una perspectiva comercial y de mercadeo (Lazar, J.; Heidi, J & Hochheiser, H., 2019).
  • Se pueden solucionar problemas antes de que el producto salga a la venta (Lazar, J.; Heidi, J & Hochheiser, H., 2019).

4. Lo que se evalúa

La evaluación se realiza desde prototipos de baja fidelidad hasta sistemas completamente funcionales, desde una función en la pantalla hasta el flujo completo; desde el diseño estético hasta características de seguridad (Lazar, J.; Heidi, J & Hochheiser, H., 2019).

5. En dónde se evalúa

El lugar donde se realiza la evaluación va a depender de lo que se esté evaluando. Por ejemplo, para realizar una evaluación sobre un juego con niños, podría ser más adecuado realizarlo en el espacio donde los niños cotidianamente interactúan con el juego. Si se realiza el estudios con los niños en un laboratorio, esto podría ocasionar que no se conozca como realmente los niños interactúan con el juego y en que momento se aburren (Lazar, J.; Heidi, J & Hochheiser, H., 2019).

Es posible realizar estudios remotos del comportamiento en línea, como las redes sociales, buscando evaluar las interacciones naturales de los participantes en el contexto de su interacción: hogar, lugar de trabajo, etc. (Lazar, J.; Heidi, J & Hochheiser, H., 2019).

6. En qué momento evaluar

La etapa del ciclo de vida del producto en la que se lleva a cabo la evaluación va a depender del tipo de producto y del proceso de desarrollo que se siga  (Lazar, J.; Heidi, J & Hochheiser, H., 2019).

Algún tipo de prueba de usabilidad encaja en cada fase del ciclo de vida de un desarrollo. El tipo de prueba se distingue por las preguntas de investigación formuladas, el estado de integridad del producto y el tiempo disponible para implementar soluciones a los problemas revelados en las pruebas (Spool, Chisneell & Rubin, 2008).

Al realizar evaluaciones durante el diseño se conocen como evaluaciones formativas, estas evaluaciones abarcan desde evaluar bocetos, prototipos iniciales hasta soluciones casi terminadas. Al realizar evaluaciones sobre un producto terminado, se le conoce como evaluaciones sumativas (Lazar, J.; Heidi, J & Hochheiser, H., 2019).

6.1 Evaluaciones formativas

Se evalúa el producto períodicamente mientras este se crea, se identifican o diagnostican deficiencias o problemas, se realizan recomendaciones y se repite el proceso hasta que idealmente esté sin problemas. Tienen por objetivo realizar pruebas antes del lanzamiento del producto. Es de resaltar que cuanto antes se haga la evaluación, más impacto tendrán las evaluaciones de usabilidad en el diseño (Albert & Tullis, 2013). Se presenta en la Tabla 1, una lista de preguntas que se pueden responder al realizar una evaluación formativa

Tabla 1. Preguntas a contestar en una evaluación formativa. Fuente: Información tomada de (Albert & Tullis, 2013).

6.2 Evaluaciones sumativas

El objetivo de la evaluación sumativa es evaluar qué tambien un producto cumple sus objetivos, también se utilizan para comparar varios productos entre sí. Se presenta en la Tabla 2, una lista de preguntas que se pueden responder al realizar una evaluación formativa.

Tabla 2. Preguntas a contestar en una evaluación sumativa. Fuente: Información tomada de (Albert & Tullis, 2013).

7. Conclusiones

Es necesario incluir la evaluación dentro de las actividades del proceso de desarrollo de una solución tecnológica ya que a partir de los resultados obtenidos se pueden realizar las mejoras y de esta manera se pueden alcanzar realmente soluciones centradas en los usuarios.

Una decisión importante a considerar para realizar una prueba es si será formativa o sumativa. Seleccionar una evaluación formativa permite impactar positivamente durante el diseño, a diferencia de la evaluación sumativa que busca medir hasta qué punto se lograron determinados objetivos.

8. Referencias

Albert, W.; Tullis, T. Measuring the User Experience (2013). Collecting, Analyzing, and Presenting Usability Metrics, Morgan Kaufmann.

Lazar, J; Heidi, J, & Hochheiser, H. Research Methods in Human-Computer Interaction  ​​(5th. ed.), Morgan Kaufmann.

Spool, J.; Chisneell, Dana; Rubin, J. (2008). Handbook of Usability Testing, Second Edition: How to Plan, Design, and Conduct Effective Tests. Wiley Publishing, Inc.