Evaluación Heurística para Seguridad Usable
Paulo Realpe-Muñoza, Cesar A. Collazosb, Toni Granollersc y Jaime Muñoz-Arteagad
aINTELIGO Research Group, Institución Universitaria Antonio José Camacho, Cali, Colombia
bIDIS Research Group, Universidad del Cauca, Popayán, Colombia
cGRHIO Research Group, Universidad de Lleida, Lleida, España
dUniversidad Autónoma de Aguas Calientes, Aguascalientes, México
1. Introducción
Actualmente la usabilidad es uno de los aspectos ampliamente aplicados en el desarrollo del software de uso cotidiano para los usuarios. Los diversos métodos para el diseño de sistemas usables ofrecen ventajas ya que permiten un aumento en la productividad, disminución de los errores y costos en capacitación, además las metodologías de evaluación de usabilidad como la evaluación heurística ha tenido un gran estudio y desarrollo (Gumussoy, 2016). Por otro lado, la gran expansión que ha tenido la red Internet hasta la fecha ha llevado a que cada vez más información sea almacenada y procesada en bases de datos de la red, como caso particular en el ámbito del comercio bancario (e-banking), donde estas aplicaciones incluyen varias funciones, tales como retirar dinero, consultar cuentas, realizar depósitos, transacciones bancarias, configuración de opciones de seguridad, seguimiento de mensajes, entre otros (Gumussoy, 2016; Ramachandran, 2016). Es aquí donde el aspecto de seguridad web juega un papel importante como herramienta a los distintos ataques informáticos que a diario intentan vulnerar los sistemas o manipular la información de los usuarios o diversas instituciones (Ramachandran, 2016). Ahora bien, partiendo de algunos trabajos de investigación donde se afirma que entre más seguro se hace una aplicación, menos usable llega a ser, se considera la necesidad de identificar estrategias para que la seguridad y la usabilidad trabajen en equilibrio (Dhillon et al. 2016). Este es el punto de inicio para formular soluciones teniendo en cuenta estos dos atributos, que, a través de principios y una evaluación heurística y apoyada en un modelo matemático, permita encontrar los elementos críticos y vulnerables que una aplicación en particular pueda tener.
2. Problemática
El factor humano es quizá el mayor obstáculo para hacer efectiva la seguridad de un sistema interactivo. Muchos de los componentes que hacen parte de la seguridad son poco entendibles y en ocasiones frustrantes para un significativo número de usuarios quienes tienen como objetivo usarlos correctamente, esto se debe principalmente a que la seguridad es un objetivo secundario para los usuarios (Yeratziotis, 2012). Pese a que el diseño de aplicaciones que utiliza mecanismos de seguridad emplea patrones de usabilidad específicos, el problema aún persiste (Whitten y Tygar, 1998).
El campo de seguridad usable (USec) reconoce que para que un sistema sea seguro, también debe ser fácil de usar. Incluso el sistema técnicamente más seguro fracasará en la práctica si los usuarios no pueden usarlo correctamente. Para evitar esto, las propuestas del área de la Interacción Humano-Computador (HCI) deben ser asumidas desde el ciclo inicial del proceso de desarrollo de los mecanismos de seguridad, no en la última etapa cuando el desarrollo es dejado en manos del grupo de diseño de interfaces (Yeratziotis, 2012).
La banca electrónica como caso particular, es una de las industrias que ha acogido con mayor rapidez al Internet como canal de distribución de sus servicios. Sin embargo, a pesar de los beneficios que brinda la banca electrónica, los usuarios no lo han utilizado como se espera, en algunos casos se argumenta la falta de entusiasmo, interfaz difícil de usar o ser una zona de alto riesgo. Éstas dificultades convierten a la seguridad, la usabilidad y su evaluación en una preocupación debido a la existencia de una gran variedad de usuarios y a la ausencia de capacitación. Según lo anterior, existe la necesidad de establecer métodos de evaluación heurística cuantitativa para el diseño y desarrollo de interfaces seguras y usables con base en principios de diseño previamente establecidos.
3. Contenido teórico
3.1 Seguridad usable
La seguridad usable tiene como objetivo mejorar la usabilidad de las características de seguridad y privacidad de los sistemas interactivos para el usuario. Este campo de la investigación, relativamente nueva, requiere una comprensión de las áreas de seguridad y HCI (Yeratziotis, 2012). Para que un sistema interactivo sea usable desde una perspectiva de seguridad y privacidad, se espera que los usuarios; i) estén informados de manera consistente y confiable sobre las tareas relacionadas con la seguridad que deben realizar, ii) ser capaces de determinar fácilmente cómo realizar las tareas necesarias con éxito, iii) evitar cometer errores que puedan comprometer la seguridad del sistema, y iv) sentirse cómodos con la interfaz de usuario para continuar usándola (Yee, 2005).
La necesidad de mejorar la seguridad usable de los sistemas interactivos es un hecho. Sin embargo, existe una paradoja entre seguridad y usabilidad. Esta paradoja ha dado lugar a un debate dentro de la comunidad científica sobre si estos dos atributos pueden vincularse. Algunos trabajos indican que la usabilidad va en contra de la seguridad (Ferreira et al., 2009). Este concepto se ha difundido entre la mayoría de los investigadores de seguridad útiles. Sin embargo, otros investigadores han tomado la dirección opuesta, creyendo que usabilidad y seguridad no son conceptos contradictorios (Yee, 2005).
La priorización ocurre cuando uno de los dos términos, usabilidad o seguridad, se usa para beneficiarse mutuamente. La seguridad no puede funcionar en beneficio de la usabilidad porque es más complicado generar “mecanismos de usabilidad seguros”, sin embargo, es más fácil obtener “mecanismos de seguridad usables”. El enfoque anterior ha sido apoyado y demostrado por otros investigadores (Kainda, Flechais y Roscoe, 2010).
3.2 Principios y evaluación heurística para seguridad usable
A pesar de que la seguridad usable es un área de amplio interés, hay principios de diseño limitados que explican cómo se puede lograr. Un argumento interesante planteado es que los usuarios no son los únicos que requieren estos principios. Los desarrolladores de software también han sido identificados como un grupo objetivo que requiere preparación y herramientas adecuadas para sus diseños (Flechais y Sasse, 2009).
La falta de orientación para los desarrolladores ha dado lugar a los primeros intentos de proporcionar un estándar de principios para seguridad usable. El primer esfuerzo en esta área fue proporcionado por un grupo de trabajo del consorcio W3C (World Wide Web Consortium) llamado Web Security Context Working Group donde se definen directrices y requisitos para la presentación y comunicación de información de contexto de seguridad web a los usuarios finales (W3C, 2010). El objetivo del estándar es hacer que la seguridad sea útil y especificar las acciones del usuario para sus tareas. Varios investigadores han propuesto principios para seguridad usable, el trabajo de Whitten y Tygar (1998), se considera pionero en este aspecto. Actualmente, varios investigadores han propuesto principios de diseño los cuales proporcionan una base sobre el cual se puede diseñar sistemas interactivos donde exista un equilibrio entre seguridad y usabilidad (Yee, 2005; Johnston et al. 2003; Garfinkel, 2005; Realpe et al., 2016).
Por otro lado, se ha determinado que es necesario establecer nuevos métodos de evaluación cuantitativa y cualitativa con el fin de mejorar las interfaces de usuario en el área de la seguridad usable. Esto se determina sobre la base de tres características humanas que han sido identificadas entre los usuarios finales (Yeratziotis et al., 2012). La primera es el principio donde los usuarios continúan o abandonan el uso del sistema por voluntad propia. La segunda es la adaptación donde los usuarios tienen sus propios requisitos, tecnologías y necesidades especiales. Y la tercera es la apreciación donde se relaciona con la adaptación, lo que conduce a nuevos comportamientos que no se han visto antes.
Herzog y Shahmehri (2007) investigaron el área de la seguridad usable desde una perspectiva diferente, pero igualmente importante. Reconocen la necesidad de nuevos métodos y herramientas de evaluación, sin embargo, los autores afirman que poco se ha hecho realmente con respecto a cómo las aplicaciones pueden ayudar a los usuarios en las decisiones de seguridad y sus tareas. Por esa razón, han investigado diversas técnicas de ayuda que mejor se adapten a los usuarios con tareas relacionadas a la seguridad. Estas técnicas de ayuda incluyen documentación en línea, ayuda contextual, asistentes, puesta en escena segura, navegación social y seguridad incorporada.
3.3 Modelo matemático para seguridad usable
Con el fin de establecer un método de evaluación cuantitativo para seguridad usable, se presenta los elementos del modelo matemático para evaluar los componentes de usabilidad y seguridad en un sistema interactivo cualquiera a partir de una serie de pasos, los cuales surgen con base en el método de observación empírica con lo cual se logra establecer los atributos (usabilidad y seguridad) que intervienen para lograr el valor cuantitativo de seguridad usable para la aplicación.
Inicialmente, es necesario destacar que el proceso para obtener este modelo matemático depende de la participación de diferentes áreas afines a la seguridad y usabilidad, por esta razón, los argumentos en este apartado centran sus bases en la literatura y son revisados por expertos en seguridad, usabilidad y matemáticas. Para el desarrollo de la propuesta matemática se toma como punto de inicio la premisa de que existe una correlación entre seguridad y usabilidad, por lo tanto, toda condición de seguridad o usabilidad que sea implementada en sistemas que consideren estos atributos puede ser evaluada teniendo en cuenta la correlación estadística entre estos atributos.
La inclusión de principios asociados a requerimientos de diseño permite identificar una representación vectorial de seguridad y usabilidad. Es de gran importancia destacar que los principios asociados a un requerimiento no son truncados por limites, es decir, el modelo permite asociar diferentes principios a un requerimiento. Logrando esta analogía vectorial es adecuado considerar al vector seguridad, independiente del vector usabilidad para hallar la relación de los mismos haciendo uso de la distancia Euclidiana, no obstante, se debe reconocer que existen diferentes herramientas matemáticas que permiten la medición de la correlación entre vectores, por lo tanto, el método de la distancia Euclidiana se ha empleado en plataformas referentes a la seguridad usable (Mihajlov, 2011).
Se tiene como punto de partida el conjunto de principios de diseño en seguridad usable basados en Realpe et al. (2016), un conjunto de requerimientos del contexto de uso, una escala de clasificación cualitativa y utilizando el concepto de distancia Euclidiana, se logran establecer las expresiones matemáticas y pasos que integran los aspectos de seguridad y usabilidad, generando como resultado una pauta formal permitiendo evaluar estos aspectos de forma conjunta.
A continuación, se presenta la estructura general que abarca el proceso de evaluación heurística cuantitativa. La Tabla 1 ilustra una situación general de evaluación heurística donde, ri es el requerimiento a considerar, hn representa el principio a evaluar, Ihn es la importancia del principio a evaluar expresada en porcentaje, los parámetros x, y, …, z son las calificaciones entregadas por los expertos y Pu, Ps son los porcentajes de influencia de cada atributo.
Tabla 1. Representación general de las características presentes en la valoración inicial
Paso 1: Aplicar la ecuación (1) correspondiente al equilibrio en el factor de influencia de los atributos para hallar los nuevos valores de seguridad o usabilidad.
Formula matematica (1)
donde representa la transformación de los componentes del atributo que presenta menor porcentaje de influencia, es el mayor porcentaje de influencia (Pu o Ps), representa el valor máximo que un experto puede dar al principio según el atributo (entre 0 y 100) y es el valor calificado por el experto en el principio según el atributo.
Paso 2: Multiplicar los Ihi de cada principio por los valores de u y s. La representación de las características ajustadas se ilustra en la Tabla 2.
Paso 3: Calcular la distancia Euclidiana para los puntos u’ y s’ usando la ecuación (2).
Tabla 2. Representación general de las características ajustadas
Paso 4: Normalizar la distancia Euclidiana teniendo en cuenta la mayor calificación por parte del experto usando la ecuación (3).
Paso 5: Obtener el valor cuantitativo de USec haciendo uso de la ecuación (4).
donde, son los valores calificados por el evaluador correspondientes al atributo usabilidad, son los valores calificados por el evaluador correspondientes al atributo seguridad y es la distancia Euclidiana normalizada teniendo en cuenta el mayor valor de calificación.
El modelo matemático presentado queda sujeto al método de observación empírica, base fundamental para la construcción de este modelo. Para explicar el resultado cuantitativo USec (cuyo resultado está entre 0 y 200), es necesario presentar en el modelo matemático una escala cualitativa que refleje el grado de riesgo a la seguridad del sistema interactivo basado en el resultado de la ecuación (4). En la Tabla 3 es presentada esta escala.
Tabla 3. Escala cualitativa para USec
4. Caso de estudio
El caso de estudio para demostrar el modelo de evaluación heurística cuantitativa propuesto y basado en principios de seguridad usable, es realizado en el contexto de banca electrónica. En este caso, la entidad financiera en estudio es el Fondo de Profesores de la Universidad del Cauca (FONDUC) perteneciente a la Universidad del Cauca (Popayán, Colombia). Una vez realizada la especificación del contexto de uso de los sistemas de banca electrónica, junto con la revisión de la literatura, se logra identificar 59 requerimientos tanto funcionales como no funcionales donde, después de una revisión exhaustiva y apoyándose en el ámbito de banca electrónica se logra determinar los 23 requerimientos más relevantes. Una vez recopilados los requerimientos y el conjunto de principios de diseño basados en Realpe et al. (2016), se establece una relación justificada entre el requerimiento y el principio a partir del contexto de uso y algunas definiciones de la literatura, con el fin de determinar que cada principio corresponda y explique el requerimiento establecido (Gómez, Orozco y Realpe, 2016).
4.1 Desarrollo
El proceso llevado a cabo para la realización del caso de estudio se presenta en la Figura 1. Se inicia con la etapa de diagnóstico el cual se lleva a cabo en tres fases: i) realización de tareas en la aplicación de banca electrónica, ii) entrega y desarrollo del cuestionario de satisfacción a los usuarios y iii) análisis los resultados obtenidos en los cuestionarios.
Figura 1. Diagrama en bloques para llevar a cabo el caso de estudio
Finalizada la primera etapa se procede a llevar a cabo la evaluación heurística a la plataforma de banca electrónica en cinco fases: i) invitar a expertos en las áreas de seguridad y usabilidad a evaluar la plataforma, sin embargo, estos expertos deben poseer una cuenta para acceder a la plataforma del FONDUC, ii) desarrollo de la evaluación heurística con base en los requerimientos y principios de diseño, iii) aplicar el modelo matemático como herramienta para calcular el USec de la plataforma de banca electrónica en estudio, y finalmente iv) análisis de los resultados USec obtenidos por medio del modelo matemático.
4.2 Resultados
4.2.1 Encuesta de satisfacción
Considerando los requerimientos de usabilidad y seguridad, se realiza una encuesta de satisfacción de la aplicación a un grupo de 10 usuarios de la plataforma del FONDUC después de realizar ciertas tareas. El perfil de los usuarios oscila entre ingenieros electrónicos y de sistemas, con cargos docentes o administrativos de la Universidad del Cauca y conocimientos en el manejo de aplicaciones de banca electrónica. Aunque a simple vista parece un número reducido, según Solano (2015) esta cifra resulta ser aceptable para obtener conclusiones considerables, con el fin de determinar qué tan apropiados y fáciles de comprender son algunos componentes del sistema.
Se propone una serie de tareas para la aplicación los cuales se presenta en la Tabla 4. En total, cada usuario debe realizar 6 tareas. Estas tareas se obtuvieron con base en la literatura y las características propias de la aplicación, además, se identifican como las actividades realizadas con mayor frecuencia por los usuarios en plataformas de banca electrónica. Es necesario aclarar que se evitó plantear tareas que alteraren el estado financiero del usuario participante, considerando las sugerencias realizadas por la administración del FONDUC.
Tabla 4. Tareas a realizar en la aplicación del FONDUC
Basándose en encuestas de referencia presentada por Solano (2015), se procede a hacer los ajustes necesarios y preparar el cuestionario con el que se evalúa la satisfacción del usuario, el formulario evalúa el desempeño de las tareas realizadas. Cada pregunta del cuestionario consta de 5 opciones de respuesta, con valores comprendidos de uno (1) a cinco (5), donde, uno (1) es la calificación mínima, por lo tanto, se reprueba y cinco (5) la calificación máxima que aprueba positivamente la pregunta que se evalúa. Para el cuestionario presentado en la Tabla 5, se realizan algunas modificaciones en las opciones de respuesta, de tal manera que se ajuste a la pregunta.
Tabla 5. Preguntas del cuestionario de satisfacción
En la Tabla 6 se presenta los resultados del cuestionario de satisfacción. La investigación muestra resultados poco variables entre los usuarios, además, es posible notar que ninguno de los promedios superó en valor a 4, siendo el peor de los casos 2.7 y el mejor 3.4, considerando con esto que la mayoría de los usuarios son neutrales a las preguntas de la encuesta. Entre los comentarios que hicieron los usuarios, algunos mencionan que la aplicación no contaba con logos ni recomendaciones de seguridad, y que en algunas secciones presentaba errores ortográficos, evidenciándose que existen muchas mejoras que deben hacerse a la plataforma del FONDUC en materia de seguridad y usabilidad.
Tabla 6. Resultados para la encuesta de satisfacción
4.2.2 Evaluación heurística USec cuantitativa
El método de evaluación determinado en esta investigación ha sido el método de evaluación heurística que es analizado a través de la literatura. Moallem (2004) evidencia las ventajas del método de evaluación heurística, destacando su rápida aplicabilidad y bajos costos operacionales. Se identifica un conjunto de expertos en seguridad y usabilidad para que participen en la evaluación heurística. En este caso, dos son expertos en usabilidad y uno en seguridad.
La evaluación heurística contó con una duración de dos a tres horas, ya que los expertos necesitan analizar detenidamente cada uno de los 23 requerimientos y paralelamente identificarlos en la plataforma del FONDUC, además, deben calificar los atributos de seguridad y usabilidad según los principios de diseño asociados a cada requerimiento.
Antes de realizar la evaluación es necesario aclarar que uno de los objetivos principales se centra en evaluar el desempeño de los principios de USec y el modelo matemático propuesto. Para ello es necesario determinar qué tan relacionados se encuentran los resultados obtenidos por cada experto. Por lo tanto, es posible establecer un grado de relación en el resultado de las tres evaluaciones.
Tabla 7. Comparación de evaluación entre expertos
En la Tabla 7 se presenta una comparación de evaluación entre cada experto, donde P1, P2 y P3 son los resultados cuantitativos USec de la evaluación de cada experto para los 23 requerimientos. Las distancias Euclidianas (dE) al ser comparadas con el peor de los casos (959.16), representa un porcentaje bajo (menor al 9%), determinando que existe una cercanía considerable entre los tres puntos.
Finalmente, en la Tabla 8 es presentado el valor USec general obtenido por cada experto usando la ecuación (4). Se puede notar una similitud entre cada uno de los resultados, por lo tanto, se puede considerar que el sistema a nivel de seguridad y usabilidad debe ser tratado con una prioridad moderada, para evitar complicaciones que puedan alterar el funcionamiento del sistema, además de influir negativamente en la percepción que el usuario tenga de este.
Tabla 8. Valor USec general por cada experto
4.3 Discusión
Con base en los resultados presentados en este estudio, se puede decir que existe una cercanía considerable entre los tres evaluadores, por lo tanto, es posible afirmar que los expertos en gran medida calificaron de manera similar los requerimientos en cuanto a seguridad y usabilidad, con lo cual podría determinarse que los principios propuestos, el método de evaluación y el modelo matemático para el cálculo de USec podría ser ampliamente utilizado ya que arroja resultados coherentes que cumplen con la premisa de correlación expuesta (en este caso aproximadamente del 91%) del modelo matemático.
El modelo matemático empleado reúne conceptos que son aplicados en muchas técnicas referentes al área tecnológica, además, ha sido construido con el apoyo de conceptos matemáticos previos, razón por la cual, se puede considerar un atractivo punto de inicio para desarrollar mayores investigaciones en el campo de la seguridad usable. El modelo matemático ha arrojado resultados con gran similitud durante su validación realizada por parte de evaluadores, es prioritario tener en cuenta que los resultados generales presentan una incertidumbre menor al 9%. Teniendo en cuenta los factores de subjetividad que se manejan en el área de la seguridad usable, se puede concluir que con una incertidumbre menor al 9% con respecto a las calificaciones generales, el modelo se considera confiable.
A manera general, si alguna organización bancaria o cualquier otra entidad decide optar por realizar pruebas tomando como referencia este modelo, es necesario aclarar que se cuenta con un componente de percepción de satisfacción que adquirirá una relevancia importante, ya que permitirá identificar algunas falencias, si se presentan, en la interfaz de usuario. Luego, al someter la aplicación a la evaluación a expertos y obtener los valores de USec para cada requerimiento, será necesario presentar un informe a la entidad que argumente los valores obtenidos, contrastándolos con el componente de la satisfacción del usuario, y así, los directivos encargados de la toma de decisiones, que junto al analista de sistemas de información, realizarán los correctivos frente a los requerimientos que presenten una debilidad de seguridad o usabilidad, si lo consideran pertinente.
Finalmente, con base en los resultados obtenidos en el cuestionario de satisfacción, donde se evidencia que los usuarios a pesar de tener conocimientos en el uso de estos sistemas debido a su perfil profesional, no se encuentran totalmente satisfechos y manifiestan que han tenido mejor experiencia en el uso de otras plataformas de entidades bancarias en comparación con el del FONDUC. Se pone en evidencia que el sistema requiere atención en seguridad y usabilidad, de manera que se garantice una mejor experiencia de usuario. En este punto es donde la evaluación heurística en seguridad usable juega un papel fundamental al momento de decidir qué características y funciones deben ser corregidas en la interfaz de usuario del FONDUC, ya que, al obtener los resultados de la evaluación de un listado de requerimientos específicos, es posible determinar si es necesario la prioridad con la que estos requisitos deben ser atendidos.
5. Conclusiones
El área de investigación de la seguridad usable se proyecta a futuro como un campo investigativo que, a través de sus propuestas, logra minimizar los inconvenientes que se presentan al exponer la seguridad y usabilidad que en ocasiones resultan siendo contradictorios. De los resultados obtenidos es posible afirmar que se manifiestan de manera apropiada y el conjunto de heurístico puede ser aplicado para realizar la evaluación de otras aplicaciones interactivas.
El modelo matemático ha arrojado resultados con gran similitud durante la validación realizada entre los expertos involucrados en la evaluación heurística. Es prioritario tener en cuenta que los resultados generales presentan una incertidumbre menor al 9%. Teniendo en cuenta los factores de subjetividad que se manejan en el campo de la seguridad usable, se puede concluir que con una incertidumbre menor al 9% con respecto a las calificaciones generales de USec el modelo matemático presenta una buena confiabilidad.
Como trabajo futuro se pretende validar el modelo matemático a otras aplicaciones y generar una matriz de riesgo a partir de los atributos que se exponen en el modelo matemático.
6. Referencias
Dhillon, G., Oliveira, T., Susarapu, S., y Caldeira, M. (2016). Deciding between information security and usability: Developing value based objectives. Computers in Human Behavior. 61, 656–666.
Ferreira, A., Rusu, C. y Roncagliolo, S. (2009). Usability and security patterns. 2th International Conferences on Advances in Computer-Human Interactions.
Flechais, I y Sasse, A. (2009). Stakeholder involvement, motivation, responsibility, communication: How to design usable security in e-science. International Journal of Human-Computer Studies. 67(4), 281-296.
Garfinkel, S. (2005). Design principles and patterns for computer systems that are simultaneously secure and usable. Ph.D. Tesis. Massachusetts Institute of Technology.
Gómez, A., Orozco, A. y Realpe-Muñoz, P. (2016). Evaluación Heurística de Seguridad Usable Aplicada en Sistemas e-banking. Monografía de trabajo de grado, Universidad del Cauca.
Gumussoy, C. (2016). Usability guideline for banking software design. Computers in Human Behavior, 62, 277–285.
Herzog, A. y Shahmehri, N. (2007). Usable set-up of runtime security policies. International Symposium on Human Aspects of Information Security and Assurance. 15(5), 394-407.
Johnston, J., Eloff, J. y Labuschagne, L. (2003). Security and human computer interfaces. Computers & Security. 22(8), 675-684.
Kainda, R., Flechais, I., y Roscoe, A. (2010). Security and usability: Analysis and evaluation. International Conference on Availability, Reliability and Security.
Mihajlov, M. (2011). A conceptual framework for evaluating usable security in authentication mechanisms-usability perspectives. 5th International Conference on Network and System Security.
Moallen, A. (2004). Methods for Evaluating User Interfaces-Cognitive Walkthrough and Heuristics Evaluation. Computer Engineering Department, Santa Clara University.
Ramachandran, M. (2016). Software security requirements management as an emerging cloud computing service. International Journal or Information Manage, Vol. 36, no. 4, pp. 580–590, 2016.
Realpe, P., Collazos, C., Hurtado, J. y Granollers, T. (2016). A Set of Heuristics for Usable Security and User Authentication. XVII International Conference on Human Computer Interaction.
Solano, A. (2015). Metodología para la evaluación colaborativa de la usabilidad de sistemas software interactivos. Tesis de PhD. Universidad del Cauca.
Yee, K. P. (2005). Guidelines and Strategies for Secure Interaction Design. Computer Science.
Yeratziotis, A., Greunen, D., y Pottas, D. (2012). A framework for evaluating usable security: The case of online health social networks. 6th International Symposium on Human Aspects of Information Security & Assurance.
W3C. (2010). Web Security Context: User Interface Guidelines. World Wide Web Consortium. Recuperado en: agosto de 2021. URL: https://www.w3.org/TR/wsc-ui/
Whitten, A y Tygar, J. (1998). Usability of Security: A Case Study. Computer Science. 102590.