Listado de Métodos Preclasificados
Un método es un proceso disciplinado para generar un conjunto de modelos que describen varios aspectos de un sistema en desarrollo, utilizando alguna notación bien definida [BOO96]. Un método de evaluación de usabilidad es un procedimiento sistemático para grabar datos relacionados con la interacción del usuario final y un producto software o sistema [FIT01]. Cada dato que se recolecte, según el modelo planteado, permitirá establecer el grado de satisfacción de los indicadores asociados con cada atributo, métrica y criterio; los indicadores satisfechos son el reflejo de la usabilidad del sitio.
Respecto al nombrado de los métodos que la mayoría de autores usan, algunos resultan consistente por ejemplo: observación, cuestionario, caminata cognitiva (cognitive walkthroughs), heurísticas; mientras que otros son usados de acuerdo a la preferencia o prejuicio del autor, por ejemplo: evaluación productiva, interpretativa, cooperativa [FIT01].
Es importante recalcar que no existe un “mejor método”, todos los métodos tienen desventajas o consideran solo un número limitado de factores influyentes en la evaluación. Pero muchos de ellos contienen ideas útiles o son muy apropiados para medir ciertos aspectos. Por lo tanto la combinación de métodos es el procedimiento mas adecuado para la evaluación de la usabilidad [REI93].
Algunos métodos de evaluación pueden requerir un completo laboratorio de usabilidad y otros pueden lograrse con poco más que una interacción semi-formal entre el grupo de desarrollo y los usuarios [ALV05]. Incluso con una inversión relativamente pequeña en métodos de usabilidad puede obtenerse una mejora significativa de la usabilidad de un sistema de software [NIE90].
La selección de un método o conjunto de métodos requiere tomar ciertas consideraciones. Dix sugiere las siguientes [DIX98]:
Estrategia: Estado del ciclo de vida del proceso de desarrollo en el cual se ejecuta la evaluación.
Localización: La localización en la cual se realizará la evaluación: en un laboratorio o en un entorno real.
Prejuicio: Nivel de subjetividad u objetividad inherente en el método. Los resultados de la realimentación pueden ser altamente influenciados por el prejuicio con el cual se desarrolle la evaluación.
Medida de la Usabilidad: Tipo de medida provisto por el método. Dix describe esto como cuantitativo o cualitativo.
Información: Información o realimentación provista por el método. La información, vista por Dix, describe elementos de bajo nivel: combinación apropiada de colores, fuente de letra de mejores características, íconos de mayor comprensión, etc. El concepto de realimentación es de alto nivel, más que una primera impresión. Detalla problemas de mayor complejidad que no siempre tienen solución con un cambio de formato o color [DIX98].
Inmediatez de la Respuesta: concierne a cuan rápido el método retorna realimentación. Una observación de video es un proceso que demanda mayor tiempo en su análisis pero puede llegar a encontrar problemas complejos de usabilidad; por otro lado, los resultados de un prototipo en papel estarán disponibles tan pronto como finalice la observación.
Intromisión: concerniente al hecho que el comportamiento de algunos usuarios se vea alterado por la presencia de un observador o un sistema de registro.
Costo: recursos involucrados para la ejecución y análisis del método
La clasificación de los métodos de evaluación de usabilidad obedece a diferentes criterios: el grado de implicación del usuario, escenarios de tarea, el empleo de reglas o por el objetivo de la evaluación, entre otros [ALV05]. En el anexo B se dispone de una clasificación de métodos de evaluación de la usabilidad propuestos por diferentes autores.
Para poder generar elemento de juicio sobre la selección de un posible método a utilizar durante la evaluación de la usabilidad, se realiza a continuación un resumen de algunos de los métodos mas citados tanto por autores como empresas [NIE94], [WIX97], [MOL90], [BIA94], [YOU89], [NIE93], [MIC05], [FIT01], [IBM05] teniendo en cuenta las consideraciones de Dix [DIX98].
Tabla 2. Evaluación Heurística
Nombre del Método: Evaluación Heurística |
Descripción: analizar la conformidad de la interfaz con unos principios reconocidos de usabilidad (las heurísticas) mediante la inspección de varios evaluadores expertos [NIE94], [MOL90]. |
Estrategia: se puede aplicar durante todo el proceso de desarrollo, cada etapa puede considerar la utilización de este método manejando diferentes enfoques y artefactos, por ejemplo durante la captura de requisitos, la evaluación podría ser aplicada a sistemas actuales o alternativas de la competencia. |
Localización: laboratorio |
Prejuicio: alta subjetividad del experto. Los resultados y recomendaciones son criterio del evaluador. |
Medida de la Usabilidad: típicamente cualitativa |
Información: abundante información (problemas a bajo nivel: colores, fuente, etc.); baja realimentación (problemas de alto nivel). |
Inmediatez de la Respuesta: rápido retorno de información. |
Intromisión: ninguna, la evaluación heurística no involucra la participación de usuarios reales. |
Costo: bajo costo de recursos y tiempo. |
Tabla 3. Recorrido Pluralista
Nombre del Método: Recorrido Pluralista |
Descripción: se reúne tanto a desarrolladores y expertos como con usuarios, se trabaja sobre prototipos, pueden ser en papel, se pide que ejecuten ciertas tareas sobre el prototipo mientras anotan cada paso de la interacción. Luego se debaten los problemas y decisiones tomadas durante el proceso [BIA95]. Combina tres visiones diferentes del sistema: lo que se debe (experto), se quiere (usuarios) y se puede (desarrollador). |
Estrategia: se encuentra una mayor fortaleza para este método en las primeras fases del desarrollo, el impacto ante los cambios propuestos y la generación de un lineamiento de trabajo para futuros modelo de mayor nivel, es evidente. |
Localización: laboratorio |
Prejuicio: alta subjetividad de los participantes. |
Medida de la Usabilidad: cualitativa |
Información: alta información (problemas a bajo nivel: colores, fuente, etc.); baja realimentación (problemas de alto nivel), la atención no esta centrada en la observación del usuarios sino en el debate entre las partes. |
Inmediatez de la Respuesta: rápido retorno de información. |
Intromisión: baja, los usuarios realizan su observación y sacan sus propias conclusiones, luego viene el proceso de debate en el cual la estar frente a un equipo de desarrollo y un grupo de expertos muchas veces intimida al usuario. |
Costo: mediana inversión de recursos, sobre todo de tiempo y organización. |
Tabla 4. Caminata Cognitiva
Nombre del Método: Caminata Cognitiva (Cognitive Walkthroughs) |
Descripción: este método tiene por eje central evaluar el rápido aprendizaje del sistema. Esta basado en los recorridos estructurales tradicionales que se usan en la comunidad de la ingeniería de software [YOU89]. Partiendo de una interfaz detallada, un escenario y una tarea, se pide a usuarios reales interactuar con el sistema. Cada paso que el usuario realice será anotado y contrastado con la secuencia de acciones bajo las cuales el analista planteo la interfaz. Las sesiones son grabadas en video y analizadas para descubrir el origen de fallos, errores o frustraciones de los usuarios. Se trata de reconstruir paso a paso la interacción del usuario con el sistema. |
Estrategia: se recomienda su utilización durante las fases de diseño, implementación pruebas e implantación. |
Localización: laboratorio |
Prejuicio: alta subjetividad de los usuarios. |
Medida de la Usabilidad: cuantitativa o cualitativa, se puede manejar como un grado de coincidencia entre la ruta esperada y los caminos de solución tomados por el usuario. |
Información: media información; alta realimentación, se evidencian problemas críticos de la interfaz que vayan más halla del modelo estético. |
Inmediatez de la Respuesta: media, es necesario un análisis detallado de las conductas del usuario durante la interacción. |
Intromisión: media, la sección se registra sobre video, lo cual puede condicionar ciertas decisiones del usuario. |
Costo: mediana inversión de recursos. |
Tabla 5. Inspección de Estándares
Nombre del Método: Inspección de estándares |
Descripción: Este método se realiza por medio de un experto en un estándar que puede ser de facto o de iure de la interfaz. El experto realiza una inspección minuciosa a la interfaz para comprobar que cumple en todo momento y globalmente todos los puntos definidos en el estándar [WIX94]. |
Estrategia: fases avanzadas del desarrollo, pruebas, e implantación. |
Localización: laboratorio |
Prejuicio: objetivo. |
Medida de la Usabilidad: cuantitativa, porcentaje de cumplimiento con el estándar. |
Información: alta información; baja o nula realimentación. |
Inmediatez de la Respuesta: alta, resultados disponibles en cuanto termine el proceso. El tiempo en la ejecución de las verificaciones dependerá de las herramientas con que cuente el experto y la complejidad del estándar. |
Intromisión: nula, no hay presencia de usuario. |
Costo: baja inversión de recursos. |
Tabla 6. Estudio de Campo
Nombre del Método: Estudio de Campo / Método Etnográfico |
Descripción: centra su atención en los aspectos tangibles del entorno de ejecución de la aplicación. Selecciona perfiles de usuarios reales, diseña entrevistas y organiza sesiones de observación directa del entorno de trabajo. Registro en fotos, archivos de trabajo, etc. El resultado final de este método, es el reflejo del modelo mental del usuario con respecto a la tarea y artefactos (objetos tangibles en la interacción). Información muy útil dentro de etapas de definición del sistema [NIE93]. |
Estrategia: fases de definición, captura de requisitos e implantación, vista como los requerimientos de una segunda versión del producto. |
Localización: entorno real |
Prejuicio: subjetiva, las apreciaciones están a juicio del observador. |
Medida de la Usabilidad: cualitativa, el propósito es conocer, más que juzgar. |
Información: baja información; alta realimentación, modelo mental de las tareas. |
Inmediatez de la Respuesta: media, los resultados requieren de un análisis de los datos observados para la generación del modelo mental. |
Intromisión: media, la observación y entrevistas interfieren con el usuario. |
Costo: mediana inversión de recursos. |
Tabla 7. Grupo de Discusión Dirigido
Nombre del Método: Grupo de discusión dirigido (focus group) |
Descripción: reúne de 6 a 9 usuarios para discutir aspectos relacionados con el sistema. Un ingeniero de factores humanos hace las veces de moderador, que tiene que preparar la lista de aspectos a discutir y recoger la información que necesita de la discusión. Esto puede permitir capturar reacciones espontáneas del usuario e ideas que evolucionan en el proceso dinámico del grupo [NIE93]. |
Estrategia: pruebas e implantación. |
Localización: laboratorio |
Prejuicio: subjetiva, las apreciaciones se gestan en debate. |
Medida de la Usabilidad: cualitativa. Apreciaciones del sistema. |
Información: media información; media realimentación. |
Inmediatez de la Respuesta: media, los datos recogidos tienden a tener una validez baja y son muy difíciles de analizar debido a su naturaleza no estructurada y de flujo libre. |
Intromisión: alta, el proceso de debate termina por alterar la opinión de los usuarios. |
Costo: mediana inversión de recursos. |
Tabla 9. Cuestionarios
Nombre del Método: Entrevistas |
Descripción: consta de una serie de preguntas y tópicos el cual el usuario debe responder a un revisor; aspectos tales como su experiencia con el sistema, actitud e impresiones. El revisor debe adaptar la entrevista tal que pueda obtener el máximo beneficio en cada sesión. |
Estrategia: pruebas e implantación. |
Localización: laboratorio, entorno real |
Prejuicio: subjetiva, apreciaciones del usuario |
Medida de la Usabilidad: cualitativa, apreciaciones del sistema. |
Información: baja información; alta realimentación. |
Inmediatez de la Respuesta: alta. |
Intromisión: media. |
Costo: baja inversión de recursos. |
Tabla 8. Entrevistas
Nombre del Método: Cuestionarios |
Descripción: es un procedimiento menos flexible que una entrevista pero permite llegar a más usuarios y generar informes estadísticos con mayor facilidad. |
Estrategia: pruebas e implantación. |
Localización: laboratorio, entorno real |
Prejuicio: subjetiva y objetiva. Aun cuando los cuestionarios se llenen subjetivamente, un número considerables de muestras conlleva a una visión objetiva del sistema. |
Medida de la Usabilidad: cualitativa, apreciaciones del sistema. |
Información: baja información; alta realimentación. |
Inmediatez de la Respuesta: baja. |
Intromisión: baja o nula. |
Costo: baja inversión de recursos, sobre todo aprovechando los recursos tecnológicos. |
Tabla 10. Grabación de Uso
Nombre del Método: Grabación de Uso (logging) |
Descripción: implica disponer en el computador de una ampliación del sistema que recoja automáticamente estadísticas sobre el uso detallado del sistema. Es útil porque muestra cómo los usuarios realizan su trabajo real y porque es fácil recoger automáticamente datos de una gran cantidad de usuarios que trabajan bajo diversas circunstancias. |
Estrategia: pruebas e implantación. |
Localización: laboratorio, entorno real |
Prejuicio: objetiva |
Medida de la Usabilidad: cualitativa. |
Información: baja información; alta realimentación. |
Inmediatez de la Respuesta: baja, depende de la estrategia de análisis de los datos. |
Intromisión: baja, la captura puede hace de forma transparente al usuario. |
Costo: alto, consecuencia del diseño y construcción de los elementos de captura de la información, mas el tiempo de análisis de los datos. |
Tabla 11. Pensando en Voz Alta
Nombre del Método: Pensando en voz alta (thinking aloud) |
Descripción: se pide a los usuarios que expresen en voz alta sus pensamientos, sentimientos y opiniones mientras que interaccionan con el sistema. Es muy útil en la captura de un amplio rango de actividades cognitivas [NIE93]. |
Estrategia: diseño,pruebas e implantación. |
Localización: laboratorio, entorno real |
Prejuicio: subjetivo |
Medida de la Usabilidad: cualitativa. |
Información: media información; alta realimentación. Ayuda a comprender el modelo mental de la tarea y proporciona información como terminología empleada, funcionalidades deseables y necesidades en la documentación. |
Inmediatez de la Respuesta: alta |
Intromisión: alta, no constituye un proceso natural para el usuario. |
Costo: alto |
Tabla 12. Interacción Constructiva
Nombre del Método: Interacción Constructiva (codescubrimiento) |
Descripción: es una derivación del método pensando en voz alta e implica el tener en vez de uno, dos usuarios que hagan el test al sistema conjuntamente [OMA94]. La principal ventaja es ser mucho más natural que el pensar en voz alta, ya que las personas normalmente verbalizan cuando tratan de resolver un problema conjuntamente y además hacen muchos más comentarios; la desventaja es que los usuarios pueden tener diferentes estrategias de aprendizaje. |
Estrategia: diseño,pruebas e implantación. |
Localización: laboratorio |
Prejuicio: subjetivo |
Medida de la Usabilidad: cualitativa. |
Información: media información; alta realimentación. Al tenerse estrategias de aprendizaje distintas se produce una interferencia entre las opiniones de los participantes, esto reduce la capacidad de abstraer el modelo mental de la tarea. |
Inmediatez de la Respuesta: alta |
Intromisión: baja, convirtiendo el proceso de pensar en voz alta, en algo normal. |
Costo: alto |
Tabla 13. Examen Retrospectivo
Nombre del Método: Examen Retrospectivo |
Descripción: se parte del hecho que si se ha realizado una grabación en vídeo de la sesión de evaluación, es posible recoger más información haciendo que el usuario revise la grabación [HEW87]. De este modo, el usuario puede dar opiniones más amplias acerca de su interacción y el observador puede preguntar sin interferir el proceso. Demanda un mayor tiempo por sesión. |
Estrategia: diseño,pruebas e implantación. |
Localización: laboratorio |
Prejuicio: subjetivo |
Medida de la Usabilidad: cualitativa. |
Información: media información; alta realimentación. |
Inmediatez de la Respuesta: alta |
Intromisión: baja, las preguntas se realizan examinando el video de la sesión. |
Costo: alto |
Tabla 14. Método del Conductor
Nombre del Método: Método del conductor (coaching method) |
Descripción: contrario a muchos otros métodos, donde la interferencia del observador es evitada en lo posible, este método guía o conduce a los usuarios en la dirección correcta mientas usan el sistema [MAC92]. Este método se centra en el usuario inexperto y su propósito es descubrir las necesidades de información de los usuarios de tal manera que se proporcione un mejor entrenamiento y documentación al mismo tiempo que un posible rediseño de la interfaz para evitar la necesidad de preguntas. |
Estrategia: diseño,pruebas e implantación. |
Localización: laboratorio |
Prejuicio: subjetivo |
Medida de la Usabilidad: cualitativa. |
Información: alta información; alta realimentación. |
Inmediatez de la Respuesta: alta |
Intromisión: alta, la sesión completamente guiada. |
Costo: alto |
Tabla 15. Método de Modelos
Nombre del Método: Método de Modelos |
Descripción: utilización de los modelos GOMS (Goal, Operations, Methods and Selection Rules) [STU83]. Un modelo GOMS es una descripción del conocimiento que un usuario debe tener para poder llevar acabo una tarea sobre un dispositivo o un sistema. Consiste de la descripción de los Métodos necesitados para culminar una Meta específica. Los Métodos están compuestos de Operadores que son una serie de pasos que el usuario interpreta. Un Método puede exigir el cumplimiento de sub.-Metas para ser culminado, por tanto los métodos tienen una estructura jerárquica. Si hay más de un método comprometido en una Meta, entonces Reglas de Selección escogen el Método apropiado dependiendo del contexto. Describir las Metas, Operadores, Métodos y Reglas de Selección para un conjunto de tareas de una manera formal constituye un análisis GOMS o define el denominado modelo GOMS.
El más simple de los modelos GOMS es el Keystroke-Level Model descrito por primera vez por Card en 1980 [CAR80], en el cual el total del tiempo de ejecución de una tarea se predice por el total de tiempo para las acciones elementales a nivel de teclado. |
Estrategia: diseño,pruebas e implantación. |
Localización: laboratorio |
Prejuicio: objetivo |
Medida de la Usabilidad: cuantitativa y cualitativo |
Información: baja información; nula realimentación. Si por ejemplo debe seleccionarse entre dos sistemas, el GOMS es un buen criterio de elección. |
Inmediatez de la Respuesta: baja, complejidad en el uso de estos modelos |
Intromisión: nula |
Costo: bajo |
Además de estos y otros métodos, existe una serie de técnicas auxiliares que pueden ayudar a los diseñadores e ingenieros en Usabilidad a tomar mejores decisiones; técnicas que van desde acercamientos con el usuarios (Stakeholder meeting [BEV00], ISO 13407 [BEV00]), organización y estructuración de la información (Card Sorting [BEV00], Affinity Diagramming [BEV00], Brainstorming [BEV00]), hasta guías relacionadas directamente con el desarrollo (Prototipos Rápidos [BEV00], Guías de Estilo [BEV00]). Parte del estudio del DCU es proveer estas herramientas y conceptos adaptaos al contexto particular de uso. Cada organización o equipo de trabajo puede, a partir de su experiencia y conocimiento, generar una variante de los métodos expuestos o crear uno completamente nuevo que se ajuste a sus condiciones particulares de entorno
|
Métodos de Evaluación