Lineamientos de Diseño para el Desarrollo de Aplicaciones Usables bajo Entornos Web
Iván Darío Claros Gómez

Menú
Presentación
Tabla de Contenido
Referencias
Descargas
Recomendados

Paper, Evaluación de la Usabilidad

Metodología

Métricas de Usabilidad

Métodos de Evaluación
Lineamientos para la Evaluación
Lineamientos para el Diseño

 

Capítulo III, Técnicas y Métricas para la Evaluación de la Usabilidad

“Evaluar, no para sancionar y controlar, sino para mejorar y potenciar el equipo de trabajo”, Nancy Colomba

Contenido

  1. Evaluación de la Usabilidad
  2. Modelo de Medición de la Usabilidad para la Web
  3. Validación y Acercamiento al Contexto del Modelo de Medición Planteado
  4. Métodos de Evaluación
  5. Propuesta Metodológica para la Evaluación de la Usabilidad en la Web Colombiana

El éxito de un programa depende directamente de la calidad de su interfaz [BER97]. Al usuario final poco o nada le importa el tipo de tecnología que se utiliza detrás de la interfaz, él no entiende de protocolos, paquetes o enrutamiento, el solo juzga lo que ve y como se comporta frente a sus necesidades. Pero lo que sorprende de este asunto, es la poca motivación que presentan las empresas en invertir dinero y tiempo para la evaluación y mejoramiento de sus interfaces, aun sabiendo las altas tasas de retorno de dicha inversión [NIE94B]. A esta situación se le atribuyen diferentes causas, entre ellas: el simple desconocimiento de técnicas o herramientas para ejecutar esta labor, pero en otros, consecuencia de una cultura de desarrollo anticuado centrado en la tecnología y no en el usuario y sus tareas.

En este capítulo se plantean pautas para la estimación del nivel de usabilidad en sitios Web. Inicialmente se definirá un modelo de medición de la usabilidad aplicable al contexto Web, un esquema jerárquico que recoja características prioritarias y comunes, de la usabilidad vista desde la perspectiva Web. Junto con éste modelo se analizarán técnicas y estrategias para la recolección y consolidación de datos.

Si bien las propuestas que aquí se exponen intentan evaluar la usabilidad en la Web de la forma más general posible, son los elementos del contexto los que realmente definen herramientas puntuales para ejecutar el proceso de evaluación. En el caso de este proyecto de grado, el contexto esta dado por sitios del gobierno Colombiano y en particular los sitios:

El Anexo C, resume los resultados del proceso de evaluación que se siguió como prueba piloto para corroborar los lineamientos para la Evaluación de la Usabilidad, expuestos en el capitulo IV.

3.1 Evaluación de la Usabilidad

En términos generales, se define la evaluación como el proceso sistemático, continuo e integrador de todos los aspectos de un proceso [CAS02]; que recolecta y analiza información para describir la realidad y emitir juicios de valor sobre su adecuación a un patrón o criterio de referencia establecido como base para la toma de decisiones [COL02]. El hecho de considerar la evaluación como un proceso, frente al mero acto de comprobación, significa realzar la dimensión dinámica y adaptativa de los componentes personales que en ella intervienen [CAS02]. La evaluación forma parte de un proceso amplio que supone la gestión y elaboración de un proyecto para su correcta ejecución [COL02].

La evaluación de la usabilidad es un proceso que busca establecer una medida confiable de la facilidad con que los usuarios interactúan con un sistema. La evaluación de usabilidad para algunos autores como Mayhew [MAY99], es un estudio empírico con usuarios reales del sistema propuesto, con el propósito de proporcionar retroalimentación en el desarrollo de software durante el ciclo de vida de desarrollo iterativo.

El propósito más importante de la evaluación no es demostrar, sino perfeccionar el proceso o producto evaluado [CAS02]. Por tanto, la finalidad perseguida en la elaboración de una guía de evaluación es brindar herramientas para facilitar el desarrollo de una cultura de evaluación de la usabilidad software. Es pertinente en el desarrollo software, y en general de todo proceso, una cultura que evalúe; incorporando a la evaluación como una práctica cotidiana de todos los integrantes del proceso de desarrollo. Evaluar, no para sancionar y controlar, sino para mejorar y potenciar el equipo de trabajo [COL02]. En la medida que cada integrante participe y conozca a fondo acerca del proceso de evaluación, el cumplimiento exitoso de los objetivos propuestos será inmediato. Como consecuencias directas de la evaluación se tiene [ALV05]:

  • Mejoramiento en la calidad de los procesos: derivada de una cultura de desarrollo organizada y consciente de la importancia de la evaluación.
  • Mejoramiento en la calidad en los productos: validación consciente y temprana de los diferentes módulos que conforman el sistema.
  • Manejo eficiencia de los recursos tiempo y dinero: consecuencia derivada de la corrección temprana de fallas.
  • Posibilidad de reproducir éxitos en otros proyectos: cada módulo desarrollado se convierte en una fuente confiable de código reutilizable, además de evolucionar a procedimientos ágiles y óptimos para la evaluación del sistema.
  • Dominación de los riesgos del proceso: entre más rápido se detecten fallas, las estrategias de contingencia de riesgos serán más efectivas.
  • Confianza y satisfacción del cliente: la validación conjunta con el usuario, evita sorpresas desagradables en etapas críticas del desarrollo.

Los procesos de evaluación se debaten bajo dos enfoques prácticos: uno cuantitativo y el otro cualitativo [ANG85]. Si bien, el enfoque cuantitativo es más intuitivo por cuanto expresa en términos sencillos los atributos de un ente, son resultados que difícilmente se pueden replicar y por tanto generalizar, además su procesamiento en grandes volúmenes es complejo. En el enfoque cuantitativo se trata de modelar las conductas a evaluar en aproximaciones matemáticas cuya medida es un acto libre de la subjetividad del observador, o es lo que se espera. La evaluación, para ese caso, resulta en procedimientos que se pueden repetir, comprobar e incluso automatizar; para finalmente llegar a generalizar los resultados.

La propuesta metodológica definida en este trabajo de grado, toma conceptos de ambos enfoques y comienza por modelar la usabilidad de un sitio en términos de Criterios, Métricas y Atributos; esquema denominado Modelo de Medición de Usabilidad basada en Jerarquía de tres Niveles [ALV05]. En la Ilustración 1 se muestra dicho modelo. Capa uno de los niveles o capas definidos por el modelo pretende acerca la definición de usabilidad con los elementos tangibles del sitio.

Modelo de Medición de Usabilidad basada en Jerarquía de tres Niveles

Ilustración 1. Modelo de Medición de Usabilidad basada en Jerarquía de tres Niveles.

Por otro lado, el clásico proceso de evaluación de productos software puede ser descrito de acuerdo al modelo mostrado en la Ilustración 2 [ZUL00]. Dicho modelo ha sido interpretado de la siguiente forma: para pasar de la fase de desarrollo Fase Na Fase N+1 es necesarioun proceso de evaluación: un procedimiento que controle, mejore y permita hacer seguimiento de la calidad tanto del producto como del proceso. Dicho proceso se construye con base en dos entradas fundamentales: los requerimientos, criterios o métricas a evaluar, y las técnicas o métodos que permitan recolectar y procesar datos de la evaluación.

Modelo Básico de Evaluación Software

Ilustración 2. Modelo Básico de Evaluación Software

Es oportuno agregar como consideraciones importantes durante la selección de herramientas deevaluación a los recursos disponibles (tiempo y dinero); perfiles de los evaluadores y usuarios del sistema (características físicas, cognitivas, culturales); experiencias y aportes que el equipo de evaluadores tenga sobre el método y la teoría;y finalmente, expectativa frente al grado de exactitud con el cual la evaluación describe las características de calidad expuestas por el sistema (modelos cuantitativos o cualitativos).

Apropiándose del modelo anterior, el conjunto de requerimientos o criterios para la valoración de la usabilidad estará dado por un Modelo de Medición de Usabilidad para la Web, que combinado con las técnicas o métodos apropiados, podrá establecer una herramienta de evaluación de la usabilidad. Ya se dieron algunas pautas para generar el modelo y por tanto el siguiente apartado tiene por objetivo definir dicho modelo.

3.2 Modelo de Medición de la Usabilidad para la Web

Bajo una definición formal, una métrica es un valor numérico o nominal asignado a características o atributos de un ente y se calcula a partir de un conjunto de datos observables y consistentes con la intuición [CUE04]. Es una correspondencia entre un dominio empírico y un mundo formal o matemático. La métrica puede ser directa o indirecta, interna o externa, objetiva o subjetiva [CUE04].

La métrica debe ser en todo momento una medida válida, la medida debe ser una caracterización numérica apropiada del atributo, mostrando que se satisfaga la condición de representación, esto es, que la correspondencia entre el dominio empírico y el nuevo dominio numérico o simbólico preserve la relación de manera que estudiando y analizando a los números podamos explicar y conjeturar sobre el ente del mundo real. Cualquier medida que satisfaga la condición de representación es una métrica válida [CUE04].

Kitchenham afirma que para decir si una métrica es válida es necesario al menos confirmar [KIT96]:

  • La validez del atributo: si el atributo en cuestión es realmente exhibido por el ente que se desea evaluar.
  • La validez de la unidad: si la unidad de medición a ser usada es apropiada para medir el atributo.

Para este trabajo, siguiendo con el modelo de evaluación planteado, las métricas de usabilidad Web se han agrupado dentro de seis grandes criterios: Aprendizaje, Operatividad, Satisfacción, Contenido, Eficiencia y Eficacia. Esta división obedece principalmente a la combinación entre las diferentes definiciones de usabilidad que se han apropiado para este trabajo de grado [TRA03], [GOT01], [BEN79], [KRU00], [ISO98]. Dentro de cada criterio se dispone de un conjunto de métricas que creemos, según resultados de nuestro trabajo de investigación ([WHI88], [MAY92], [NIE93], [OLS99], [CUE04], [ALV05]) y juicios propios, se han dispuesto como las más adecuadas para cada criterio.

Desde este enfoque, las Métricas de usabilidad para la Web pueden verse como requisitos deseables para una aplicación Web. El cálculo de dichas métricas no se realiza directamente, para ello se define un conjunto de atributos e indicadores por cada métrica. Los Atributos son elementos más prácticos y claros que cualifican o cuantifican las métricas (preferiblemente cuantitativo para facilitar su análisis a través de métodos estadísticos) [ALV05]. Los Indicadores, se han postulado como estrategias para la medida de los atributos; en muchos casos, estas estrategias resultan igual de abstractas que los mismos atributos, para tal caso se espera que una vez definidas las métricas particulares a utilizar en el contexto de la evaluación, se precise de argumentos numéricos que permitan estimar una medida exacta (por ejemplo, 10 seg. como máximo tiempo de retardo entre petición-respuestas).

A continuación se resumen los criterios, métricas y atributos propuestos para el Modelo de Evaluación de la Usabilidad en la Web. Luego se dará una descripción mas detallada de cada uno de estos elementos, mostrando además, los indicadores de cada atributo.

Ver el Modelo Detallado

  1. Aprendizaje
    1. Facilidad de aprendizaje
      1. Familiar
      2. Consistente
      3. Lenguaje Común
      4. Intuitivo
      5. Predecible
    2. Comprensibilidad
      1. Estructura del sitio
      2. Fácil de reconocer
      3. Claridad en la definición de requerimientos entrada/salida
      4. Tiempo de entrenamiento
      5. Esquema de organización global
    3. Metodología
      1. Técnicas de Redacción de contenidos apropiadas
      2. Comunicación funcional
      3. Preclasificación de los contenidos
      4. Utilización de formatos
      5. Fiabilidad
      6. Prudencia en el uso de tecnologías
    4. Pedagogía
      1. Definición de perfiles de usuario
      2. Definición de objetivos del sitio discriminados por perfiles
    5. Recordación
      1. Estrategias para facilitar la recordación
      2. Mecanismos de anotación y bitácoras de usuario
      3. Mecanismos de señalamiento de pasos dentro de una tarea
      4. Mecanismos para suspender y retornar a las tareas
    6. Documentación
      1. Relación densidad/utilidad
      2. Mecanismos de acceso y disponibilidad
    7. Ayuda y Realimentación
      1. Información útil y contextualizada
      2. Mecanismos de Realimentación
      3. Preguntas Frecuentes
      4. Mecanismos de participación
      5. Visitas guiadas
      6. Ayuda de Búsqueda
  2. Operatividad
    1. Facilidad de Uso, Control u Operatividad
      1. Mecanismos de Cancelación
      2. Mecanismos de Gestión
      3. Flexibilidad en la utilización de los servicios del sistema
    2. Funcionalidad
      1. Utilidad de los servicios y contenidos
      2. Fuentes confiables
      3. Noticias y novedades
      4. Sitios relacionados
    3. Navegación
      1. Controles de navegación
      2. Estado del sistema
      3. Menús
      4. Control de avance y regreso lógico
      5. Enlaces
    4. Estándares
      1. Válido en HTML
      2. Válido en hojas de estilo CSS (Cascading Style Sheets)
      3. Válido en Accesibilidad
  3. Satisfacción
    1. Privacidad
      1. Conexión segura
      2. Políticas de seguridad
      3. Respaldo
      4. Políticas de confidencialidad
    2. Atracción
      1. Complacencia del usuario con la interacción
      2. Complacencia del usuario con los resultados
    3. Potenciación de las habilidades del Usuario
      1. Participación del usuario en las tareas del sistema
  4. Contenido
    1. Comunicación
      1. Control sobre los medios
      2. Estética
      3. Integración
      4. Adecuación
      5. Densidad
    2. Identidad
      1. Información de definición esencial
      2. Organigrama de la institución, programa o proyecto
      3. URL (Uniform Resource Locator)
      4. Directorios de Teléfono y e-mail
    3. Accesibilidad
      1. Compatibilidad con diferentes clientes Web
      2. Presentación de los archivos de descarga
      3. Independencia con la resolución de pantalla
      4. Tecnologías auxiliares: plug-in, applets, active-x, etc.
      5. Idiomas
  5. Eficiencia
    1. Velocidad y medios
      1. Tamaño de página
      2. Tiempo de respuesta de los servicios
    2. Desempeño humano
      1. Tiempo para completar una tarea
      2. Tiempo gastado en errores
      3. Frecuencia con que se acude a la ayuda
      4. Comandos involucrados en una tarea
  6. Eficacia
    1. Recuperación, diagnóstico de errores
      1. Mensajes de error
      2. Estrategias de recuperación de errores
    2. Prevención de errores
      1. Estrategias para la prevención de errores

3.3 Validación y Acercamiento al Contexto del Modelo de Medición Planteado

Una vez definido el Modelo de Medición de la Usabilidad para la Web, se procede a comprobar si éste tiene validez y coherencia con las teorías y conceptos de usabilidad. Para ello, se diseña y presenta a un conjunto de expertos en el área de la usabilidad unas encuestas (puede verse en el Anexo A) en la cual se piden dos cosas: primero, ponderar los elementos componentes del modelo planteado, teniendo como base el contexto para el cual se va a utilizar (páginas Web del gobierno colombiano) y segundo expresar, en forma de comentario, la opinión que el modelo le merece.

Las opiniones recogidas coinciden en ser un modelo coherente a la definición de usabilidad y que además reúne aspectos relevantes del área según lo citan algunos de los encuestados: “Las características y sub características de usabilidad son adecuadas y se deben tener en cuenta para la valoración de un sistema...”, “...todas estos criterios y métricas deben estar presentes en el momento de diseñar aplicaciones en entorno Web si deseamos obtener aplicaciones de calidad...”

Esta encuesta y el tratamiento que se le da a los datos, intenta hacer uso de la técnica Delphi [LIN75], [LAN99], como la herramienta conceptual que ayuda a sintetizar la opinión del experto para llegar a la solución de problemas complejos, en este caso: definir el conjunto de criterios, métricas y atributos más adecuadas para la evaluación de la usabilidad de las páginas Web del gobierno Colombiano.

Dentro de la encuesta se pregunta a usuarios, diseñadores, comunicadores y profesionales en el área de la Usabilidad cual es el grado de acuerdo o desacuerdo con la inclusión del parámetro (criterios y métricas) en la evaluación de la usabilidad en función de los perfiles definidos dentro de la audiencia potencial de los sitios.

La ficha técnica de la encuesta es la siguiente:

Nombre de la Encuestas:Evaluación de los Parámetros de medición de Usabilidad

Universo: Profesionales de la Usabilidad

Número de Personas Encuestadas: 8

Fecha de inicio: 15/12/2005

Fecha de Finalización: 15/01/2006

Distribución: En-Línea, (http://afrodita.unicauca.edu.co/~iclaros/tesis/index.html)

En total fueron 8 personas las que resolvieron la encuesta. Expertos en HCI de diferentes lugares del mundo: España, Chile, Brasil y Colombia.

Los resultados de estas encuestas se resumen en la tabla 1, aquellos parámetros señalados mediante fondo gris, en este caso solo fueron métricas, no superaron el promedio de calificación 3, lo cual los hace considerar como elementos poco relevantes para tener presentes durante la evaluación. El resultado más importante dentro de este procedimiento es la selección de los criterios y métricas a tener en cuenta durante el proceso de evaluación, esta selección obedeció a un acercamiento al contexto de ejecución.

Tabla 1, Resumen de Resultados Encuesta de Acercamiento al Contexto (escala de 1 a 5)

Criterios

Niños

Jóvenes

Adultos

Adulto Mayor

1. Aprendizaje

4.25

4

4.2

4

2. Operatividad

4

4

4.2

4.5

3. Satisfacción

4.25

4.5

4

4.25

4. Contenido

3.5

4

4.2

4

5. Eficiencia

3.25

3.5

4.4

4.25

6. Eficacia

3.75

4.25

4.8

4.75

Métricas

Niños

Jóvenes

Adultos

Adulto Mayor

1.1 Facilidad de aprendizaje

4.75

4

4.4

4.75

1.2 Comprensibilidad

4.5

3.5

4

4.75

1.3 Metodología

4

3.75

4

3.75

1.4 Pedagogía

4.75

4

3.8

3.75

1.5 Recordación

4

3.5

4

4.25

1.6 Documentación

2.5

3.75

4

3.75

1.7 Ayuda y Realimentación

3

3

3.8

4.75

2.1 Facilidad de Uso, Control u Operatividad

3.75

3.75

4.2

4.5

2.2 Funcionalidad

3.25

4

4.2

4.25

2.3 Navegación

4

4.25

4.2

4

2.4 Estándares

2.25

2.5

2.8

2.25

3.1 Privacidad

2.25

3.5

4.2

3.25

3.2 Atracción

4.25

4.5

3.8

3.75

3.3 Potenciación de las habilidades del Usuario

3.75

3.75

4.2

4

4.1 Comunicación

4

4

3.6

4

4.2 Identidad

3

3.75

4

3.75

4.3 Accesibilidad

3.75

4.25

4.4

4.25

5.1 Velocidad y medios

3.75

4.25

4.4

3.5

5.2 Desempeño humano

3.5

4.25

4.4

4.25

6.1 Recuperación, diagnóstico de errores

3.25

3.75

4.2

4

6.2 Prevención de errores

3.75

3.75

4.2

4

El método Delphi es un proceso iterativo [LIN75], [LAN99], con cada ciclo retoma los resultados del anterior y filtra nuevos resultados, es un proceso continuo de destilación de información. A cada experto se le pide que de su opinión acerca del tema; se establecen sesiones para confrontar resultados encontrados y tratar de llegar a un consenso unificado. Para esta experiencia, los datos demuestran suficiente consenso como para no hacer necesaria una segunda iteración. No obstante, el incrementar el número de personas que desarrollen la encuesta, permitirá obtener un resultado más coherente con el contexto; son los usuarios de la aplicación los que definen las características que hacen usable o no a un sitio.

Arriba
Universidad del Cauca
Facultad de Ingeniería Electrónica y Telecomunicaciones
Popayán, 2006©