Una metodologia per la valutazione analitica dell’usabilità è stata proposta da Jakob Nielsen (1994) ed è basata su un approccio noto come "discount usability engineering".

Il metodo sviluppato da Nielsen si basa su due tecniche combinate: la prima parte del metodo coinvolge gli utenti e utilizza scenari che vengono testati utilizzando protocolli "thinking aloud". In genere prendono parte a questa fase di testing da uno a tre soggetti. Sulla base dei risultati ottenuti gli scenari vengono modificati e testati nuovamente. La seconda parte del metodo implica di testare lo scenario usando la valutazione euristica condotta da esperti di usabilità. Facendo tesoro della massima "il meglio è nemico del buono", Nielsen ha identificato dieci euristiche generali nella progettazione di interfacce usabili (Nielsen 1993) A partire dalle euristiche, gli esperti di usabilità sono in grado di identificare i maggiori problemi di interazione con l'interfaccia che gli utenti reali incontreranno nello svolgimento dei loro compiti lavorativi. Di seguito verrà considerato un esempio di analisi costi-benefici della valutazione euristica basata su (Nielsen 1994). nella valutazione considerata verrà stimato solo il costo relativo alla valutazione degli esperti.

I costi

La stima dei costi della valutazione euristica comprende la stima di una serie di attività che vanno dalla selezione delle tecniche e dei valutatori fino all’analisi della criticità dell’interfaccia da valutare. Di seguito considereremo un esempio citato da (Nielsen 1994). Nella tabella 3 sono riportati i singoli item. Come si può osservare, l’ammontare di ore-persona richieste è di 105 ore.

Dalla Tabella 2 emerge inoltre che il numero totale di ore-persona può essere determinato in funzione del numero di valutatori considerati in ogni singola valutazione. La formula proposta da Nielsen è la seguente:

Tempo-persona (x) = 37.3 + 4.2x, dove x è il numero di valutatori utilizzati.

Il calcolo dei costi si può ottenere semplicemente moltiplicando il numero di ore per il costo orario degli esperti di usabilità. Valutando circa L. 100.000 il costo orario, si otterrebe un costo complessivo di L. 10.500.000.

Tabella 3. Stima del numero complessivo di ore-persona spese nella valutazione euristica di una interfaccia (adattato da Nielsen 1994)

Attività	Ore-persona
Scegliere e selezionare tecniche e valutatori	20
Preparare il briefing dei valutatori	3
Preparare lo scenario per i valutatori	2
Briefing (1 esperto del sistema, 1 esperto di valutazione, 11 valutatori per un’ora)	19.5
Preparare il prototipo per la valutazione*	5
Valutazione dell’interfaccia (11 valutatori per un’ora)	11
Osservazione della valutazione (2 osservatori per 11 ore)	22
Debriefing (3 valutatori, 3 progettisti, 1 esperto di valutazione per un’ora)	7
Rilevazione delle criticità dell’interfaccia e costruzione del questionario	8
Ordinamento delle criticità da parte dei valutatori (11 valutatori per 0.5 ore)	5.5
Analisi delle criticità	2
Totale ore-persona	105
Totale costi	L. 10.500.000

I benefici

Osserva Nielsen che, "il solo modo per valutare in modo corretto i benefici delle valutazioni di usabilità (sia analitiche, sia empiriche) sarebbe quello di realizzare dapprima due versioni della stessa interfaccia, una realizzata senza attenzione all'usabilità, l'altra realizzata nella prospettiva "user-centred". Successivamente farle utilizzare dagli utenti per svolgere un certo numero di compiti lavorativi per un periodo abbastanza lungo di tempo. Questo processo porterebbe a raccogliere misure comparate sia del tempo richiesto per apprendere ad usare ilsistema, sia dei miglioramenti nell'esecuzione dei compiti. Nella realtà questa situazione è impossibile da verificarsi. E' così necessario ricorrere a congetture ed a stime dei possibili benefici." (Nielsen 1994).

Considerando di nuovo l'esempio precedente, Nielsen considera i benefici derivanti da due dei parametri principali dell'usabilità:

	riduzione del tempo di apprendere il sistema (reduction of learning time);
	miglioramento nell'esecuzione dei compiti lavorativi (speedup in expert performance).

Non sono stati considerati altri parametri importanti quali ad esempio la riduzione della frequenza degli errori o la soddisfazione nell'uso (user satisfaction) in quanto di difficile valutazione.

Nelle stime riportate si osserva che per 2000 utenti, una riduzione del tempo di apprendimento di mezza giornata in un anno, porta ad un risparmio di 1000 giornate di lavoro.

La stima invece di una riduzione del 3.3% nel miglioramento della performance porta i 2000 utenti a risparmiare circa 65 anni di lavoro ogni anno che corrispondono circa a 14.000 giornate di lavoro** .

Il totale sarebbe quindi di circa 15.000 giornate di lavoro risparmiate.

Per il calcolo dei benefici complessivi assumiamo che il costo della giornata lavorativa per un singolo utente sia di L. 100.000. Il risparmio complessivo sarebbe di circa 1.5 miliardi di lire. Assumendo ipotesi più conservative (ad esempio che solo una metà dei problemi identificati nella valutazione euristica siano fissati; che i risparmi nella performance si realizzino tutti il primo anno e non negli anni successivi, ecc.), si ottiene un risparmio annuale di circa 500 milioni di lire.

	Bias R.G., Mayhew D.J. (1994), Cost-justifying usability, Academic Press
	Dumas J.S., Redish J.C. (1994), A practical guide to usability testing, Ablex Publishing Corporation, Norwood, New jersey
	Mayhew D.J., Mantei M. (1994), A basic framework for cost-justifying usability engineering, in Bias R.G., Mayhew D.J., Cost-justifying usability, Academic Press
	Nielsen J. (1993), Usability Engineering, Academic Press
	Nielsen J. (1994), Guerrilla HCI: using discount usability engineering to penetrate the intimidation barrier, in Bias R.G., Mayhew D.J., Cost-justifying usability, Academic Press
	Harrison M.C., Henneman R.L., Blatt L.A. (1994), Design of a human factors cost-justification tool, in Bias R.G., Mayhew D.J., Cost-justifying usability, Academic Press

Link - bibliografici e informativi