L'osservazione può avere luogo informalmente sul campo o più formalmente in laboratorio come parte di un test di usabilità, per vedere come gli utenti eseguono determinati compiti. In una prospettiva partecipativa ed etnografica si può invece utilizzare l'osservazione allo scopo di comprendere come gli utenti interagiscono con la tecnologia nel loro ambiente naturale di lavoro.

Due sono i modi principali per raccogliere ed analizzare i dati:

	l'osservazione diretta;
	l'osservazione indiretta.

Nella osservazione diretta l'osservatore registra manualmente gli aspetti rilevanti e problematici dell'interazione e della performance, in modo più o meno strutturato. Le osservazioni più strutturate sono adatte quando gli aspetti che si vogliono indagare sono limitati e sono esplicitamente definiti in anticipo. Le osservazioni meno strutturate sono appropriate quando la valutazione è di tipo esplorativo. L'osservazione diretta rappresenta il modo più economico di registrare le osservazioni ma è spesso un metodo intrusivo poichè gli utenti possono essere costantemente consapevoli di essere osservati e ciò può alterare il loro comportamento e quindi il livello della loro performance. Inoltre, la registrazione dei dati può essere incompleta, sia perchè si possono perdere delle informazioni rilevanti, sia perchè non si può registrare tutto ciò che avviene. (E' infatti necessario decidere in anticipo cosa osservare e i dati ottenuti saranno quindi gli unici disponibili).

Nella osservazione indiretta, invece, l'osservatore utilizza la registrazione video, spesso sincronizzata con qualche forma di registrazione software, che ha il vantaggio di fornire una maggiore quantità di dati e quindi un quadro più completo dell'interazione che viene esaminata. Lo svantaggio consiste però nel fatto che l'analisi è molto dispendiosa in termini di tempo. Inoltre, anche in questo caso, l'osservazione può mettere a disagio l'utente e quindi interferire con la performance.

Due sono fondamentalmente i tipi di analisi che vengono condotte sui video: le analisi basate sul compito e le analisi basate sulla performance. Le prime tentano di determinare come gli utenti affrontano il compito e dove si evidenziano le maggiori difficoltà. Le seconde cercano di ottenere dai dati raccolti delle misure di performance definite precisamente. Le più comuni sono: la frequenza dei compiti eseguiti correttamente, il tempo di esecuzione, la frequenza e il tipo di errori, il tempo necessario per riprendersi dagli errori, il tempo speso per consultare l'help, la frequenza di consultazione del manuale o di richiste di aiuto, ecc.

A questo proposito è stato sviluppato il Diagnostic Recorder fo Usability Measurement (DRUM). Il DRUM è uno strumento software sviluppato dalla NPL all'interno del progetto MUSiC (Macleod and Rengger, 1993) e serve per velocizzare l'analisi dei filmati registrati sull'interazione dell'utente con il software e per aiutare a gestire la valutazione dell'usabilità nel suo complesso. Di solito i video-clip sugli utenti finali che lavorano col sistema investigato riescono a dare chiara evidenza ai progettisti e agli sviluppatori su come il sistema funziona e si comporta in termini di usabilità. Riesce ad evidenziare anche specifici problemi magari nascosti a una prima veloce indagine. Maggiori informazioni si trovano sul sito:

DRUM - Diagnostic Recorder for Usability Measurement: http://www.npl.co.uk/npl/sections/us/products/drum.html

Nelle osservazioni, sia dirette sia indirette, generalmente è necessario un numero di utenti molto limitato (da sei a otto) prima di notare dei modelli nel comportamento. Quando gli stessi errori sono commessi da cinque o sei utenti significa che è necessaria una riprogettazione. Se ad esempio la maggior parte degli utenti fraintende un messaggio di errore, è chiaro che questo va modificato. Oppure se tentano di selezionare più volte un'icona con il mouse, è ovvio che questa va ingrandita (Mayhew, 1992).

Le registrazioni video sono comunemente associate a registrazioni audio denominate protocolli verbali (Ericsson e Simon, 1985). Queste possono contenere le osservazioni degli utenti e quindi informazioni rilevanti per conoscere l'attività cognitiva sottostante il comportamento osservabile (come ad esempio le strategie adottate nell'esecuzione dei compiti) e le reazioni soggettive al sistema. In questo modo si possono rilevare non solo i problemi ma anche le loro cause.

In particolare, con il termine protocollo "think aloud" si intende un particolare tipo di protocollo verbale nel quale l'utente dice cosa sta pensando (cosa sta cercando di fare e le sue reazioni al sistema) mentre sta eseguendo un particolare compito o risolvendo un problema. Lo svantaggio in questo caso è dato dal fatto che questo metodo è intrusivo: l'utente non è abituato a pensare ad alta voce e deve essere sollecitato a farlo, una forzatura che può alterare la natura dell'interazione e influenzare le misure di perfomance, per cui è sconsigliabile utilizzarlo quando lo scopo è quello di ottenere misurazioni precise della stessa.

Questa forzatura può comunque essere limitata utilizzando due utenti che lavorano insieme.