You are on page 1of 17

6.

2 Thinking Aloud Metoda istraživanja
Metoda korišćena u istraživanju je thinking aloud tj. metoda „razmišljanja
naglas“ koju smo detaljno opisali u poglavlju „Testiranje upotrebljivosti“.
Rezon iza korišćenja ove metode je prilično jasan – veoma je jeftina i
jednostavna za sprovođenje. Ona ne zahteva mnogo test korisnika. Već 5 do
6 korisnika je sasvim dovoljno kako bi se izvukli valjani zaključci. Oprema za
ovu vrstu testiranja, takođe, nije zahtevna niti skupa. Minimum je potrebno
obezbediti jedan računar, jednu kameru (koja čak može biti izostavljena u
nekim slučajevima) i neko sredstvo „hvatanja“ beleški. Naravno, kao i sve
ostale raspoložive metode, i ova metoda ima svoje negativne strane koje
treba uzeti u obzir. Ona nije prirodna za test korisnike pa je teško postići
verbalizaciju svega što se dešava u toku testiranja. Takođe, postoji par zamki
u koje sam sprovodilac istraživanja može da upadne. Negativni aspekti
metode razmišljanja naglas se ne mogu iskoreniti, ali se mogu svesti na
minimum sve dok istraživač ima u vidu da oni postoje. Ono što je veoma bitno
je da pozitivne strane ove metode u velikoj meri nadjačavaju njene mane.
Korisnikovo razmišljanje naglas omogućava istraživaču da na licu mesta i iz
prve ruke uvidi gotovo sve veće probleme upotrebljivosti i dokumentuje ih.
Procedura testiranja upotrebljivosti sistema thinking aloud metodom u ovom
radu sadrži sledeće korake:

Kreiranje plana istraživanja – istraživač mora imati tačno definisan
plan unapred, pre samog početka istraživanja. Veoma je bitno da
postoji konzistentnost u testiranju tj. da se svim korisnicima daju ista
objašnjenja, zadaju isti zadaci, upitnici itd. Stoga, kada je plan jednom
osmišljen, ne sme se menjati u toku testiranja. Plan treba da obuhvati
sastavljenu listu zadataka koje će korisnik u toku testa raditi, upitnik
subjektivnog zadovoljstva koji će korisnik popuniti na kraju testiranja,
raspored sedenja, raspored kamera i sve ostale tehničke detalje npr.
gde će se čuvati snimljeni video materijali i slično.

Sastavljanje zadataka i upitnika – zadaci koje istraživač osmisli
moraju da budu krajnji cilj za korisnika. Drugim rečima, zadatak treba

ali je u tom slučaju teže obaviti analizu. Pre nego što testiranje počne. nekoliko test korisnika. • Brifovanje test korisnika – priprema korisnika pre početka samog testiranja je veoma bitan deo sprovođenja istraživanja. Ako test korisniku ta činjenica nije dovoljno jasna. Istraživač mora da osmisli minimum jedan upitnik koji će test korisnik popuniti – upitnik subjektivnog zadovoljstva na kraju testiranja. zadatak bi trebao da bude dovoljno jasan kako bi korisnik znao tačno koji je cilj. čak i bez video snimanja. Sa druge strane. nekoliko kamera i softver koji beleži sve akcije korisnika. istraživač i sredstvo za enidentiranje komentara o spornim delovima sistema. pa i to treba uzeti u obzir. Što je više opreme prisutno. Potreban je minimum jedan računar. Opciono. dobra je praksa da istraživač objasni šta očekuje od korisnika kada mu kaže da razmišlja naglas i navede primer. Važno je i napomenuti da se ceo proces testiranja snima kako bi se kasnije lakše sprovela faza analiziranja rezultata. istraživač može sastaviti i upitnik koji će test korisnik popunjavati nakon svakog zadatka. na primer. već treba da dobije cilj do koga treba sam da nađe svoj put. vrlo lako može doći do frustracije zbog nemogućnosti savladavanja . Test korisnik u svakom trenutku testiranja mora biti svestan da on nije subjekat testiranja. pošto se njegove akcije ionako snimaju. Pojedini test korisnici drugačije da se ponašaju kada ih neko snima. U slučaju razmišljanja naglas. to je udobnija naknadna analiza – istraživač može pregledati snimljene sesije i dovesti određene akcije korisnika u korelaciju sa ispoljenim ponašanjem te iz toga izvesti određene zaključke o upotrebljivosti. Testiranje se može sprovesti i sa veoma malo opreme. jedna video kamera.da bude tako koncipiran da korisnik u samom zadatku nema i uputstvo kako da uradi taj zadatak. već da on pomaže da se testira sistem. Veoma je bitno da istraživač naglasi test korisniku da je mnogo bitnije da priča o onome šta u tom trenutku misli nego o onome šta u tom trenutku radi. • Postavka usability laboratorije – zahtevi za usability laboratoriju nisu veliki. istraživač treba da objasni test korisniku metodologiju koja se koristi tokom testiranja.

U ovakvim slučajevima treba ohrabriti korisnika i podsetiti ga da nisu oni predmet testiranja već sistem i da svaka greška koju naprave. • Proces testiranja sistema – test korisnik radi zadatke i razmišlja naglas. Kategorije mogu biti: komentar istraživača. Test korisnici su često skloni da u toku testiranja prokomentarišu da su nedovoljno stručni. Komentari mogu biti svrstani u nekoliko kategorija radi lakše analize u sledećim fazama. Ukoliko test korisnik ne razmišlja naglas. dok istraživač posmatra. istraživač bi trebao da podseti test korisnika da razmišlja naglas. a očigledno je da bi imao nešto da kaže.određenih prepreka što umesto pozitivnog rezultata nalaženja problema upotrebljivosti može dovesti do negativnog rezultata korisnikovog odustajanja od testiranja. Ovo će osim podsećanja korisnika da bi trebao da nastavi razmišljanje naglas u nekim slučajevima imati za efekat konstruktivan predlog ili pronalaženje izlaza iz navedene situacije. a broj 5 označava da se korisnik u potpunosti slaže sa izjavom. istraživač zapisuje sve korisne komentare. nije njihova greška već je sistem u spornom delu nedovoljno dobro dizajniran i to treba ispraviti – zbog toga se i radi testiranje. greška. Odgovori na pitanja se daju uglavnom kroz Likertovu skalu od 1 do 5. nedovoljno inteligentni. zapravo. prva reakcija istraživača nikada ne bi trebala da bude pružanje pomoći. korisniku treba dati da popuni upitnik subjektivnog zadovoljstva. • Debrifovanje test korisnika – nakon završetka testiranja. Ovaj upitnik se. može napraviti tipove beleški po sopstvenom nahođenju. kao što mu i ime kaže. Ovo je idealan trenutak za upitnik pošto su utisci o sistemu još uvek sveži. zapažanje test korisnika. Najbolja solucija u tom slučaju bi bila da istraživač odgovori pitanjem „Šta vi mislite?“. upit korisnika itd. naravno. nedovoljno informisani i slično. Broj 1 označava da se korisnik u potpunosti ne slaže sa izjavom. Istraživač. koncentriše na proveravanje koliko je test korisnik zadovoljan datim sistemom. Nakon popunjavanja upitnika. Ukoliko se test korisnik zaglavi na određenom zadatku i krene da postavlja pitanja i traži pomoć. Dok test korisnik radi zadatke. .

poredi komentare i zapažanja i izvlači zaključke. Takođe. 6. gde imaju manje poteškoće. To ne mora biti kobno po istraživanje kada je u pitanju thinking aloud metoda. ovaj trenutak može se iskoristit za dalju diskusiju o samom sistemu i eventualne odgovore na korisnikova dodatna pitanja u vezi sistema bez bojazni da se naruši konzistentnost rezultata testiranja. a sa kojim delovima sistema imaju najviše poteškoća. istraživač treba da osmisli najbolje načine za unapređenje upotrebljivosti sistema. Istraživač ponovo pregleda sve video materijale. Analiza obuhvata pregledanje i upoređivanje materijala iz svih sesija tj. računa se prosečna ocena za sve odgovore koje su test korisnici davali u upitniku. Ako je u toku testiranja koristio neki softver za beleženje korisnikovih akcija. akcije korisnika. Za brzinske usability studije papir i olovka mogu biti sasvim dovoljno sredstvo beleženja problema . Uz predloge za izmene sistema. istraživač se upušta u analizu. svih test korisnika koji su učestvovali u testiranju. • Analiza rezultata testiranja – nakon prikupljenih podataka u procesu testiranja. Na osnovu sakupljenih rezultata istraživač ima jasan uvid u delove sistema gde korisnici nemaju poteškoća. istraživač treba da dostavi i obrazloženje zbog čega je ta izmena dobra za sistem i način na koji ona unapređuje sistem tj. onda se u ovoj fazi kreiraju grafici o prosečnoj dužini potrebnoj za izradu svakog zadatka.treba se zahvaliti test korisniku na učešću u istraživanju. Takođe. prosečnom broju klikova po zadatku itd. prvo je potrebno da se odabere sredstvo koje će pomoći u sakupljanju građe za analizu upotrebljivosti sistema.3 Odabir pomoćnog softvera (i način sprovođenja istraživanja) Pre nego što se pređe na samu pripremu praktičnog dela istraživanja. • Predlaganje izmena sistema – na osnovu rezultata dobijenih iz faze analize. poboljšava upotrebljivost tog dela sistema. Najveći izazov za istraživača je da predlozi moraju biti prilagođeni svim relevantnim korisnicima sistema. U slučajevima minimalnog budžeta istraživač mora biti spreman i na korišćenje papira i olovke.

Kako bi test korisnici imali podsticaj za rad. 1. definitivno se preporučuje korišćenje pomoćnog softvera za snimanje.com/morae . ako istraživač ima veći budžet. Ovaj program omogućava mnogo dublji stepen razumevanja akcija test korisnika zbog toga što se svaka akcija beleži na više načina – Morae broji svaki klik. U ovom radu korišćen je Morae 1 . Međutim. Najskuplji aspekt ovog načina sakupljanja podataka su test korisnici. naravno.) što svakako ovu metodu čini još pristupačnijom. Morae je veoma fleksibilan i konfigurabilan. Sa druge strane. Okosnica ovog softvera je. Svaki softver koji pomaže u evaluaciji upotrebljivosti bazira se na snimanju akcija test korisnika i samim tim smanjuje se broj potrebnih kamera u laboratoriji. stoga se može koristiti za gotovo svako ispitivanje upotrebljivosti sistema bilo da se radi testiranje interfejsa na računaru ili testiranje papirnog prototipa. Morae Observer 3. Morae Manager Svaki modul je poseban izvršni fajl koji treba instalirati na računar. a što je važnije – bitna zapažanja neće promaći istraživaču. Kao što smo već napomenuli ova metoda spada u jedan od najjeftinijih načina istraživanja i to sa dobrim razlogom. Morae nije jedan program već je podeljen u tri glavne celine. testiranje će biti mnogo udobnije za istraživača. koji je specijalizovan upravo za istraživanja ove vrste. Pre svega.techsmith. Postoji više opcija za distribuiranje instalacija Opcija instalacije 1: 1 http://www. može se desiti da istraživač uspe da nađe motivisane korisnike koji ne iziskuju materijalni podsticaj (prijatelje. Morae Recorder 2. kolege itd. program kompanije TechSmith. treba unapred planirati izdvajanje određene količine sredstava za njih.upotrebljivosti. svako pritisnuto dugme na tastaturi. svaku promenu prozora. snimanje ekrana i samog test korisnika u toku testiranja web interfejsa.

Kasnije se.1 Morae Recorder Morae Recorder obavlja dve veoma važne funkcije: 1. Jedan isti konfiguracioni fajl koristi se za svaku sesiju testiranja. Ovi templejti sadrže zadatke. Snimanje testiranja Za Recorder studija je grupa različitih test sesija u kojoj korisnici obavljaju iste zadatke. Tu spadaju scenario.mrcfg) u kome se definišu sve specifičnosti vezane za testiranje. Recorder sadrži predefinisana podešavanja tj. Konfigurisanje studije 2.3. zadaci. Recorder kreira konfiguracioni fajl studije (. kroz Morae Manager.Ovo je tipična postavka • Računar A: Recorder i Manager • Računar B: Observer Opcija instalacije 2: Ova postavka korististi se u slučajevima kada osoba koja vrši evidentiranje u toku testiranja vrši i kasniju analizu • Računar A: Recorder • Računar B: Observer i Manager Opcija instalacije 3: Ova postavka pruža najviši stepen fleksibilnosti. . markere. markeri i upitnici. kao deo jednog projekta mogu analizirati isključivo snimci koji su napravljeni u okviru jedne studije. ali se snimci moraju prebaciti sa računara A na računar C • Računar A: Recorder • Računar B: Observer • Računar C: Manager 6. upitnike i konfigurisan režim snimanja. templejte za različite vrste studija.

uputstva za studiju se prikazuju test korisniku na početku sesije. istraživač je pre početka sesije sigurno već verbalno objasnio korisniku gotovo sve što treba da zna. potrebno je konfigurisati detalje studije.Slika 1 – Dijalog odabira templejta Nakon odabira templejta. test korisnik sa time neće imati dodira. Ovo uputstvo ne treba da bude dugačko. Kratko uputstvo u par rečenica može da pokrije koji je cilj sprovođenja studije sa par napomena koji bi svaki korisnik pre početka testiranja trebao da zna. Opis studije predstavlja neki vid beleške za samog istraživača. Sa druge strane. .

U ovom prozoru definiše se i sistem bodovanja uspešnosti završenog zadatka. . ali svakako treba voditi računa da ih ne bude previše kako testiranje ne bi trajalo predugo. opisa i instrukcija za realizaciju Definisanje zadataka je veoma bitna stvar za test korisnika i okosnica njegovog učešća u testiranju. Ne postoji ograničenje za broj zadataka koji se može uneti. Zadaci bi trebali da budu definisani i sročeni na način koji ima direktnu vezu sa realnim životnim situacijama u kojima bi korisnik zapravo koristio sistem. opis i dodatno uputstvo.Slika 2 – Definisanje imena studije. Za svaki zadatak treba uneti naziv.

Na primer. pa na osnovu toga kreirati markere. potrebno je kreirati markere. Markeri omogućavaju istraživaču da kroz Observer označi specifične bitne delove snimka baš u trenutku kada se desila relevantna akcija test korisnika.Slika 3 – Definisanje zadataka i setovanje modela bodovanja uspešnosti Nakon definisanja zadataka. Važno je unapred razmisliti o akcijama koje korisnik može da učini. mogu se markirati: • Akcije korisnika • Komentari i pitanja korisnika • Frustracije korisnika • Područja gde se korisnik zaglavio • Problemi u dizajnu • Zapažanje o načinu na koji korisnik radi zadatak • Interesantni komentari ili akcije korisnika koje treba uključiti u video prezentaciju • Momenti u kojima je korisniku potrebna pomoć .

Za markere se. Svi markeri i zabeleške se sinhronizuju i čuvaju sa video snimkom nakon svake sesije. upitnici mogu da se . Istraživač svaki marker može vezati za određeno slovo na tastaturi kako bi u toku posmatranja i beleženja mogao brzo da im pristupi.Istraživač uz svaki marker može dodavati zabelešku koja dodatno objašnjava markirani deo snimka. Na primer. Uz pomoć upitnika istraživač prikuplja informacije direktno od test korisnika. Morae može da isporuči više upitnika u toku jedne sesije. lako pronalazi sve delove video snimaka označene markerom tim markerom. Slika 4 – Kreiranje markera i setovanje modela bodovanja markera Poslednji korak u konfigurisanju studije je definisanje upitnika. Ako istraživač tačno zna koji deo sistema želi da ispita. To će mu pomoći da kasnije. bez sumnje će kreirati marker za njega. takođe. Ne postoji tačno definisan broj markera koji je potreban za sprovođenje uspešnog testiranja. u fazi analize. može definisati sistem bodovanja ozbiljnosti markiranog problema.

uključujući snimak ekrana. Svaki od posmatrača može imati sopstvene markere. Slika 5 – Definisanje upitnika 6. Svi odgovori na pitanja se kasnije mogu analizirati. detaljno upoređivati i pretvarati u grafike. Na kraju sesije se svi podaci od svih posmatrača sinhronizuju kroz Recorder i čuvaju u fajlu snimka. audio snimak i video snimak sa web kamere.2 Morae Observer Kroz Morae Observer. Morae pruža mogućnost konektovanja više računara sa Observerom na jedan Recorder.prikazuju pre testa. Observer se kroz mrežu konektuje na Recorder i prikazuje korisničko iskustvo u potpunosti.3. Korišćenje Observera u kombinaciji sa Recorderom pruža više prednosti: • Observer automatski sačuvava i indeksira sve markere i zadatke tačno na onim mestima u video snimku gde su oni zabeleženi . bodovanje i tekstualne beleške. nakon svakog zadatka i posle testa. istraživač vrši posmatranje toka snimanja jedne sesije.

Ovo je trenutak u kome se istraživač odlučuje da li želi da ima sačuvan snimak sesije i na računaru sa Observerom ili ne. . Preces konektovanja je krajnje jednostavan. potrebno je da Recorder bude uključen. U Observer se ukucava naziv računara ili IP adresa i konfiguriše se konekcioni port. • Svako ulogovan u Observer može da dodaje svoje markere i bekeške u toku snimanja • Morae automatski sakuplja beleške svih posmatrača i sačuvava ih u snimak • Nakon završetka sesije moguće je automatsko kopiranje video snimka na računar sa Observerom Observer se na Recorder može konektovati i pre početka samog snimanja. jedini preduslov je da su računari u istoj lokalnoj mreži.• Svi stejkholderi mogu da se konektuju i posmatraju uživo sesiju snimanja bez potrebe da budu u prostoriji gde se vrši testiranje.

. U tom trenutku. Observer je povezan sa Recorderom.Slika 6 – Povezivanje Observera i Recordera kroz lokalnu mrežu Pritiskom na dugme Connect. Observer povlači sva podešavanja studije iz Recordera i čeka da počne snimanje.

istraživač može da počne sa beleženjem zapažanja. Čim snimanje počne.Slika 7 – Podrazumevani prikaz u Observeru pre početka snimanja Ako je u Recorderu konfigurisano da se snimanjem može upravljati iz Observera. onda istraživač može startovati snimanje sa svog računara. .

Pored same mogućnosti posmatranja šta korisnik radi. Istraživač vidi sve akcije test korisnika.Slika 8 – Prikaz u Observeru kada je snimanje u toku. Log prozor predstavlja glavni deo Observera. U njemu istraživač ima sledeće funkcionalnosti: • Označavanje početka i kraja svakog zadatka • Unošenje markera i bodovanje svakog markera pojedinačno • Slanje upitnika korisniku .

Slika 9 – Prozor u kome istraživač unosi beleške.3.rdg). dostupne su sledeće funkcionalnosti: • Kreiranje dodatnih markera. u različitim iteracijama proizvoda • Sprovode se različiti testovi na istom proizvodu • Ukoliko istraživač želi da razdvoji studije po nivoima znanja test korisnika Kada se snimak uvozi u projekat. beleški.rdg) i standardne formate video snimaka (. .asf). kreira se kopija koja se koristi u samom projektu. markira ih kategorijom i boduje težinu 6. Da bi se snimci uvezli. Sve promene koje nastanu nakon uvoženja snimka u projekat neće imati efekta na originalni snimak. . original ostaje nepromenjen. Kada je u pitanju obrada podataka kroz Manager. ali evo nekih scenarija u kojima to može biti od koristi: • Sprovodi se više istih testova. Može postojati više različitih studija u jednom projektu. potrebno je prvo kreirati projekat koji će sadržati sve snimke i studije. To možda na prvi pogled nije logično.wmv.3 Morae Manager Svi snimci se uvoze i analiziraju u Morae Manageru. bodovanja i naknadno beleženje zadataka • Pretraga za događajima kroz sve snimke (klikovi mišem.avi. UserVue snimke (.) • Pregledanje i izmena rezultata iz upitnika . markeri itd. akcije na tastaturi. Manager prihvata nekoliko različitih vrsta snimaka: Morae snimke (.

Očigledno je da je u pitanju softver koji pruža visok stepen fleksibilnosti u pripremi. pregled svih sirovih podataka i akcija korisnika Nakon kratkog pregleda mogućnosti koje nosi Morae i njegove celine. vrlo je jasno zašto je doneta odluka da se ovaj program koristi u evaluaciji upotrebljivosti kroz ovaj rad.• Kreiranje grafika o svim bitnim informacijama izvučenim iz snimaka Slika 10 – Glavni prozor Managera. sprovođenju i analizi istraživanja. . Stiče se utisak da je ovaj program zgodan čak i za pojedince koji nemaju mnogo iskustva u sprovođenju istraživanja o sistemima zbog toga što su čak i predefinisane studije koje nosi sa sobom od velike pomoći.