You are on page 1of 10

5 Testiranje upotrebljivosti

Testiranje sa pravim korisnicima je osnovni metod evaluacije upotrebljivosti i
ne može se zameniti nečim drugim, s obzirom da pruža direktnu informaciju o
načinu na koji ljudi koriste računare i daje sliku koji su njihovi glavni problemi
sa konkretnim interfejsom koji se testira. Postoji nekoliko metodoloških zamki
testiranja upotrebljivosti (Holleran 1991; Landauer 1988), a kao i kod bilo kog
drugog testiranja treba voditi računa o pouzdanosti i validnosti. Pouzdanost
predstavlja pitanje da li bi se isti rezultat dobio ponovljenim testiranjem, dok je
validnost pitanje da li dobijeni rezultat zapravo predstavlja probleme
upotrebljivosti koji su u startu hteli da se ispitaju.

5.0.1 Pouzdanost
Pouzdanost usability testova je problem zbog velikih individualnih razlika
među test korisnicima. Neretko se dešava da je najnapredniji korisnik 10 puta
brži od najsporijeg, a da je prvih 25% naprednih korisnika oko dva puta brže
od 25% najsporijih (Egan 1988). Zbog ovog poznatog fenomena, zaključci se
ne mogu olako donositi. Na primer, ako Korisnik A koristi Interfejs X i obavlja
određeni zadatak 40% brže od Korisnika B koji koristi Interfejs Y, ne možemo
izvesti zaključak da je Interfejs X lakši za upotrebu od Y, zato što je velika
verovatnoća da je Korisnik B jednostavno sporiji od Korisnika A. Kada bismo
test ponovili sa korisnicima C i D, efikasnost za ova dva interfejsa bi mogla biti
potpuno suprotna.
Ako želimo da izmerimo stopu grešaka, treba imati u vidu da kod nje postoji
tendencija visoke varijabilnosti (neki korisnici grešiće više od drugih). To znači
da za precizno merenje i postizanje zadovoljavajućeg intervala poverenja,
mora postojati veći broj test korisnika u odnosu na, recimo, merenje lakoće
učenja ili performansi eksperata.

5.0.2 Validnost
Validnost postavlja pitanje da li evaluacija upotrebljivosti zapravo testira nešto
što je relevantno za upotrebljivost realnih proizvoda u realnoj upotrebi - van

kao i načina njihove primene.1. Glavni cilj formativne evaluacije je detaljno ispitivanje koji aspekti korisničkog interfejsa su dobri. na primer.laboratorije.1 Planiranje i ciljevi testiranja Pre sprovođenja testiranja. Formativna evaluacija radi se u slučaju kada je potrebno unapređenje korisničkog interfejsa. vrši izbor između dve alternative u analizi konkurencije.1 Planiranje testiranja Plan za testiranje treba da sadrži odgovore na sledeća pitanja: • Šta je cilj testiranja. Tipična metoda formativne evaluacije je metoda glasnog razmišljanja. visok nivo validnosti zahteva potpuno razumevanje metoda koje se koriste za testiranje. Tipičan problem validnosti odnosi se na korišćenje pogrešnih korisnika. Velika je razlika da li će se raditi formativna ili sumativna evaluacija korisničkog interfejsa. u slučaju da se ne radi na produkcijskoj verziji interfejsa? • Ko će voditi istraživanje? • Ko će biti test korisnici i na koji način se dolazi do njih? . a koji loši. šta želimo da postignemo? • Kada i gde će se obaviti testiranje? • Koliko dugo će trajati svaka sesija? • Koja računarska oprema će biti potrebna za testiranje? • Koji softver će biti potreban za testiranje? • Koje bi trebalo da bude stanje sistema na početku testiranja? • Kakva bi trebala da bude brzina odaziva sistema. kako bi dizajn mogao biti unapređen. kao deo iterativnog procesa dizajna. sumativna evaluacija cilja da ispita uopšten kvalitet interfejsa kada se. zadavanje pogrešnih zadataka ili neuzimanje u obzir vremenskih ograničenja za testiranje. Dok se pouzdanost može izmeriti kroz statističke testove. istraživač bi trebao jasno da definiše šta je svrha istraživanja. Sa druge strane. 5. 5. pošto će ona imati veoma veliki uticaj na vrstu testiranja koja će se sprovesti. Tipična metoda sumativne evaluacije je test merenja performansi.

2 Budžet Planiranje testiranja treba da predvidi i potreban budžet. mada taj broj može biti i veći kada inicijalni probni testovi otkriju velike defekte u sačinjenom planu testiranja. online pomoć itd. Za probno testiranje nije krucijalno da test korisnici pripadaju ciljnoj grupi istoj kao i test korisnici koji će . ako su u pitanju eksterni korisnici • Računare koji će se koristiti za testiranje i analizu • Svu dodatnu opremu. Tipični troškovi mogu obuhvatiti sve ili neke od navedenih stavki: • Eksperta za upotrebljivost koji će planirati. kamere i slično. dok se drugi odnose na korišćenje kompanijskog osoblja. • Programere koji će sistem modifikovati i pripremiti za testiranje ukoliko za to postoji potreba • Test korisnike. resursa i slično.• Koliko test korisnika je potrebno? • Koje zadatke će korisnici raditi u toku testiranja? • Koji kriterijumi će se koristiti za utvrđivanje kada su korisnici završili određeni zadatak ispravno? • Koja pomoćna sredstva (korisničko uputstvo. unositi podatke itd.3 Probni testovi Nijedno testiranje upotrebljivosti ne bi trebalo da se sprovede bez nekoliko probnih test korisnika. Često će jedan ili dva probna test subjekta biti dovoljna.1. Neki troškovi će morati da se obezbede u gotovom novcu. sprovesti i analizirati istraživanje • Administrativne asistente koji će zakazati test korisnike. 5.1.) će biti dostupna test korisnicima? • Do koje mere će istraživaču biti dozvoljeno da pomaže test korisnicima tokom testa? • Koji podaci će biti skupljani i na koji način će oni biti analizirani? • Koji će biti kriterijumi za proglašavanje interfejsa uspešnim? 5.

dok se neki trebaju testirati i sa ekspertima. a u zavisnosti od slučaja do slučaja zadaju im se isti ili različiti zadaci. 5. U slučaju da ne postoje prigodni test korisnici „pri ruci“. Može se desiti i da su zadaci teži ili lakši nego što je prvensveno bila ideja. ali se treba voditi račun o tome da se obuhvate prosečni korisnici. na studente čije se polje studija poklapa sa istraživanjem. istraživač se može osloniti na regrutaciju preko agencija za privremeno zapošljavanje ili. pa je ovo idealan trenutak za nivelaciju. testiranje više sistema se može sprovesti na dva različita načina (Nielsen 1993): • Međupredmetno testiranje je najčešći i najvalidniji oblik testiranja zbog toga što podrazumeva korišćenje nove grupe test korisnika za svaki sledeći sistem. ove dve grupe testiraju se odvojeno. U toku probnog testiranja.2 Regrutacija test korisnika Kada su test korisnici u pitanju. neretko se dešava da je predviđeno vreme potrebno za jednu sesiju testiranja loše definisano. na primer. pa i njega treba uskladiti.biti korišćeni za pravo testiranje. Čest je slučaj i da se upitnici za ocenjivanje subjektivnog zadovoljstva izmene nakon probnog testiranja. prijatelji i slično. u idealnom slučaju. Prema tome. dodatni troškovi se mogu izbeći angažovanjem korisnika iz unutrašnjih krugova kao što su kolege. Kada su jednom odabrani korisnici. Skoro sve interfejse treba podvrgnuti testiranju sa početnim korisnicima. Tipično. bira bolji sistem za korišćenje. Greške u dizajnu samog istraživanja mogu se primetiti bez obzira na tip korisnika koji pomaže u probnoj fazi. Ako testiranje nema veliki budžet. stručnjacima. može se desiti da su instrukcije za određene zadatke nerazumljivi korisnicima. svaki test korisnik učestvuje samo u . Takođe. Često se javlja potreba za evaluacijom upotrebljivosti nekoliko različitih sistema nakon čega se porede rezultati i. Glavna razlika između tekt korisnika odnosi se na njihovu pripadnost početnicima tj. glavno pravilo u regrutaciji je reprezentativnost – to bi trebali da budu korisnici koji bi inače koristili dati sistem i interfejs koji se podvrgava testiranju.

poželjno je da istraživač ima pređašnjeg iskustva u korišćenju izabrane metode. 5. istraživač mora poznavati korisnički interfejs i sam način funkcionisanja aplikacije koja se testira. dok druga testira sistem B. 1 Testiranje se i dalje obavlja pojedinačno sa svim korisnicima . jedna grupa korisnika testira prvo sistem A. Generalno gledano. Zbog toga. može se pokazati neophodnim korišćenje mnogo većeg uzorka korisnika kako bi se uglačali rezultati nastali nasumičnim razlikama među test korisnicima. Poznavanje sistema je neophodno kako bi istraživač mogao da oceni ponašanje test korisnika u toku rada na zadacima i kako bi mogao da odgovori na neka od verovatnih pitanja koja će korisnik postaviti. značajna zapažanja u korisničkom ponašanju mogu da promaknu pošto istraživač mora istovremeno da analizira i ponašanje sistema koji ne poznaje dovoljno i ponašanje korisnika. Osim toga. na koju smo već skretali pažnju ranije. • Interpredmetno testiranje podrazumeva da svi test korisnici učestvuju u testiranju svih ponuđenih sistema. mora postojati istraživač koji će biti zadužen za sprovođenje testiranja. korisnici će određen procenat veština naučenih na prvom interfejsu zadržati i primeniti ih na sledećem. Problem sa međupredmetnim načinom testiranja nastaje kada se uzme u obzir veoma velika varijacija u veštini između korisnika. Kako bi se ovaj efekat stavio pod kontrolu. Međutim. nakon čega se menjaju1. ne mogu se smatrati apsolutnim početnicima u svakom sledećem testiranju zbog toga što su naučili kako se koristi prvi sistem. Takođe. Ova metoda u startu uklanja bojazan oko varijacija u veštini korisnika. korisnici se dele u grupe. Često.jednoj sesiji. javlja se drugi bitan nedostatak – test korisnici koji su pre prvog testiranja smatrani početnicima.3 Odabir istraživača Koja god metoda testiranja da je izabrana. ako je istraživač nedovoljno upućen u funkcionisanje sistema.

istraživači moraju da obrate posebnu pažnju kada obavljaju testiranje sa korisnicima ovog tipa. Neizbežno je da će korisnici praviti greške i biti spori u određenim situacijama (pogotovo ako je sistem nov).4 Etički aspekti testiranja sa ljudima Ne treba ispustiti iz vida da su korisnici. „zamorci“ ili sličnim terminima. Testiranje treba sprovesti sa što je manje posmatrača moguće zbog toga što „publika“ ima uticaj na lagosnost korisnika. „učesnik“. Testovi bi trebali da se sprovode sa dubokim poštovanjem korisnikovih emocija i dobrobiti (Allen 1984. iako im je prethodno naglašeno da je svrha studije da testira sistem. Kada se u te okolnosti uračuna i činjenica da ih neko posmatra ili čak snima. takođe. „evaluator upotrebljivosti“ ili. ispitivanje novog leka. Ovakvi nazivi najbolje oslikavaju situaciju da su oni tu da pomognu u evaluaciji sistema.5. a ne korisnika. a sve to doprinosi da se korisnik oseća neadekvatno ili neinteligentno. Iako je istina da u normalnim okolnostima korisnici neće pretrpeti nikakve telesne povrede. Odgovornost istraživača je da se test korisnik oseća lagodno u toku i posle testiranja. Korisnike nikada ne treba oslovljavati sa „subjekti“. na primer. ljudi. Realnost je drugačija - menadžeri na visokim pozicijama i visokospecijalizovani profesionalci imaju najveći strah od ispoljavanja neznanja tokom testiranja. pretpostavka je da oni imaju dovoljno samopouzdanja koje bi uklonilo ili barem smanjilo strah od neadekvatnosti. Kada su u pitanju visokoobrazovani pojedinci. evaluacija upotrebljivosti ne može se sprovesti kao „destruktivno testiranje“ koje je popularno u industriji računarskih komponenata. Korisnici osećaju veliki pritisak i obavezu da isporuče rezultate. Zbog toga. ispitivanje upotrebljivosti ne izgleda kao da gaji potencijalne opasnosti za korisnike kao. ne sme se smejati korisniku i na taj način indicirati da je korisnik spor u otkrivanju načina na koji funkcioniše sistem. Manji udarac na samopouzdanje korisnika je greška koju napravi dok ga posmatra jedna osoba nego kada je u . Na prvi pogled. Američka psihološka asocijacija 1982). Prihvatljivi nazivi su „test korisnik“. Zbog toga. jednostavno. Konkretno. učešće u testiranju za korisnika može biti veoma stresno iskustvo (Schrier 1992). osećaj nelagodnosti se može udvostručiti.

stoga se očekuju problemi • Testiranje se može prekinuti u svakom trenutku • Objasniti koje metode snimanja se koriste – video snimanje. ako više ne žele da se muče sa sistemom. istraživač može da prekine testiranje u slučaju da je korisnik očigledno nezadovoljan ili ne želi da nastavi testiranje. Ne samo da to dovodi do validnijeg rezultata. Sa druge strane. čak i u situacijama kada se greška javlja kod svih ostalih test korisnika na istom tom mestu. već eliminiše mogućnost da se korisnici osećaju loše zbog toga što nisu mogli sami da nađu rešenje za određeni problem. istraživač ne bi trebao da dopusti da se korisnik previše muči sa određenim zadatkom već može pružiti nagoveštaj kako bi se testiranje nastavilo. U Tabeli 2 sumirani su smernice koje treba imati u vidu i činjenice sa kojim treba upoznati korisnika pre. Takođe. korisnicima pre početka samog testiranja treba naglasiti da mogu da prekinu testiranje u bilo kom trenutku. već bi trebao da dopusti test korisniku da istraži sva moguća rešenja samostalno. automatsko logovanje akcija i sl. Pre testa • Sve je spremno pre nego što se korisnik pojavi • Testira se sistem. istraživač ne bi trebao da se meša. Ovo treba primenjivati samo u situacijama kada su iscrpljene sve ostale mogućnosti.pitanju deset posmatrača. • Rezultati testiranja biće poverljivi • Odgovoriti na sva pitanja korisnika U toku testa • Lakše zadatke staviti na početak • Zadatke davati jedan po jedan • Održavati opuštenu atmosferu. Udaraca na samopouzdanje korsnika će definitivno biti. U toku testiranja. u toku i nakon testiranja sistema. Štaviše. posebno u situacijama kada korisnik ne može da nađe određenu „očiglednu“ funkcionalnost. a ne korisnik • Sistem je nov i netestiran sistem. ponuditi osveženje za korisnika .

ako su zaboravili neku pojedinost ili nešto nisu dobro razumeli. 5. Jedan od načina za podizanje samopouzdanja korisnika je činjenje prvog zadatka veoma jednostavnim. To je preventivna mera u slučaju da test korisnik nije u stanju da završi sve zadatke. Korisnici zadatke najčešće čitaju sa ekrana ili sa papira. Preporučuje se zadavanje novog zadatka nakon završenog prethodnog. . kako ne bi saznali pre vremena koliko će zadataka biti. 5. Test korisnicima ne treba dati sve zadatke unapred. Oni bi trebali da budu dovoljno malog obima kako bi se ispunili u toku vremena predviđenog za testiranje. Zadaci bi trebali da se sastavljaju za realne slučajeve korišćenja.5 Test zadaci Osnovno pravilo pri kreiranju test zadataka je. što može dovesti do demotivisanja. mobilni telefoni isključeni • Nikada ne indicirati da korisnik pravi greške ili da je previše spor • Zaustaviti testiranje ako je previše neprijatno za korisnika Nakon testa • Ukazati korisniku da je mnogo pomogao unapređenju sistema • Ne izveštavati rezultate tako da se može prepoznati testirani pojedinac • Snimke pokazivati trećoj strani samo uz saglasnost korisnika Tabela 1 – glavne etičke stavke koje treba imati u vidu kada se vrši evaluacija upotrebljivosti sistema Dobar savet za svakog istraživača je da se barem jednom oproba u ulozi test korisnika kako bi iz ličnog iskustva shvatio koliko ranjivo oni mogu da se osete u određenim situacijama. što im pomaže da ih pročitaju ponovo nakon što krenu u izradu. reprezentativnost.6 Merenje performansi Performanse korisnika gotovo uvek se mere tako što grupa test korisnika radi unapred definisane zadatke.• Izbegavati smetnje: vrata su zatvorena. Zadaci treba da imaju tačno određen rezultat do kog korisnik treba da dođe. a istraživač meri potrebno vreme i broj grešaka. kao i kod korisnika. ali ne previše mali da postanu trivijalni.

počinje se definisanjem jasnog cilja (Nielsen 1993). Slika 14 pokazuje jednostavan model merenja koji prikazuje odnos između cilja studije (upotrebljivosti sistema) i aktivnosti prikupljanja podataka. Kao što i sam model prikazuje. Slika 1 .model merenja upotrebljivosti sistema Tipični metodi kvantifikacije upotrebljivosti su (Nielsen 1993): • Vreme potrebno za obavljanje određenog zadatka • Broj zadataka koji se mogu završiti u određenom vremenskom roku • Odnos između uspešnih interakcija i grešaka • Broj korisničkih grešaka • Broj uzastopnih pogrešnih akcija • Broj funkcionalnosti koje je korisnik upotrebio • Broj funkcionalnosti koje korisnik nije upotrebio • Broj funkcionalnosti kojih korisnik može da se seti u toku debrifinga . koje se greškom mogu smatrati za najbitniji deo merenja.Glavne mane ovakve postavke je potencijal merenja određenih karakteristika koje nisu preterano bitne za dati sistem.

kada korisnik nema nikakvu interakciju sa sistemom. .• Frekvencija korišćenja pomoćne dokumentacije i/ili drugog pomoćnog sistema i ukupno vreme provedeno u njima • Frekvencija uspešno rešenih problema korišćenjem pomoćne dokumentacije i/ili drugog pomoćnog sistema • Odnos pozitivnih i negativnih komentara od strane test korisnika • Broj instanci u kojima test korisnik izražava očiglednu frustraciju/radost • Udeo test korisnika koji su izjavili da bi pre koristili dati sistem nego sistem koji obezbeđuje konkurencija • Broj korisnika koji su morali da nađu način da zaobiđu nerešiv problem • Proporcija test korisnika koji koriste efikasne strategije dolaženja do cilja i onih koji to rade na neefikasan način (pod uslovom da se zadatak može obaviti na više načina) • Količina „mrtvog“ vremena. Ovo vreme može se podeliti u dve kategorije: korisnik čeka sistem da učita određene funkcionalnosti i sistem čeka korisnika da razmisli o sledećoj akciji.