ROBERT DRZD

TOMASZ SKRSKI

UYTECZNO
R A P O R T

BADANIA UYTECZNOCI
O CO ZAPYTA SPECJALIST?

SPIS TRECI
Wstp
Streszczenie dokumentu Geneza powstania rdo

3
3 3 3

Wybr waciwych metod

Analizy eksperckie (w tym m.in. audyty uytecznoci, analizy heurystyczne) Badania z uytkownikami Zdalne badania uytecznoci Wywiady, ankiety i grupy fokusowe

4
4 4 4 5

Znajomostandardw Testuj z waciwymi uytkownikami

Cechy badanych uytkownikw Skala badania a liczba uytkownikw

6 7
7 7

Uzyskaj przydatne i dokadne odpowiedzi Wykorzystanie uzyskanych wynikw Lista rzeczy do sprawdzenia
Robert Drzd Tomasz Skrski

8 9 10
11 11

WSTP
Streszczenie dokumentu
Dokument jest zbiorem istotnych pyta, ktre powiniene zada swojemu dostawcy usug uytecznoci (usability) i wyjania czego szuka w jego odpowiedziach. Mona go uy jako kontrolnej listy podczas analizy zapyta ofertowych, formuowania SIWZ (Specykacja Istotnych Wymaga Zamwienia) i podczas rozmw ze specjalistami.

Geneza powstania
Coraz wicej rm tworzcych oprogramowanie, agencji interaktywnych i reklamowych, a take niezaleni konsultanci (freelancerzy) oferuj usug nazywan potocznie uytecznoci (usability) lub badaniem uytecznoci (usability testing). Poziom i jako oferowanych przez nich usug znaczco si od siebie rni. Zatrudnianie specjalisty, ktry wprowadzi w bd lub udzieli nieprzydatnych wskazwek sprawi, e badany przez Ciebie system (np. serwis www, system selfcare, aplikacja mobilna) wcale nie zostanie poprawiony. Informacje zawarte w niniejszym przewodniku powinny uatwi wybr profesjonalistw.

rdo
Niniejszy dokument zosta stworzony na podstawie rekomendacji UK Usability Professionals Association oraz dostosowany do lokalnych warunkw przez czonkw Usability Professionals Association: Roberta Drzda i Tomasza Skrskiego na przeomie sierpnia i wrzenia 2010 roku.

Kluczowe pytania
1.Jakie metody oceny uytecznoci (usability) swaciwe dla Twojego projektu? 2. Wedug jakich standardw bdzie si odbywao badanie i co zostanie ocenione? 3. Jacy uytkownicy wezm udzia w badaniu? 4. Czy otrzymane odpowiedzi bd pomocne i dokadne? 5. Jak przydatny bdzie dostarczony raport?

Badania uytecznoci - o co zapytaspecjalist? 3

WYBR WACIWYCH METOD

Nie istnieje uniwersalna technika badania uytecznoci.Najbardziej pasujca metoda zaley od tego na jakim etapie projektu si znajdujesz (np. deniowania wymaga, projektowania interfejsw, implementacji, testw odbiorczych) i jakich rezultatw (odpowiedzi na jakie pytania) oczekujesz. Wikszo dobrych rm i konsultantw powinna przedstawi Ci zbir metodyk najbardziej pasujcych do Twojego projektu i przedstawi korzyci wynikajce z ich stosowania. Wrd nich znajdziesz:

Analizy eksperckie (w tym m.in. audyty uytecznoci, analizy heurystyczne)

Jako analizy eksperckiej zaley od poziomu dowiadczenia eksperta i technik, ktre zostay uyte. Analizy eksperckie mog by przydatne jako raporty, ktre mona wykona szybko - ale (cho nie ma tu zgody wrd specjalistw) nie odkryj one tak wielu problemw jak badania z uytkownikami. Rekomendujemy wykonanie analizy eksperckiej przed badaniami uytecznoci z prawdziwymi uytkownikami, aby zdiagnozowa najpowaniejsze problemy i uatwi zaplanowanie testu. Istnieje wiele uznanych i stosowanych technik/metod wykonywania analiz eksperckich. Do najpopularniejszych nale: analiza heurystyczna, wdrwka poznawcza (cognitive walkthrough) oraz GOMS(-KLM). Korzystanie wanie z nich, zamiast z nieznanych lub niepopularnych technik ma t zalet, jeli analiza Ci nie zadowoli, bdziesz mg znale innego konsultanta, ktry oceni czy bya waciwie przeprowadzona a wyniki waciwie zinterpretowane. Nieznanych metod zwerykowa si nie da.

Z ostronoci naley podchodzi do ofert analiz ktre nie posiadaj zdeniowanej techniki bada. Ryzyko otrzymania niskiej jakoci raportu, z oglnymi opiniami, bez uzasadnie i konkretnych rekomendacji jest wwczas bardzo wysokie.

Badania z uytkownikami
Istnieje wiele podej do bada z uytkownikami: od diagnostycznych i analitycznych do pomiarw skutecznoci realizacji celw stawianych przed serwisem. W badananiach diagnostycznych rekomendujemy testy jeden do jednego, z moderatorem i badaczem obserwujcym uytkownika, ktry korzysta z badanego systemu i wykonuje postawione przed nim zadania. Zazwyczaj w trakcie takich bada uytkownicy s zachcani do opisywania swoich myli (gonego mylenia) nad kolejnymi krokami - co znane jest pod nazw Thinking Aloud Protocol. W wikszoci przypadkw moderator pracuje tylko z jednym badanym jednoczenie - nie rozpraszajc swojej uwagi pomidzy wiksz liczb uytkownikw.

Zdalne badania uytecznoci

Niektre badania su mierzeniu wydajnoci uytkownika na testowanym systemie, aby mc doprowadzi do osignicia postpw w obrbie uytecznoci w duszym okresie czasu. Dla bada tego typu moliwy jest zdalny udzia wielu uytkownikw jednoczenie. Badania takie mona podzieli na dwie kategorie: wykonywane z moderatorem/obserwatorem badania (tzw. badania moderowane) i bez moderatora (tzw. badania niemoderowane).

Badania uytecznoci - o co zapytaspecjalist? 4

Specjalici powinni przedstawi Ci podejcia najbardziej pasujce do Twoich oczekiwa, okreli parametry (metryki) wedug ktrych bdmierzy i przedstawi korzyci wynikajce z ich stosowania.

Zalecamy ostrono przy wyborze bada zdalnych, z uwagi na mniejsz skutecznoi kontrol przebiegu badania, zwaszcza dla bada niemoderowanych. Obecnie proponujemy przeprowadzanie zdalnych bada jedynie jako uzupenienie bada innego typu, a nie jako jedynego testu.

Wywiady, ankiety i grupy fokusowe

Jako uzupenienie do bada czsto wykorzystywane s kwestionariusze (popularny jest np. System Usability Scale), ktre pomagaj w ocenie postrzeganej uytecznoci, ale nie daj wskazwek co do jej poprawy. Wywiady (indywidualne i grupowe) oraz ankiety s dobrym sposobem na gromadzenie opinii uytkownikw, zrozumienia ich problemw lub rde zachowa z przeszoci. Wnioski mogby interesujce dla specjalistw do spraw uytecznoci, ale nie stanowiwiedzy na temat samej uytecznoci.

Badania uytecznoci - o co zapytaspecjalist? 5

ZNAJOMOSTANDARDW
Dobry specjalista do spraw uytecznoci powinien wiedzie jak mierzy uyteczno. Poprzez mierzenie uytecznoci w czasie kadego badania, bdzie moliwe okrelenie czy twj system ulega poprawie czy nie. Najbardziej podstawow miar uytecznoci jest liczba uytkownikw ktra ukoczya postawione przed nimi zadanie. Istnieje rzecz jasna szereg innych, rwnie istotnych czynnikw, ktre mona mierzy.

Profesjonalny dostawca powinien wykorzystywaw swojej pracy wiedz i wskaniki zdeniowane przez organizacjInternational Standards Organisation (ISO) w ISO 9241, 13407 i innych.

Powszechnie przyjta denicja uytecznoci (wedug ISO 9241-11) zawiera w sobie efektywno (z ang. effectiveness - poziom ukoczenia zadania), wydajno (z ang. efciency - jak wiele wysiku zaja realizacja zadania) i satysfakcj (z ang. satisfaction - pozytywne nastawienie do produktu, brak dyskomfortu). Dostawca powinien zasugerowa sposb mierzenia tych elementw podczas badania uytkownikw. Innymi popularnymi mierzonymi parametrami s przyswajalno (z ang. learnability - wysiek i zasoby potrzebne do poznania systemu) i zapamitywalno (z ang. memorability - jak dobrze uytkownicy zapamitaj jak uywa systemu po jakim okresie czasu). Parametry te maj najwiksze znaczenie przy systemach z ktrych korzysta si czesto, takich jak serwisy intranetowe, bazy wiedzy oraz IVR (systemy telekomunikacyjne umoliwiajce interaktywn obsug osoby dzwonicej) Czsto s mierzone i traktowane jako cz wydajnoci i efektywnoci.

Specjalista powinien umie wykaza, e mierzenie okrelonego parametru ma sens tylko gdy istnieje podstawa do porwna - na przykad inny projekt graczny lub konkurencyjny serwis/usuga.

W kadym przypadku wyniki powinny co znaczy - subiektywne oceny takie jak serwis jest uyteczny dla 60% uytkownikw s bezuyteczne, tak dugo jak uyteczno nie zostanie okrelona bardziej precyzyjnymi wskanikami a 60% nie bdzie si odnosio do istniejcych kryteriw (benchmarkw). Jeli twoim celem jest raczej odwieenie (redesign) serwisu, ni proste badanie wydajnoci - wnioski, e 80% uytkownikw miao problemy z ukoczeniem zadania nie pomog Ci bez odpowiedzi na pytanie dlaczego tak si dzieje? i co powinienemzrobi?. Jednym ze standardw, do ktrego dostawca moe si stosowa jest ISO 9241-210:2010 (wczeniejsza wersja tego standardu to ISO 13407), ktre zbiera rzne aspekty uytecznoci w proces rozwoju oprogramowania nakierunkowany na uytkownika (user-centred development process).

Badania uytecznoci - o co zapytaspecjalist? 6

TESTUJ Z WACIWYMI UYTKOWNIKAMI

Testy z uytkownikami pozwalaj stwierdzi jak uytkownicy faktycznie si zachowuj. Aby badanie byo jak najbardziej wartociowe, naley uzyska pewno, e uczestnicz w nim waciwi uytkownicy. Decyduje o tym proces rekrutacji..

Cechy badanych uytkownikw

Dostawca usugi musi wybra ludzi pasujcych do specyki Twojego projektu. Dlatego te, wrd badanych powinny by reprezentowane nastpujce grupy: Ludzie o cechach odpowiadajcych Twojej grupie docelowej (wiek, pe, wyksztacenie zarobki) Gwne typy rnych uytkownikw Twojego produktu: istniejcy uytkownicy, nowicjusze, korzystajcy z podobnych systemw, ludzie ktrzy porzucili Twj system. Wane jest, aby badani nie byli zawodowymi testerami oraz, aby nie pracowali jako profesjonalici IT - oni nie bd uywali systemu w sposb naturalny.

Skala badania a liczba uytkownikw

Dostawca usugi musi zatrudni odpowiedni liczb uytkownikw. Kady uytkownik stanowi dodatkowy koszt, wic musisz by pewien, e jego udzia ma warto dodan dla wynikw. Warto zauway, e nie ma ustalonej liczby uytkownikw do udanego testu. Liczba uytkownikw zaley od Twoich potrzeb, grup uytkownikw, ktre Ci interesuj oraz stopnia skomplikowania systemu:
Skala badania Sugerowana liczba uytkownikw Przy zaoeniu, e wszyscy Twoi uytkownicy s podobni, dobry specjalista bdzie prawdopodobnie potrzebowa od 5 do 10 Potrzebuj okreli problemy uytecznoci uytkownikw, aby okreli wikszo problemw. Jeli wrd Twoich uytkownikw da si wyrni dwie odrbne grupy powiniene podwoi t liczb i tak dalej. Jeli potrzebujesz mie dokadne mierniki uytecznoci, aby podj na ich podstawie decyzje, potrzebujesz co najmniej 15 uytkownikw na grup. To z reguy wystarczy, aby pokaza, jak duo mona si spodziewa po nowym projekcie. Jeli potrzebujesz wiedzie dokadnie, jak nowy serwis wpynie na sprzeda lub efektywno, powiniene przetestowa wicej osb. Aby mie wyniki z dokadnoci do 5%, potrzebujesz testw na 40-50 uytkownikach.

Chc zdoby dane do poprawienia serwisu

Chciabym przewidzie, jak si zachowa mj system

Jeli chcesz tylko okreli problemy, wystarczy niewielka liczba uytkownikw. Jeli chcesz mierzy wydajno uytkownika w serwisie, potrzebujesz ich wicej.

Badania uytecznoci - o co zapytaspecjalist? 7

UZYSKAJ PRZYDATNE I DOKADNE ODPOWIEDZI

Dobra uyteczno nie oznacza, e uytkownicy mwi, e lubi Twj projekt. To nie Facebook. To co uytkownicy mwi ma czsto niewiele wsplnego z tym, jak si zachowuj rzeczywicie, korzystajc z Twojego systemu Popro dostawc o jego poprzednie raporty lub studia przypadkw (use cases). Jeli raporty koncentruj si na tym, co ludzie mwi o systemach, lub co czuj na temat konkretnych funkcji jest bardzo moliwe, e raport nie da rzetelnej podstawy do podejmowania przez Ciebie decyzji. Jeli raport skupia si na estetyce albo postrzeganiu marki, nie pozwoli to na stworzenie lepszego i bardziej uytecznego systemu! Jeli raport zawiera uznaniowe wartoci w rodzaju uyteczno: 8/10, albo uytkownicy byli zadowoleni w 75%, specjalista powinien wyjani sposb mylenia, ktry za tym stoi.

Wyniki powinny koncentrowa si na tym, gdzie i dlaczego uytkownicy nie byli w stanie zrealizowa swoich zada oraz gdzie i dlaczego si frustrowali. Gdy mowa o tematach dla testu uytecznoci, radzimy ustali, tam gdzie to moliwe, oglne scenariusze, a nie konkretne zadania. Przykad scenariusza: Mylisz o tym aby kupi kwiaty na Dzie Matki - skorzystaj w tym celu ze strony. Przykad zadania: Wylij bukiet 10 lilii do Twojej mamy. Scenariusze daj wicej moliwoci dziaania (wczajc w to moliwo rezygnacji) ni zadania i s lepszym przyblieniem rzeczywistego zachowania. Uytkownicy czsto dziel si przemyleniami na temat korzystania z systemu. Najlepszym sposobem, aby je uzyska jest zadawanie im otwartych pyta, takich jak Co chcesz teraz zrobi?, Co tutaj zauwaasz?, albo Co wedug Ciebie stanie si, jeli to zrobisz?. Niewiele dadz pytania zamknite, takie jak Czy podoba Ci si ten formularz?, Czy bdziesz uywa tej funkcji? Rwnie wane jest, aby osoba prowadzca badanie nie dawaa uytkownikom podpowiedzi ani wskazwek. Na przykad, jeli na Twojej stronie znajduje si link Produkty, badacz nie powinien prosi, aby uytkownicy poszukali produktu, poniewa wyapi podpowied. Wyniki takiego badania nie bd do niczego przydatne. Najczciej celem badania jest uzyskanie oceny Twojego systemu bezporednio przed wdroeniem, albo uzyskanie wskazwek do przeprojektowania systemu. Jeli tak jest, upewnij si, e Twj dostawca moe wyj poza okrelenie, gdzie ludzie popeniali bdy i zacz opisywa, dlaczego tak si dzieje i jakie jest rozwizanie. Profesjonalny projekt badawczy prowadzi do spostrzee i rekomendacji, ktre da si zastosowa. Czasem, aby upewni si, e problem zosta rozwizany, warto przygotowa i dodatkowo zbada prototyp rozwiazujcy problem Twojego systemu.

Badania uytecznoci - o co zapytaspecjalist? 8

WYKORZYSTANIE UZYSKANYCH WYNIKW

Nawet jeli wnioski z Twojego badania s dokadne i odkrywcze, nie ma gwarancji, e znajd akceptacj wrd

Twoich przeoonych. Dlatego te sposb przekazania wnioskw musi by zrozumiay i pasowa do sytuacji, w ktrej si znajdujesz. Prezentacje wynikw mog si rni pod wzgldem tego, co wybierzesz, jaki zastosujesz format i w jaki sposb wykorzystasz pomoc dostawcy badania.

Jeli testy i projekty prowadzimy szybko, w sposb iteracyjny (np. Agile i SCRUM) - bogato ilustrowane raporty nie bd potrzebne. W takiej sytuacji dokadno i przydatno wynikw ma pierwszestwo nad sposobem ich dostarczenia. Sposb prezentacji zaley od natury Twojej organizacji i procesw w niej funkcjonujcych. Moe by tak, e deweloperzy maj cierpliwo i kompetencje, aby przebrn przez list wszystkich spostrzee i rekomendacji. Czsto jednak zareaguj lepiej jeli najpierw ich przeoeni dostan wyniki na wyszym poziomie abstrakcji. Typowymi elementami do zaprezentowania s: podsumowanie dotyczce priorytetowych problemw szczegowy dziennik obserwacji z okreleniem wanoci napotkanych bdw ilustracje znalezionych spostrzee - albo opisane zrzuty ekranu, albo nagrania wideo pokazujce dokadne miejsce, gdzie wystpi problem cytaty z wypowiedzi i komentarzy badanych diagramy i komentarze analityczne wyniki bada ilociowych w przypadku okrelonej prby propozycje rozwiza i rekomendacji, jeli istnieje potrzeba - w postaci makiet Wyniki bada bd najbardziej uyteczne, jeli pokaemy je w nastpujcej kolejnoci: streszczenie (executive summary) gwny raport analityczny surowe dane albo dzienniki obserwacji opisy metod badawczych. W akceptacji i popularyzacji wynikw bada przyda mog si atrakcyjnie zaprezentowane treci, takie jak nagranie video z uytkownikiem. Agencje badawcze rni si co do poziomu wsparcia dla klienta w komunikacji wynikw. Niektrzy po prostu dostarcz spisany raport. Bdziesz jednak czsto potrzebowa osobistej prezentacji. Cz specjalistw przeprowadza warsztaty na temat interpretacji wynikw, co zajmuje czasem nawet kilka spotka. To co wykracza poza opisany standard, powinno by traktowane jako usugi projektowe, a nie wycznie badawcze.

Badania uytecznoci - o co zapytaspecjalist? 9

LISTA RZECZY DO SPRAWDZENIA

Do sprawdzenia: Czy specjalista uywa metod bada dopasowanych do Twojego projektu?
Umie przedstawi korzyci wynikajce zkadej z dostpnych metod bada Potra opisa sukcesy, jakie osign przy wykorzystywaniu omawianego badania Rozrnia rodzaje testw z uytkownikami i wie co powinno by istot badania Jest w stanie dostarczy analizy eksperckie przeprowadzane wedug rnych metod

Do sprawdzenia: Czy ekspert rozumie standardy i parametry do zmierzenia?

Potra wykaza zasadnozastosowania konkretnego parametru do zmierzenia Pracuje z uznanymi standardami uytecznoci zdeniowanymi przez ISO Uywa wartociowych wskanikw i nie zbiera ich dla samego zbierania Potra wyjani ograniczenia ilociowe bada, ktre wynikaj z istotnoci statystycznej

Do sprawdzenia: Czy badania sprzeprowadzane z waciwymi uytkownikami?

Specjalista moe przedstawi dokumenty z procesu rekrutacji i uzasadni wybr badanych Specjalista rozumie zwizek wielkoci prby badawczej w odniesieniu do Twoich potrzeb Specjalista umie uzasadni statystycznie wielko uytej prby

Do sprawdzenia: Czy badania prowadz do przydatnych i dokadnych odpowiedzi?

Badacz skupia si na pokazaniu problemw, a nie odczu uytkownikw Prowadzcy badanie nie zadaje pyta zamknitych i nie naprowadza respondentw W badaniu uywa si realistycznych scenariuszy Specjalista uytecznoci potra si dostosowa do Twoich technicznych i biznesowych ogranicze Specjalista nie tylko okrela problemy, ale te sugeruje ich moliwe rozwizania

Do sprawdzenia: Czy dostaniesz przydatne i zrozumiae wyniki?

Sposb prezentacji jest dostosowany do Twoich potrzeb Raport bdzie zawiera cz analityczn, ilustracje, surowe wyniki oraz rekomendacje Raport bdzie zrozumiay: wyniki bd podzielone w sensowny sposb i maj swoje priorytety Specjalista bdzie mg wspiera Twj zesp w zrozumieniu i przyjciu wynikw

Badania uytecznoci - o co zapytaspecjalist? 10

O AUTORACH
Robert Drzd Tomasz Skrski

O d ro k u 2 0 0 4 w r a m a c h s w o j e j r m y WebAudit.pl prowadzi audyty jakoci serwisw internetowych, projektuje rwnie architektur informacji. Pisze popularnego bloga na temat uytecznoci, marketingu oraz technologii (blog.webaudit.pl). Absolwent Szkoy Gwnej Handlowej. W wolnych chwilach biega, czyta ksiki (ostatnio na Kindle) i redaguje polsk Wikipedi.

Od 9 lat uczestniczy w projektach informatycznych w Polsce i za granic. Od dwch lat pracuje jako konsultant z dziedziny architektury informacji i user experience w ramach rmy 4UX.eu. Absolwent Wydziau Informatyki Politechniki Szczeciskiej. Prowadzi codziennego bloga, powiconego user experience - uxlabs.pl.

Kontakt
Robert Drzd e-mail: rd@webaudit.pl telefon: +48 608 335 233 www: http://www.webaudit.pl

Kontakt
Tomasz Skrski e-mail: tomasz@4ux.eu telefon: +48 502 584 014 www: http://4ux.eu