Chcąc przeprowadzić badania użyteczności mobilnych serwisów internetowych albo aplikacji na telefony komórkowe napotykamy na wiele problemów:
- Duża różnorodność platform.
- Konieczność zrekrutowania respondentów korzystających z określonych typów słuchawek.
- Trudność szybkiego przygotowania prototypów działających na urządzeniu mobilnym.
- Problemy z podglądem i rejestracją akcji użytkowników korzystających z urządzenia mobilnego podczas badań (nie da się przecież w czasie godzinnej sesji cały czas zaglądać respondentowi przez ramię).
Do badań usability aplikacji mobilnych wykorzystuje się zwykle specjalne konstrukcje, w których na telefonie zamontowana jest kamera wideo filmująca ekran urządzenia.
Niestety tego typu rozwiązania sprawiają, że sytuacja badawcza staje się bardzo nienaturalna i użytkownikom trudno korzystać z telefonu w normalny sposób.
Co prawda zawsze można przeprowadzić testy na papierowych prototypach aplikacji, ale sposób ten nadaje się tylko do testowania wczesnych koncepcji, a nie pozwala na pełną ewaluację użyteczności gotowego produktu lub jego interaktywnej symulacji na docelowym urządzeniu.
W ramach działu User Experience K2 wypracowaliśmy ostatnio metodę badania aplikacji mobilnych, dzięki której użytkownicy mogą w zupełnie naturalny, swobodny i niezakłócony sposób korzystać z testowanego oprogramowania na telefonie, a podgląd ekranu urządzenia mobilnego jest zdalnie udostępniany przez sieć na ekran komputera. Odbywa się to całkowicie niedostrzegalnie dla respondentów. Przykładowe nagranie wykonane w ten sposób można zobaczyć na poniższym wideo.
Obraz z telefonu możemy łączyć ze zsynchronizowanym obrazem z kamery filmującej zachowania respondentów. Całość, łącznie z nagraniem audio przebiegu badania, jest rejestrowana na komputerze do późniejszej analizy.
Metoda sprawdza się bardzo dobrze na telefonach z systemem Symbian S60 (nowsze aparaty Nokia) oraz iPhone. Nie powinno być też żadnych problemów z urządzeniami działającymi pod systemem Windows Mobile. Jeżeli przyjrzymy się rankingowi firmy Gemius, która prowadzi już od dość dawna badania mobilnego Internetu, zobaczyny, że iPhone i telefony Nokia z Symbianem (E51, N95) należą obecnie do najpopularniejszych smartphonów wykorzystywanych do przeglądania sieci w Polsce.
Badania usability przeprowadzone tylko na dwóch modelach telefonów np. Nokia E51 i iPhone pozwalają na sprawdzenie jak z serwisem radzą sobie użytkownicy najpopularniejszych w Polsce platform reprezentujących zupełnie różne światy: stosunkowo niewielki ekran, fizyczna klawiatura oraz dość ograniczona przeglądarka, a z drugiej strony Safari oraz duży ekran multitouch.
Przeprowadziliśmy jak dotąd jedno komercyjne badanie opisywaną metodą. Testowaliśmy interaktywny prototyp dużego i dość skomplikowanego serwisu mobilnego (ponad 100 ekranów). Prototyp został przygotowany w edytorze Visual Studio .NET z wykorzystaniem ASP.NET Mobile Designer. Dzięki użyciu technologii .NET mogliśmy w łatwy sposób zasymulować pełną walidację formularzy po stronie serwera bez użycia JavaScript, z którym przeglądarki wielu telefonów mogą mieć problemy. Pilotażowe badanie poszło bardzo dobrze i poszerzyło naszą wiedzę 🙂
Wszystkich zainteresowanych badaniami lub przygotowaniem projektu serwisu bądź aplikacji mobilnej zapraszam do kontaktu.
[…] http://uxdesign.pl/testy-uzytecznosci-serwisow-mobilnych/ […]
@Marek
A co jest trudnego w analizie wideo? Masz pełną dokumentację wszystkich interakcji, którą możesz pokazać klientowi. Masz możliwość zrobienia streamu na żywo podczas badania dla klienta. Możesz tagować eventy na wideo podczas badania i wygenerować sobie z tego statystyki bez potrzeby jakiś tabelek. Nie ingerujesz zupełnie w to, jak sobie użytkownik klika na telefonie.
Robienie zdjęć brzmi jak jakaś zupełnie średniowieczna metoda 😉 Ten gość przerywał userowi na każdym ekranie mówiąc “sorry, teraz muszę zrobić zdjęcie”? To na pewno były udane badania… Nie ma przy tym mowy o żadnym flow. Czy może ja nie rozumiem i on robił badania na zdjęciach interfejsu? To już zupełnie inna nieporównywalna bajka.
Przy okazji mała ciekawostka z ostatnich testów: żaden z użytkowników iPhone’a i telefonu Nokia N95 ani razu nie skorzystał z trybu landscape – absolutnie wszyscy korzystali z sieci trzymając aparat pionowo a nie horyzontalnie. (I oczywiście narzekali na małe literki…)
Ponad dwa lata temu miałem okazję pracować z Andrew Swartzem (któy zresztą był gościem ubiegłorocznego WUD we Wrocławiu ) z serco.com (jednej z przodowych firm z obszaru usability, w tym jednego z czołowych dostarczycieli metodologi badań). Były to testy aplikacji telefonów komórkowych (link do wpisu na ten temat: http://ui.blox.pl/2007/06/Disaster-mobile-PL.html). Wówczas na potrzeby badań Andrew nie używał zgrywania wideo, a robił zdjęcia każdemu ekranowi, który się wyświetlał w ramach danego scenariusza użycia. Do tego miał przygotowane odpowiednie tabele w Wordzie – z dodatkowymi pozycjami, jak np. opis scenariusza, opis stanu ekranu, błędy, liczba kroków, etc. IMHO jest to dużo lepsza metoda na dokumentację wyników niż zgrywanie wideo, które później jest trudno analizować oraz opisywać.