Jak agencje badawcze testują użyteczność

Miałem okazję niedawno obserwować jak pewna duża międzynarodowa firma badawcza prowadzi testy nowego serwisu internetowego (przeze mnie zaprojektowanego) z użytkownikami. W czasie badań moje oczy robiły się coraz większe i większe z powodu licznych popełnionych błędów metodologicznych i kompletnego braku wiedzy agencji na temat tego, jak takie badania powinny być przeprowadzane. Aż postanowiłem na ten temat napisać.

Tytuł może być lekko krzywdzący, bo być może są tradycyjne agencje badawcze, które badania UX robią lepiej, niż wspomniana powyżej firma, ale też nie jest to pierwszy raz, kiedy spotykam się z podobną niekompetencją ze strony takich firm w tym obszarze (żadnych konkretnych nazw nie zdradzę).

„Badania na komputerze”

Jakiś czas temu agencje badawcze dostrzegły, że internet stał się ważnym medium, kupiły więc sobie po eyetrackerze i wprowadziły do swojej oferty badania usability serwisów internetowych nazywane czasem fachowo „badaniami na komputerze” 😉 Trochę jest mi nawet szkoda badaczy z tych firm, bo pytani na boku nie kryją swojej niepewności i szczerze przyznają, że nie mają większego pojęcia, jak „te internety” się robi i o co w tym chodzi. A badanie produktu interaktywnego, to jednak co innego, niż focusy nad nazwą proszku do prania, czy badanie spotu TV.

Szybko mi jednak przechodzi, kiedy słyszę bzdurne wyniki i rekomendacje wygłaszane przed klientem z mocą autorytetu międzynarodowej korporacji, która przecież na badaniach zęby zjadła. Czarę goryczy dopełnia, to że firmy te z wieloma klientami mają podpisane stałe umowy na obsługę badawczą (badają wszystko jak leci od nowych produktów, przez reklamy, do internetu) i w związku z tym są w stanie zaoferować niższe ceny, niż wyspecjalizowane firmy zajmujące się badaniami user experience za pojedyncze badanie. Czy jednak warto?

Co ja paczyłem?

Badanie, które miałem okazję oglądać składało się z kilku części:

  1. eyetrackingu kilku projektów graficznych na plikach jpg;
  2. testów zadaniowych i eyetrackingu (!) na interaktywnym prototypie – klikalnych makietach z placeholderami w miejscu większości grafik, bez koloru, z lorem ipsum, różniącym się wielkością i wyglądem wielu elementów w stosunku do finalnych projektów graficznych;
  3. krótkich testów zadaniowych na zupełnie innym gotowym serwisie, który miał być benchmarkiem dla nowego projektu;
  4. kilkuminutowego wywiadu oceniającego na koniec.

Jakie niedociągnięcia można wytknąć temu badaniu? Jest ich wiele:

  • Agencja podjęła się badania serwisu bez briefingu na temat tego jak jest on zbudowany i dlaczego tak, jakie są cele i założenia. Nie wiedzieli co badają.
  • Całe badanie było prowadzone na eyetrackerze – sesja ok. 40 minut z jedną kalibracją na początku. W trakcie sesji moderator rozmawiał z respondentami, były przerwy, respondenci zmieniali pozycję, wiercili się, patrzyli na moderatorkę, na ścianę, na zegarek. Wszystko to może prowadzić do utraty kalibracji i zmniejszenia dokładności wyników.
  • Rozmowa moderatora z respondentem w czasie badania eyetrackingowego poważnie zaburza wyniki – nie powinno się tego robić! Jak pisze Jacob Nielsen w swoim raporcie o eyetrackingu: 1) Users may consider something more carefully as they try to articulate their thoughts about it. Say a person is somewhat attracted to an image on a page, but not really very drawn to it. They may glance at it, but when they start to make a comment about it decided they will look a little harder. And they may notice more about the contents of it as they are talking about it. 2) The talking may hinder their thought process and detract from their focus on the tasks and the design. 3) The additional task of talking about what a user is doing can affect quantitative objective methods, such as task time and success. Thus, when doing studies where we are concerned about these quantitative measures, we do not ask users to think out loud. Instead, they do their tasks in silence and are interviewed after the fact.
  • Badanie makiety na eyetrackerze kompletnie nie ma sensu – tutaj liczy się każdy piksel, rzeczywiste rozmiary, kolory, fonty, zdjęcia. W raporcie końcowym zobaczyliśmy heatmapy z makiet architektury informacji (!), które nie mówią kompletnie nic o końcowym projekcie.
  • Analiza ilościowa wyników eyetrackingu z testów zadaniowych na interaktywnym prototypie/gotowym serwisie nie ma dużego sensu, bo użytkownicy oglądają strony w różnej kolejności i kontekście, wracają do stron wcześniej obejrzanych, spędzają na stronach różną ilość czasu. Trudno analizować takie wyniki na zbiorczych heatmapach.
  • Testy zadaniowe były prowadzone na stronie otwartej na pełnym ekranie (na full screenie) bez przycisków przeglądarki (w tym najczęściej używanego przycisku „wstecz”!) i bez paska adresu – zupełnie nienaturalna sytuacja.
  • Badanie nie było ani poprawnym badaniem eyetrackingowym ani dobrze przeprowadzonym testem użyteczności – choć moderatorka rozmawiała z respondentami, to nie dociekała źródeł problemów, które mieli użytkownicy. Nie pytała o funkcje, które użytkownicy pomijali, nie próbowała się dowiedzieć czemu nie kliknęli w jakiś element, choć go widzieli itd.
  • Zadania wykonywane w serwisie, który był benchmarkiem różniły się znacznie poziomem trudności od zadań wykonywanych na prototypie nowego projektu – w tym pierwszym przypadku zadania można było wykonać z poziomu strony głównej, w drugim trzeba było znaleźć informacje na podstronach w głębi serwisu.
  • W końcowym wywiadzie oceniającym użytkownicy często mówili o zupełnie różnych rzeczach: o projektach graficznych nowego serwisu, o makietach nowego serwisu, o obecnie funkcjonującej stronie, o serwisie który był benchmarkiem. Respondentom to wszystko się mieszało, a moderatorka nie dopytywała czego konkretnie dotyczy opinia.
  • Agencja nie potrafiła ogarnąć podglądu ekranu użytkownika dla osób oglądających badania – trzeba było przyciskać nos do lustra weneckiego, żeby coś dostrzec.

Z raportu z badań dowiedzieliśmy się, że:

  • Makiety są zdaniem respondentów zbyt szare (!).
  • Grafika gotowego działającego serwisu, który był benchmarkiem podobała się respondentom mniej niż makiety nowego serwisu (!).
  • Należy powiększyć logo, ponieważ na heatmapach nie jest najcieplejszym miejscem. Tutaj badacze pokazali, że nie rozumieją podstaw tego jak działa ich narzędzie – czas fiksacji na elemencie jest czym innym, niż jego zauważenie. Nie ma podstaw do tego, żeby użytkownicy, którzy znają markę i wiedzą na jakim serwisie się znajdują fiksowali się przez długi czas na logotypie.
  • Zasugerowano za to, żeby zmniejszyć obszar promocji, który za bardzo odciąga uwagę od logotypu…
  • Wielkim zaskoczeniem dla badaczy było to, że jeśli użytkownicy nie potrafią czegoś znaleźć, to winią siebie, a nie serwis. Jest to efekt powszechnie opisywany, który jest doskonale znany wszystkim, którzy trochę takich badań już przeprowadzili.
  • I to w zasadzie tyle. Nie dowiedzieliśmy się nic nowego i wartościowego.

Uff. Po tym wszystkim nie pozostaje nic innego jak przestrzec wszystkich przed zlecaniem badań user experience dużym firmom badawczym, które się w tym temacie nie specjalizują i nie zatrudniają projektantów interakcji!

16 komentarzy

  1. W sumie – gdyby Cię nie bolało jako uczestnika procesu – możnaby powiedzieć, że to jest jakaś szansa rynkowa 🙂

  2. Rynek zawszę będzie działał różnie. Najbardziej dziwi to, że ktoś sprzedaje swoje usługi nie mając do tego odpowiednich kompetencji :(.

  3. Studenci SWPS po pierwszym semestrze IA wiedzą, że są to kategoryczne błędy. Osoby tam pracujące musiały kompletnie nie mieć wiedzy nas ten temat. Strach pomyśleć, że w opisie ich stanowisk może pojawiać się wyraz research albo jeszcze lepiej User experience designer 🙂

  4. To jest chyba ogólny problem rynku badawczego, że w dużym stopniu jest oderwany od rynku projektowego i nie rozumie produktów, które bada i zasad, które rządzą medium, w którym te produkty żyją.

    Też miałem tą okazję uczestniczenia w prezentacjach badań nad prototypami, które tworzyłem i wygłaszane wnioski często ocierały się o kuriozum.

    Zawsze na końcu pozostaje klient, który – co też trzeba zrozumieć akurat – ma trudny orzech do zgryzienia, bo czy rację ma projektant czy badacz?

  5. „Zasugerowano za to, żeby zmniejszyć obszar promocji, który za bardzo odciąga uwagę od logotypu…”

    to mnie rozwaliło 😀

  6. Faktycznie, te testy to jakaś kompromitacja. Widziałem jak robią to polskie firmy i wyglądało to dużo lepiej. Eye-tracker to czasem pułapka, pewnie że można klientowi pokazać ładne wykresy, ale chyba nie tylko o to chodzi w audycie UX…

  7. Nie no, ja bym się nie rozdrabniał w tym przypadku, aż tak bardzo nad badaniami UX. Powyższe obserwacje, jak na mój gust dowodzą po prostu braku myślenie tak w ogóle. Trochę wątpię aby ta agencja była w stanie przeprowadzić jakiekolwiek rzetelne badania i wyciągnąć z nich odpowiednie wnioski — nawet w co bardziej „tradycyjnych” dziedzinach (w których jak rozumiem się specjalizują) aniżeli te interakcje.

  8. Najzabawniejsze jest to, że odbiorcy badań/klienci często dopominają się właśnie o heatmapy, chociaż te nic im nie dają. I potem połowę czasu przewidzianego na prezentację wyników traci się na tłumaczenie, dlaczego nie heatmapy… 😉

  9. Hmm, duże agencje badawcze maja większą siłe przebicia, już za kilka dni, 15.05.2012 rusza nowa wersja http://www.sprawdz.to – serwisu, gdzie będzie można przeprowadzić szybkie badania z użytkownikami… online 😉 Zapraszamy

  10. Mam nieodparte wrażenie, że autor wpadł w niebezpieczną generalizację, a na domiar zdradza brak zrozumienia roli badań w procesie marketingowym. Żadna agencja badawcza nie zatrudnia projektantów interakcji. Agencje badawcze zatrudniają badaczy. Badacze mają być obiektywni, a ich główne zadanie to dostarczanie klientowi wiedzy na temat relacji konsument-usługa/produkt. Badacze nigdy nie będą znali specyfiki usługi/produktu tak dobrze jak znają je ich twórcy. Podobnie twórcy nigdy nie będą tak obiektywni jak obiektywni są badacze. Gorycz twórców jest stara jak historia tworzenia, ale po to twórcy mają gęby aby domagać się od klienta udziału w briefingach badawczych.
    Last but not least badacze zajmowali się eyetrackingiem, kiedy rynek agencji interaktywnych w Polsce raczkował. Polecam stronę (rok 2003) z prezentacją Waldka Rojny, jednego z polskich pionierów tej dziedziny http://ptbrio.pl/kongres4/. Uwaga zupełnie na koniec. Głupotę agencji należy tępić, podobnie jak każdą inną głupotę. Należy jednak pamiętać, aby samemu przy tym głupot nie popełniać.

  11. @Funkster
    A ja mam wrażenie, że Ty nie przeczytałeś dokładnie wpisu i nie rozumiesz różnicy między badaniem interakcji, a badaniem marketingowym. (Co to jest „proces marketingowy”?) Moja gorycz nie ma nic wspólnego z faktem badania mojego projektu (dobra rzecz), ale z faktem, że badanie to było zwyczajnie źle przeprowadzone. Od takich firm można chyba wymagać czegoś więcej.
    1) Do generalizacji sam odnoszę się w tekście, 2) badacze o których napisałem przede wszystkim nie znają metodyki badawczej, 3) nie wydawaj sądów o projekcie o przebiegu, którego nic nie wiesz.
    Według mnie badacz, który zajmuje się badaniem serwisów internetowych powinien wiedzieć co nieco na temat procesu tworzenia takich produktów, wiedzieć czym jest makieta, jak zachowują się użytkownicy. A jeśli chce wydawać jakieś rekomendacje, a nie tylko raportować surowe wyniki musi wiedzieć coś o samym projektowaniu. Inaczej, to tak jakby badacz marketingowy nie wiedział nic o marketingu.
    A to, że Waldemar Rojna występował na kongresie PTBRIO dawno temu nie ma kompletnie nic do rzeczy.

  12. Niestety technologia i urzadzenia to nie wszystko… smutny ten swiat sie staje, ale winni sa wszyscy, od klientow poczawszy… zadaja oni wszystkiego w cenie niczego… zapominaja przy tym, ze skoro sieciowka daje im tanie to maja gorszy serwis niz w malej agencji / wyspecjalizowanej bo w tej malej zarzad ma 2-3 osoby, ktory aktywnie uczestniczy w procesie, podpisujac sie wlasnym nazwiskiem i majac duzo do stracenia, w sieciowkach zarzad i pion dyrektorski jest bardziej rozbudowany a za ewentualny shit dostarczony w formie raportu leci badacz (zatrudniony na umowe o dzielo, za glodowa pensje) 🙂 a metodologia, metodyka, rzetelnosc…. to terminy na dluzszy wywod

  13. @Marek Kasperski i @Monica

    Trafne uwagi o oderwaniu badań od procesu projektowania i bezpodstawnej fascynacji heatmapami.

Dodaj komentarz

Twój adres email nie zostanie opublikowany. Pola, których wypełnienie jest wymagane, są oznaczone symbolem *