Google zastąpi Website Optimizer ułomnym Content Experiments

Zabijają genialny Google Website Optimizer (Optymalizator witryny) i zastępują go ułomnym Content Experiments. Content Experiments to część Google Analytics, która do mierzenia rezultatów testu używa tych samych Goli (Celów), które w Google Analytics mówią nam o skuteczności serwisu.

Dlaczego jest to beznadziejna informacja?

Google unifikuje 2 narzędzia i niejako usuwa duplikującą się analizę celów w Optymalizatorze i Analyticsach. Dodatkowo Content Experiments ogranicza się tylko do testów A/B lub A/B/N (można testować do 5 wersji strony) i trzeba zainstalować tylko jeden skrypt na stronie. Na pierwszy rzut oka jest to dobra wiadomość - jeden panel, prościej dla użytkownika. Wiele osób uważa Optymalizatora witryn za wyjątkowo trudne i nieprzyjazne narzędzie. Z pewnością jest w tym racja, ale do tej pory było to też wyjątkowo użyteczne narzędzie. Zmiana uczyni testy stron bardziej dostępnymi dla początkujących, ale na dobrą sprawę kończy zabawę z testowaniem dla profesjonalistów. Powiem Wam dlaczego.

Pierwsze primo - bajzel

Wcześniej mieliśmy jeden panel z wszystkimi testami dla wszystkich naszych stron. Teraz będzie trzeba wejść w Google Analytics w konkretną domenę, a następnie w test. Dla kogoś, kto prowadzi wiele testów na wielu domenach i czasami nie pamięta o wszystkich - bo na przykład ze względu na mały ruch trwają długo - będzie to uciążliwe. Ale to najmniejszy problem.

Drugi primo - testy A/B w wydaniu Google są BEZNADZIEJNE

W 2008 roku odkryłem bardzo niefortunną i dyskwalifikującą wadę testów A/B w wydaniu Google. Najpierw pokazałem ją uczestnikom kursu Niewidzialne Techniki Sprzedaży, a w 2009 opisałem na CNEB: Pułapki Google Website Optimizer: Uważaj na Test A/B. W rezultacie całkowicie je zarzuciłem na korzyść testów Wielu Wariacji. Dlaczego? Testy A/B w wydaniu Google polegają na tym, że na stronie podstawowej (Oryginalnej lub Kontrolnej) umieszczamy kod JavaScript, który losuje odwiedzającym czy mają zobaczyć tę stronę, czy zostać przekierowani na wersję testową. Testy wielu wariacji w wydaniu Google również polega na umieszczeniu kodu na stronie podstawowej, ale zamiast przekierowania na wersję testową, kod ten podmieniał wybrane przez nas elementy strony podstawowej na testowe. Różnica jest KOLOSALNA. Po pierwsze w teście wielu wariacji mogliśmy osiągnąć wiarygodne wyniki szczątkowe - tj. dotyczące konkretnego elementu strony - zanim wyniki dla całych kombinacji stały się wiarygodne. Dodatkowo wiedzieliśmy, które elementy strony mają istotny wpływ na skuteczność, a które nie. W testach A/B otrzymujesz wynik tylko zbiorczy dla całej kombinacji (strony testowej). Aby więc przetestować kilka elementów musisz przeprowadzić kilka testów dla każdego elementu osobny. W testach wielu wariacji wystarczył jeden, rozległy test. Jest jeszcze większy problem. Spójrz wyżej. Pogrubiłem słowo "przekierowani". Testy A/B przekierowują na inną stronę. Testy wielu wariacji podmieniają elementy stron. Niestety przekierowanie widać! Widać w pasku adresu i widać to, że strona się przeładowuje - taka uroda JavaScript. Przekierowanie ma kolosalny wpływ. Mój Klient (dziękuję Ci Andrzeju za te dane), podesłał mi wykresy z Google Website Optimizera z pytaniem, skąd wzięły się takie wyniki: Już tłumaczę, co na tych zrzutach ekranu widać. U góry są wykresy pokazujące, jak zmienia się skutecznośc w czasie. Jeśli dziwisz się dlaczego różnice na początku były tak duże, a z czasem się wyrównały, to polecam też artykuł:  Ile głupich decyzji marketingowych już podjąłeś? oraz Pułapki Google Website Optimizer: Uważaj na długość testu, które pomogą Ci ustrzec się przed bardzo łatwym do popełnienia błędem, który przy okazji czyni wyniki Twoich testów bezużytecznymi. Nas bardziej interesują tebelki. Mamy tutaj 2 niezależne od siebie testy. W obu widać:

1. Original - czyli wersję podstawową, zwaną przez marketingowców kontrolną lub z angielskiego "controlem".
2. Wersje 1 i 2 oraz Odmiany m i l - czyli po dwie inne wersje strony kontrolnej, które chcemy porównać.
3. Kontrolna i Kontrolna_c - czyli dokładne kopie wersji kontrolnej (Original) wprowadzone przez Andrzeja zgodnie z zaleceniami ze wspomnianych artykułów i kurus.

Powtórzę dla jasności: wersje Original i Kontrolne były identyczne... a jednak mimo ustabilizowania się różnic w skuteczności (co widać na wykresie)... w obu przypadkach wersje kontrolne były diametralnie różne od identycznych im wersji oryginalnych. Dlaczego? Z powodu przekierowania, jakie wykonywał skrypt Google Website Optimizer w wersji testu A/B. Andrzej postanowił sprawdzić, czy faktycznie przekierowanie jest widoczne i oto jego odpowiedź:

Podpiąłem ClickTale i mam ciekawe wyniki:

Originalna - czas ładowania 1.31 sec Wersja_c.php - czas ładowania2.53 sec Wersja_m.php - czas ładowania7.07 sec Kontrolna_l.php - czas ładowania7.44 sec  

ClickTale to inne, zaawansowane narzędzie do analityki na stronach www. Widzisz różnicę? Jeśli wersja Oryginalna ładowała się w 1.31 sekundy a jej dokładna kopia w 7.44 sekund, to ich skuteczność musiała być różna. Skoro Internauta widzi (przekierowanie) i czuje (czas ładowania), że bierze udział w teście, to jego zachowanie jest NIEMIARODAJNE! We wspomnianych artykułach pisałem, że aby ustalić optymalną długość testu najlepiej oprócz wersji kontrolnej (oryginalnej) i wersji testowych, wprowadzić też dokładną kopię wersji kontrolnej, jako opcję testowaną. Ze statystyki wynika, że jeśli obie wersje są takie same, to powinny mieć taką samą skuteczność. Testując więc w ten sposób (A/A/B) czekamy aż skuteczność wersji A i jej kopii się zrówna (i utrzyma) i wtedy wiemy, że test jest wiarygodny. Tylko, że z moich testów i z powyższych przykładów wynika jasno, że w testach A/B z przekierowaniem statystyka nie działa, jak powinna. Zarówno mi, jak i moim Klientom, testy A/A/B robione przez Google wykazywały poważny błąd. Mianowicie kopia strony oryginalnej zawsze miała znacząco inną skuteczność, niż wersja oryginalna - nawet, gdy Google uznało test za wiarygodny. Winne jest przekierowanie, które ludzie widzą i w rezultacie zachowują się inaczej.

Rozwiązanie?

Jeśli chcesz nadal korzystać z Google, zawsze rób testy A/A/B i NIE patrz na wynik strony Oryginalnej (pierwsze A). Patrz wyłącznie na wyniki stron testowych (w tym kopii strony oryginalnej). Spójrz jeszcze raz na tabelki powyżej. Musisz brać pod uwagę wszystko poniżej żółtego paska - czyli wszystko oprócz wyniku strony opisanej jako "Original". W drugim przypadku więc Odmiana_m mimo iż miała mniejszą skuteczność niż Original, miała większą skuteczność niż wersja Kontrolna_c, będącą kopią Original. Więc Odmiana_m była skuteczniejsza niż Original, mimo iż Google tego nie wykazał. Niestety. Wraz z usunięciem testów wielu wariacji, narzędzie Google do testowania stało się jeszcze trudniejsze, ponieważ teraz trzeba samemu przeliczać różnice w skuteczności. Jeśli nadal chcesz korzystać z tego narzędzie, najlepiej rób testy A/A/A/B/N - tj. wprowadzaj 2 kopie wersji oryginalnej i testuj aż ich wynik się zrówna ze sobą - i całkowicie zlekceważ wynik generowany przez wersję Oryginalną. Oczywiście takie rowiązanie wydłuży czas, po którym wynik testu będzie wiarygodny. Możesz też skorzystać z dużo bardziej wygodnego, ale też nie taniego rozwiązania Optimizely, które stosuje Wizualne Testy Wielu Wariacji (zobacz demo) albo bardzo podobnego Visual Website Optimizer. Nie stawiam krzyżyka na Content Experiments - zamierzam sprawdzić, jak to narzędzie się zachowuje, ale spodziewam się dokładnie takich samych problemów, jak z testami A/B w Google Webiste Optimizer.