Ruszyłem wczoraj z nowym testem marketingowym. Testuję 2 elementy na jednej z moich stron w teście wielu wariacji. Po ludzku oznacza to, że:
- mam na stronie 2 elementy - zachętę do rejestracji i formularz
- pierwszego elementu sprawdzam 3 różne wersje
- drugiego elementu 2 różne wersje
- czyli de facto sprawdzam 6 kombinacji mojej strony
- kombinacja: 1+1
- kombinacja: 2+1
- kombinacja: 3+1
- kombinacja: 1+2
- kombinacja: 2+2
- kombinacja: 3+2
Mam jeszcze Twoją uwagę?
OK. Są już pierwsze wyniki i są bardzo ciekawe:
Wow... można by pomyśleć. Wersja oryginalna zachęty jest 2 razy skuteczniejsza, niż pozostałe 2. To samo z oryginalną wersją formularza... eee. Błąd.
Zastawiłem pułapkę na Google Webiste Optimizera. 2 testowane wersje zachęty to identyczne kopie, a jednak pierwsza ma 4,16% konwersji, a druga 3,41% konwersji. Czyli mimo całkowitej identyczności jedna jest o ponad 20% skuteczniejsza... co jest oczywiście niemożliwe z punktu widzenia statystyki teoretycznej... i całkowicie normalne z punktu widzenia statystyki praktycznej.
Widzisz. Przy tak małej próbce czynnik ludzki może mieć ogromny wpływ na wynik. Mamy raptem 10 osób na wersji oryginalnej, 5 i 4 na wersjach testowych. Ponieważ na razie wersja oryginalna wygrywa, teoretycznie możliwe jest, że te dodatkowe 5 osób weszło na stronę oczekując tej właśnie zachęty, ponieważ ktoś im o niej powiedział. Tak właśnie działa czynnik ludzki na małych próbach.
Czy możliwe jest jeszcze, że tendencja się odwróci i wersja oryginalna okaże się mniej skuteczna?
TAK. Często widziałem takie zmiany. Dopiero odpowiednia duża próba... zaraz, moment:
Co to znaczy odpowiednio duża próba?
To znaczy, że jeśli skuteczność 2 wersji testowych, które są identyczne, się zrówna lub zrówna z zachowaniem akceptowalnego błędu, wtedy będziemy mieli odpowiednio dużą próbę. NIE, jak będzie 100, 500, 1000 czy 10 000 odwiedzających.
Nie raz widziałem, jak w wyniku testu skuteczność strony rosła o 100%. Nie raz widziałem też, jak w wyniku źle przeprowadzonego testu podejmowano głupie decyzje, a przynajmniej decyzje o wątłych fundamentach.
A teraz mam do Ciebie pytanie. Napisz mi w komentarzu poniżej:
- Czy testujesz w swoim biznesie?
- Jeśli nie, to dlaczego?
- Jeśli tak, na jakiej podstawie decydowałeś, że wynik jest wiarygodny?
P.S. Wybacz mocny tytuł. Na ważne sprawy trzeba mocno zwracać ludziom uwagę, aby ich dla własnego dobra nie przeoczyli