case study: Znaczenie czynnika czasu w badaniach marketingowych

Przed wyjazdem na urlop, 15 lipca zmieniłem w ofercie abonamentu nagłówek i pierwszą opinię. W moim przekonaniu zmiana powinna była podnieść skuteczność. Po powrocie z Turcji, 31 lipca sprawdziłem w PMtrackerze dane nt. skuteczności nowej oferty. Napisałem wtedy taką notatkę w raporcie:

Czuję się dziwnie. Zmieniłem nagłówek oraz pierwszą opinię i skuteczność... spadła o 19%. Skuteczność oferty w kierowaniu do formularza wzrosła o 1%, ale sama skuteczność formularza poleciała na łeb na szyję o prawie 40%.

PIERWSZY WNIOSEK

Obie zmiany, nowy nagłówek i nowa opinia, nastawiają klientów na zakup o 19,01% słabiej niż w wersji poprzedniej. Zmiana bezpośredniej skuteczności samej oferty (kliknięcia do formularza dzielone przez liczbę wizyt) jest pomijalna. Istotne jest więc "nastawianie klienta na zakup".

DRUGI WNIOSEK

Badanie nowej wersji (kod main-16) przypadło na okres wakacyjny, w którym decyzje o zakupie są zdecydowanie rzadsze. Już z samym końcem lipca było więcej zamówień. Pierwsze badanie prowadziłem do 10 lipca, drugie od 10 do 31 lipca. Postanowiłem, że w tym należy szukać powodu dla części lub całości spadku skuteczności.

PYTANIE

Jaka część spadku skuteczności oferty wynika ze zmian w ofercie, a jaka z okresu, na który przypadło badanie nowej wersji?

Odpowiedź uzyskam testując obie wersje równolegle. Wykorzystam w tym celu skrypt losowo wyświetlający daną wersję oferty. Oczywiście skrypt będzie wystawiał cookie, aby jedna osoba widziała tylko jedną wersję. To wszystko podpięte pod mój system_(PMtracker) dało odpowiedzi po 2 tygodniach.

Stworzyłem więc skrypt i 3 oferty do testu równoległego. 3 ofertą nie będę się zajmował, powiem tylko, że była najsłabsza. Stara wersja w PMtrackerze ma oznaczenie main-15, nowa main-16. Obie znajdziecie tutaj:

• main-15
• main-16

Skrypt do losowania wersji wygląda tak:

<?php

// skryptu używaj tam, gdzie masz ofertę (poziom 0). Tutaj losuj NAWET
// jeśli testujesz np. formularz. Jeśli testujesz formularz to
// wczytaj odpowiednią wersję formularza za pomocą zmiennej 
// $pokazWersje z cookie internauty. Umieść pliki o takich samych
// nazwach w katalogu z formularzem, zmień ich treść na odpowiednie 
// wersje formularza i includuj je wg. wartości $pokazWersje

// tabela z dostępnymi wersjami. Może ich być dowolnie dużo, 
// zalecam max 4 jeśli dzienna liczba odwiedzin oferty nie 
// przekracza 200
srand ((float) microtime() * 10000000);
$wersje = array("NAZWA_PLIKU_1","NAZWA_PLIKU_2","NAZWA_PLIKU...");
$dataKonca = "RRRR-MM-DD"; // data konca testu, np. 2003-12-24

// ponizej juz nic nie zmieniaj
$dataDzis = time();
$array = explode("-", "$dataKonca");
$Y = $array[0];
$M = $array[1];
$D = $array[2];
$dataKonca = mktime(23, 59, 59, $M, $D, $Y);

$CookieArray = explode("+", "$pokazWersje");
$zapamietanaWersja = $CookieArray[0];
$zapamietanadataKonca = $CookieArray[1];

if (!isset($pokazWersje) || $dataDzis > $zapamietanadataKonca) {
	$wersja = array_rand($wersje, 1);
	$pokazWersje = $wersje[$wersja]."+".$dataKonca;
	setcookie('pokazWersje', $pokazWersje, (time()+365*24*3600));
}

$array = explode("+", "$pokazWersje");
$wybranaWersja = $array[0];

// plik z wersja wstawisz do strony za pomoca:
// include_("./".$wybranaWersja.".php");

?>

Badanie równoległe trwało przez pierwsze 2 tygodnie sierpnia. W skrypcie losującym ustawiłem żywotność cookie na 30 dni. Praktycznie więc każdy widział tylko jedną wersję oferty.

Teoretycznie ktoś mógł widzieć więcej niż jedną ofertę. Ten ktoś mógł np. skasować cookie lub jego przeglądarka mogła nie przyjąć cookie w ogóle. Są to jednak przypadki jednostkowe - 98,9% polskich internautów przyjmuje cookie jak wynika z badań na stronie www.ranking.pl/rank.php?stat=cookiePL Praktycznie więc taki skrypt daje pewność izolowanych badań.

WYNIKI BADANIA

Miałem dobre przeczucie co do zniekształcenia wyników pierwszego badania przez okres wakacyjny. Skuteczność nowej oferty (16) przewyższyła starą (15) o 12,2%. Przypominam, że w pierwszym badaniu oferta nr 16 okazała się o 19% słabsza.

Bezpośrednia skuteczność oferty w kierowaniu do formularza okazała się niższa o 0,62%. Ale skuteczność samego formularza wzrosła o 30,81%. Jest to zwrot o 180 stopni w stosunku do pierwszego badania (szeregowego). Skuteczność opłaconych zamówień do wszystkich zamówień też była niższa w przypadku nowej oferty. W związku z tym okazuje się, że kluczowy był wzrost skuteczności oferty w... NASTAWIANIU KLIENTA NA ZAKUP.

W uproszczeniu oferta pełni dwie role. Ma namówić potencjalnego klienta do kliknięcia do formularza oraz ma go upewnić, że opłaca się złożyć i opłacić zamówienia (nastawiania na zakup). Jeśli badamy tylko CTR kliknięć z oferty do formularza, to otrzymujemy ZAFAŁSZOWANY wynik. Takie ograniczone badanie w przedstawianym przypadku powiedziałoby nam, że nowa oferta jest o pół procenta gorsza. Pół procenta to wartość zawierająca się w błędzie statystycznym - tzn. jest to wartość pomijalna.

Oferta kieruje potencjalnych klientów do formularza z konkretnym nastawieniem (frame of mind). Jeśli mamy system śledzący klienta od początku do końca to znamy też CR (skuteczność) właściwe oferty. Innymi słowy znamy skuteczność bezpośrednią oraz skuteczność w nastawianiu na zakup.

CR właściwe to liczba opłaconych zamówień do liczby odwiedzin i to jest ostateczny wskaźnik skuteczności dokonywanych zmian. Nie mając takich danych zrezygnowałbym z nowej oferty i tym samym stracił 12% przychodów.

Jeśli nie testujesz tak jak 9 na 10 biznesów... Jeśli myślisz, że gra nie jest warta świeczki... Jeśli tak robisz, to policz ile to jest 12% Twojego rocznego przychodu i porównaj to np. do ceny wdrożenia PMtrackera (610 zł brutto).

BADANIA RÓWNOLEGŁE KONTRA SZEREGOWE

Z tego badania wypływa drugi wniosek. O ile badania prowadzone zimą czy w inne zwykłe miesiące można robić szeregowo (najpierw jedna wersja potem druga), to w miesiącach wakacyjnych jest to metoda zgubna. W tym czasie rację bytu ma tylko badanie równoległe (losowe wyświetlanie różnych wersji ofert).

Jeśli możesz prowadzić badania równoległe, to rób to zawsze. Badania szeregowe nie uwzględniają tak istotnego czynnika jak warunki rynkowe kształtowane przez czas.

W artykule "Zanim wydasz złotówkę na reklamę" pisałem:

W badaniu szeregowym maksymalny, łączny czas badania wszystkich porównywanych wersji nie powinien przekroczyć miesiąca, optymalnie są to dwa tygodnie. Ale nawet te dwa tygodnie muszą trwać w czasie neutralnym dla Twojego rynku.

Tak naprawdę każdy biznes jest do pewnego stopnia sezonowy. Wpływ na to może mieć fakt, że decydenci wyjeżdżają na urlopy w określonym czasie - zwykle wtedy, kiedy ich dzieci mają wakacje. I w tym czasie niechętnie podejmują decyzje, które podejmują w innym czasie. Stąd np. spadek skuteczności formularzy zamówień.

Czemu nie spada skuteczność oferty w kierowaniu do formularzy? Bo często jest to impuls. Bezpośrednia skuteczność oferty (CTR) mówi nam o tym, jak dobrze skłania ona do akcji, do impulsywnego kliknięcia do formularza. Ale ten impuls traci impet, gdy trzeba poszukać numeru karty kredytowej. Wtedy w grze pojawia się czynnik nastawienia, frame of mind. Internet jest wyjątkowo wrażliwy na czynnik nastawienia, bo bardzo rzadko jest tak, że płacimy od razu, jak to robimy w sklepach. Często płacimy przelewem, często za pobraniem. Mamy więc czas pomiędzy zamówieniem i opłaceniem i w tym czasie nie może być wahania.

Badania równoległe możesz prowadzić w dowolnym czasie, jeśli dzienna liczba odwiedzin oferty przekracza kilkadziesiąt osób.

Zwróć też uwagę na fakt, że badania równoległe są w dużym stopniu odporne na nie izolowane akcje promocyjne. Wyjątkiem są sytuacje, gdy jedna z wybranych wersji koresponduje z akcją promocyjną, a druga nie. Prowadząc kampanię w wyszukiwarce za pomocą reklamy:

Zniekształciłbym wyniki badania równoległego. Dlatego ja izoluję wszelkie akcje promocyjne.

ZACHĘTA

Prowadzenie zaawansowanych badań marketingowych w Internecie jest prostsze niż myślisz. Musisz tylko spełnić 3 warunki:

• musisz rozumieć podstawy badań statystycznych. W tym pomogą Ci moje artykuły i dyskusje na forum. Nie musisz posiadać wiedzy rozległej.
• musisz posiadać narzędzie do łatwego analizowania wyników tych badań. Może być to PMtracker lub inne rozwiązanie, które da Ci podobne możliwości.
• potrzebna jest odpowiednia próbka odwiedzin/ wyświetleń reklamy tak, aby najpóźniej w ciągu miesiąca otrzymać konkretne dane.

To wszystko. Nie jest tego dużo... a jednak 9/10 biznesów nigdy nie prowadziło żadnych sensownych badań nt. swoich działań marketingowych. Zdaję sobie sprawę z tego, że w przypadku czytelników płatnego CzasNaE-Biznes statystyka ta jest prawie taka sama. Nie testowanie to w biznesie "grzech śmiertelny". Jeśli go popełniasz to trochę szkoda Twoich pieniędzy i tych wydanych na abonament i tych, które przechodzą Ci koło nosa.

Niezależnie od tego jak bardzo konkretne rady dam na temat badań marketingowych większość i tak zatrudni doradcę aby przeprowadzili je za nich. W ostatecznym rozrachunku i tak nie stracą.

ZADANIE DOMOWE

Sprawdź jakikolwiek aspekt marketingowy Twojego serwisu www. Najpierw zainstaluj odpowiednie narzędzie mierzące, potem zrób np. test innego nagłówka. Z całą odpowiedzialnością stwierdzę, że na pewno można napisać nagłówek skuteczniejszy niż ten, którego używasz obecnie. Dotyczy to również moich nagłówków - dlatego ja testuję.