Testy A/B, które warto uruchamiać: lista dla product designerów
Kultura "przetestujmy to" często staje się wymówką dla braku strategicznego myślenia. Nie każdy pomysł wymaga testu A/B, szczególnie gdy mówimy o małych start-upach z relatywnie niskim ruchem, gdzie osiągnięcie istotności statystycznej trwa miesiącami. Co zatem warto testować?
Architektura Informacji vs Kosmetyka
Testowanie koloru przycisku (z zielonego na niebieski) to mityczny przykład z wczesnych lat 2000. W rzeczywistości różnice są zazwyczaj w granicach błędu statystycznego. Testy, które przynoszą dwucyfrowe wzrosty konwersji, zazwyczaj dotyczą struktury lub propozycji wartości (Value Proposition).
Oto 3 rodzaje testów A/B o najwyższym ROI:
- Kolejność sekcji na Landing Page. (Np. Hero -> Social Proof -> Cennik kontra Hero -> Funkcje -> Social Proof).
- Microcopy na Call-to-Action. Zmiana z "Załóż konto" na "Rozpocznij darmowy okres próbny" zmienia całkowicie postrzegane ryzyko przez użytkownika.
- Długość formularzy (Redukcja pól vs multi-step form).
Błąd peeking (podglądania wyników)
Największym grzechem CRO jest wyłączanie testów, gdy tylko zobaczymy "p-value" na poziomie 0.05 w trzecim dniu trwania eksperymentu.
Rozkład ruchu w tygodniu nie jest jednorodny. Ludzie kupują inaczej w poniedziałki o 9:00, a inaczej w soboty o 22:00. Test A/B musi trwać przez pełne cykle biznesowe (zazwyczaj 2-4 tygodnie), aby wynik był wiarygodny. Ustalaj MDE (Minimum Detectable Effect) przed startem i trzymaj się planu.