Nie všetko treba A/B testovať

Experiment potrebuje otázku

Najhorší typ A/B testu je podľa mňa: „Skúsme zelené tlačidlo proti modrému a uvidíme.“ Možno niečo nameriame. Ale čo sa vlastne učíme?

Dobrý experiment by mal začať hypotézou. Máme dôvod myslieť si, že konkrétna zmena ovplyvní konkrétne správanie konkrétnym mechanizmom. Potom vieme definovať výsledok, guardraily a interpretáciu.

Bez toho testujeme variácie, nie myšlienky. A aj keď jedna vyhrá, často nevieme prečo.

Niektoré rozhodnutia sú príliš malé

Ak má stránka sto návštev mesačne, testovať dve verzie headlineu nemusí byť realistické. Ak je rozdiel, ktorý očakávame, malý, potrebujeme ešte viac dát. Ak sa prostredie počas testu výrazne mení, výsledok sa interpretuje ťažšie.

V takých prípadoch môže byť lepšie použiť dobrý dizajnový princíp, kvalitatívny výskum, usability test alebo odborný úsudok. Nie preto, že dáta nechceme, ale preto, že experiment nemá podmienky, aby dal spoľahlivú odpoveď.

Niektoré rozhodnutia sú príliš veľké

Na opačnej strane sú zmeny, ktoré sa testujú ťažko práve preto, že zasahujú celý systém. Nový positioning, nová cenová architektúra, redizajn celého produktu, zmena obchodného modelu.

Pri takýchto rozhodnutiach môže byť experiment súčasťou učenia, ale často nedokáže izolovať všetky dôsledky. Navyše niektoré zmeny potrebujú čas, aby sa prejavili. Krátkodobý konverzný výsledok môže vyzerať dobre a dlhodobá retencia zle.

Aj tu je potrebný širší úsudok.

Víťaz testu nemusí byť pravda

Aj korektne vykonaný experiment odpovedá iba na konkrétnu otázku v konkrétnom čase, populácii a prostredí. Variant B môže poraziť A. To neznamená, že B je univerzálne lepší dizajn. Mohol fungovať iba pre návštevnosť z konkrétnej kampane, pre mobil, pre nových zákazníkov, v sezóne či pri určitej cene.

Preto mám problém s tým, keď sa výsledok jedného experimentu zmení na nový všeobecný princíp.

Experiment produkuje lokálne poznanie. Nie automaticky univerzálnu pravdu.

Testovanie potrebuje guardraily

Ak optimalizujeme iba jednu metriku, vieme si výsledok veľmi ľahko „vyhrať“. Agresívnejší checkout môže zvýšiť konverziu – a zároveň zvýšiť storno objednávok alebo počet sťažností. Viac notifikácií môže zvýšiť krátkodobú aktivitu – a zároveň zhoršiť dlhodobý vzťah k produktu.

Preto experiment podľa mňa potrebuje nielen hlavnú metriku, ale aj veci, ktoré nechceme pokaziť. To je obzvlášť dôležité pri značke a zákazníckej skúsenosti. Nie všetko hodnotné sa prejaví okamžite v jednom čísle.

Niekedy je lepšie rozhodnúť a sledovať

Nie každá zmena potrebuje randomizovaný experiment. Niekedy máme dostatočne silný dôvod, nízke riziko a jasnú možnosť návratu. Vtedy môže byť úplne správne zmenu nasadiť, merať a sledovať.

To nie je menej vedecké. Je to primerané problému. Experimentovanie má podľa mňa hodnotu práve vtedy, keď ho nepoužívame ako rituál.

Dáta nemajú odstrániť úsudok

Mám rád experimenty. Práve preto nechcem, aby sa z nich stal spôsob, ako sa zbaviť zodpovednosti za rozhodnutie. Aj test musíme navrhnúť.

Dáta môžu zlepšiť úsudok. Nemali by predstierať, že ho už nepotrebujeme.

Nie všetko treba A/B testovať. Ale keď už testujeme, mali by sme presne vedieť, čo sa snažíme naučiť.