ILINČEV 
Kolega Jakub Linowski publikoval zajímavý výzkum o tom, zda určité zdroje nápadů vedou k lepším výsledkům. A mně se to tak líbilo, že jsem se s ním domluvil, že ten článek přeložím. A přidám pár svých nápadů a suchého humoru.
Píšu to jako takovou protiváhu ke svému článku o tom, že většina mých/vašich nápadů je příšerných. Tak teď budou trochu méně příšerné.
Jakub oslovil různé agentury a jednotlivce, kteří se zabývají AB testováním a zeptal se jich, jaké zdroje nápadů vedou k větší míře úspěchu. První dataset je od Michaela St. Laurenta z velké optimalizační agentury Conversion.com. Na Linkedinu Michael sdílel článek z jejich předchozích testů, kde testy na základě kvalitativního výzkumu (uživatelské testování atd.) má o 44,5 % větší šanci na úspěch.
V následující tabulce je efektivita rozpadnutá na jednotlivé zdroje (zdroj – míra úspěchu/rozptyl – popis):
- Kopírování konkurence – 41 % / 4 % – ideálně té, která taky AB testuje.
- Analytika – 41 % / 4 % – kvalitativní data, jakou jsou průchody objednávkou, GA4 statistiky.
- Archiv předchozích testů – 38 % / 3 % – nápady, které se osvědčily u ostatních klientů.
- UX výzkum – 35 % / 2 % – kvalitativní výzkum, jako jsou rozhovory, uživatelské testování atd.
- Psychologické principy – 34 % / 1 % – věci z behaviorální psychologie, jako je ukotvení, nechuť ke ztrátě, social proof.
- Pocit – 31 % / 2 % – neopřený o žádná data, často od vedení společnosti :).
- Best practice (Popularita) – 30 % / 0 % – buďto je to úzus nebo renomovaná UX knihovna (NN Group, Baymard).
888 experimentů bylo testováno v obou směrech (two-tail test), na primárních metrikách (předpokládám objednávka / obrat) a se statistickou jistotou 95 a více procent. Data byla očištěná o extrémy (outliers).
Vypadá to, že ideální je kopírovat konkurenci, koukat do čísel, inspirovat se předchozími testy a dělat výzkum. Ano, ale:
- Kopírujte jen konkurenci, u které víte, že má solidní UX výzkum a AB testuje. To, že AB testuje zjistíte pomocí https://builtwith.com/. A to že nekašle na UX moc nezjistíte. Já rád sleduji weby od kolegy Honzy Junka.
- U analytiky si dejte pozor na důvěryhodnost dat. Zpravidla narážím na nekompletní implementaci (hlavně eventů) a navíc si GA4 vinou Hyperlog Plus Plus cucá čísla z prstu.
- U předchozích testů doporučuji vytrvat nad jedním nápadem a „science the shit out“, jak by řekl Mark Watney z filmu Marťan.
- No a výzkum se rozumí samo sebou. Kdy jste naposledy fyzicky viděli uživatele vlastního webu nebo apky?
Michael St LaurentNení potřeba, aby byl nápad [na testování] perfektní. Důležité je zjistit, kde je největší potenciál na zlepšení a kde potřebujeme opřít názory o data. Slepě kopírovat [konkurenci] je nesmysl. Ale inspirovat se, upravit to na náš byznys model – to má velký smysl.
managing director, NA
Conversion.com
Kopírování konkurence
Kopírování konkurence doporučuje Ron Kohavi (ex Bing). V jeho dokumentu Sedm pravidel pro webové experimenty zmiňuje, že dává smysl kopírovat přední konkurenty, které dané věci otestovali a nasadili. I kvůli tomu Jakub sleduje velké e-shopové hráče a reportuje výsledky experimentů.
Já jsem na to dokonce měl vyvinutou SaaS aplikaci, a pak Google Optimize – na kterém to bylo postavené – skončil :).
Ron KohaviKopírovat konkurenci je jednodušší než inovovat samostatně. Vlastnosti, které se objevily u konkurence měly větší šanci na úspěch. Ve vyhledavači Bing jsme měli úspěšnost 10–20 %, podobně jako u jiných vyhledávačů. A pokud jsme kopírovali nápady ostatních, tak se tato úspěšnost zvýšila. A fungovalo to i obráceně [ostatní vyhledavače se inspirovali Bingem].
viceprezident
zkušenosti v Airbnb, Microsoft a Amazon
Nápady jednotlivců vs. týmů
Tento výzkum sdílela Lucia van den Brink. Porovnávala nápady, které vymyslel jen jeden člověk vs. nápady celého týmu. Týmové nápady měly o 9 % větší šanci na úspěch. Z mého pohledu hlavně díky různorodosti pohledů.
Lucia zjistila, že 4 z 5 projektů měly větší úspěch při společných nápadech.
Nefungovalo to ale všude. V posledním projektu v grafu měly týmové nápady negativní efekt -35,5 %. Lucia naznačila, že ona tam šla s velkou zkušeností s předchozími nápady na AB testování a klient byl relativně nezkušený co se týče AB testování.
Eric Lang z firmy Optimizely potvrzuje, že demokratizace nápadů vede k lepším výsledkům.
Eric LangČasto vidíme vyšší míru testování a větší úspěšnost u firem, které demokratizují tvorbu nápadů na testování skrz celý byznys. Funguje to v obou směrech – pokročilejší testování je více otevřené nápadům nezávisle na zdroji. A otevření testování všem ve firmě urychluje a posouvá dopředu testování jako takové.
senior strategy at Optimizely
Zdroje nápadů a úspěšnost
Ve firmě Further si udělali analýzu 102 experimentů (s jistotou minimálně 90 %). Uvádím vždy zdroj nápadu – násobek – popis. Rozdělili si nápady na:
- Předchozí AB testy – 4,23× – iterování předchozího experimentu.
- Behaviorální analýza – 3,97× – identifikuje problém a odhadne míru zlepšení.
- Porovnání s konkurencí – 2,16× – na co jsou uživatelé zvyklí z ostatních webů.
- Heatmapy/Videa uživatelů – 1,74× – koukání na to, kam lidi klikají a jak se pohybují na webu.
- Kontrolní seznam (heuristika) – 1,64× – obecný výzkum nad celým odvětvím.
- Uživatelský výzkum – 1,33× – obavy, strachy a bolesti uživatelů.
- Pocit – 1× – každý nějaký máme.
Z tabulky vidíme, že zkoušení dalších nápadů u předchozích AB testů dává největší šanci na úspěch. Což se hezky shoduje s první tabulkou. Nejhorší je naopak řídit se pocity.
Jak moc pomáhá analytika a heatmapy
Optimizely nedávno publikoval studii, kde analyzovali 127 000 experimentů (chystám na to samostatný článek). Porovnávali efektivitu experimentů s heatmapami, analytikou nebo žádnými daty(?). Analytikou je v reportu myšleno možnost vytvářet si segmenty kvůli identifikaci potenciálních problémů. Analyzovali 1000 experimentů.
S analytikou byly nápady úspěšnější o 32 %, s analytikou a heatmapami o 48 % úspěšnější.
Co si z toho vzít
Pro mě je největší překvapení inspirace konkurencí. Donedávna jsem říkal nekopírujte konkurenty, taky neví, co dělají. Napsal jsem i článek v čem (ne)kopírovat Alzu. Takže ústy naštěstí ex-prezidenta Zemana: „Jen blbec nemění názory,“ se vám tímto omlouvám a říkám: kopírujte ty správné konkurenty.
Nejmenší šanci na úspěch máte, když používáte málo zdrojů informací. Nápady jen jedné osoby, testování na základě pocitů, neděláte výzkum a nekoukáte do analytiky.
Naopak největší šanci máte, když používáte co nejvíce zdrojů dat:
- nápady od více různých lidí ve firmě (zlatý důl je zákaznická podpora),
- inspirace konkurencí, která testuje,
- analytiku a mousetracking,
- výzkum a předchozí AB testy,
- checklisty (pokud jste je ještě nikdy nepoužili).
No a pokud se vám do toho nechce, tak si u mě můžete objednat UX audit.
Smysluplná debata