Zpět na seznam článků

Dobrý nápad, špatný nápad. Nebo jaký je to nápad?

Úpravy webu na základě pocitů je ten nejhorší způsob zlepšování webu. Ten nejlepší? Analytika, předchozí AB testy a kopírování konkurence.

Winning-ideas

Kolega Jakub Linowski publikoval zajímavý výzkum o tom, zda určité zdroje nápadů vedou k lepším výsledkům. A mně se to tak líbilo, že jsem se s ním domluvil, že ten článek přeložím. A přidám pár svých nápadů a suchého humoru.

Píšu to jako takovou protiváhu ke svému článku o tom, že většina mých/vašich nápadů je příšerných. Tak teď budou trochu méně příšerné.

Jakub oslovil různé agentury a jednotlivce, kteří se zabývají AB testováním a zeptal se jich, jaké zdroje nápadů vedou k větší míře úspěchu. První dataset je od Michaela St. Laurenta z velké optimalizační agentury Conversion.com. Na Linkedinu Michael sdílel článek z jejich předchozích testů, kde testy na základě kvalitativního výzkumu (uživatelské testování atd.) má o 44,5 % větší šanci na úspěch.

V následující tabulce je efektivita rozpadnutá na jednotlivé zdroje (zdroj – míra úspěchu/rozptyl – popis):

  • Kopírování konkurence – 41 % / 4 % – ideálně té, která taky AB testuje.
  • Analytika – 41 % / 4 % – kvalitativní data, jakou jsou průchody objednávkou, GA4 statistiky.
  • Archiv předchozích testů – 38 % / 3 % – nápady, které se osvědčily u ostatních klientů.
  • UX výzkum – 35 % / 2 % – kvalitativní výzkum, jako jsou rozhovory, uživatelské testování atd.
  • Psychologické principy – 34 % / 1 % – věci z behaviorální psychologie, jako je ukotvení, nechuť ke ztrátě, social proof.
  • Pocit – 31 % / 2 % – neopřený o žádná data, často od vedení společnosti :).
  • Best practice (Popularita) – 30 % / 0 % – buďto je to úzus nebo renomovaná UX knihovna (NN Group, Baymard).

888 experimentů bylo testováno v obou směrech (two-tail test), na primárních metrikách (předpokládám objednávka / obrat) a se statistickou jistotou 95 a více procent. Data byla očištěná o extrémy (outliers).

Blog-winrates-01-1

Vypadá to, že ideální je kopírovat konkurenci, koukat do čísel, inspirovat se předchozími testy a dělat výzkum. Ano, ale:

  • Kopírujte jen konkurenci, u které víte, že má solidní UX výzkum a AB testuje. To, že AB testuje zjistíte pomocí https://builtwith.com/. A to že nekašle na UX moc nezjistíte. Já rád sleduji weby od kolegy Honzy Junka.
  • U analytiky si dejte pozor na důvěryhodnost dat. Zpravidla narážím na nekompletní implementaci (hlavně eventů) a navíc si GA4 vinou Hyperlog Plus Plus cucá čísla z prstu.
  • U předchozích testů doporučuji vytrvat nad jedním nápadem a „science the shit out“, jak by řekl Mark Watney z filmu Marťan.
  • No a výzkum se rozumí samo sebou. Kdy jste naposledy fyzicky viděli uživatele vlastního webu nebo apky?

Není potřeba, aby byl nápad [na testování] perfektní. Důležité je zjistit, kde je největší potenciál na zlepšení a kde potřebujeme opřít názory o data. Slepě kopírovat [konkurenci] je nesmysl. Ale inspirovat se, upravit to na náš byznys model – to má velký smysl.

Michael St Laurent
managing director, NA
Conversion.com

Kopírování konkurence

Kopírování konkurence doporučuje Ron Kohavi (ex Bing). V jeho dokumentu Sedm pravidel pro webové experimenty zmiňuje, že dává smysl kopírovat přední konkurenty, které dané věci otestovali a nasadili. I kvůli tomu Jakub sleduje velké e-shopové hráče a reportuje výsledky experimentů.

Já jsem na to dokonce měl vyvinutou SaaS aplikaci, a pak Google Optimize – na kterém to bylo postavené – skončil :).

Kopírovat konkurenci je jednodušší než inovovat samostatně. Vlastnosti, které se objevily u konkurence měly větší šanci na úspěch. Ve vyhledavači Bing jsme měli úspěšnost 10–20 %, podobně jako u jiných vyhledávačů. A pokud jsme kopírovali nápady ostatních, tak se tato úspěšnost zvýšila. A fungovalo to i obráceně [ostatní vyhledavače se inspirovali Bingem].

Ron Kohavi
viceprezident
zkušenosti v Airbnb, Microsoft a Amazon

Nápady jednotlivců vs. týmů

Tento výzkum sdílela Lucia van den Brink. Porovnávala nápady, které vymyslel jen jeden člověk vs. nápady celého týmu. Týmové nápady měly o 9 % větší šanci na úspěch. Z mého pohledu hlavně díky různorodosti pohledů.

Blog-winrates-03-1

Lucia zjistila, že 4 z 5 projektů měly větší úspěch při společných nápadech.

Nefungovalo to ale všude. V posledním projektu v grafu měly týmové nápady negativní efekt -35,5 %. Lucia naznačila, že ona tam šla s velkou zkušeností s předchozími nápady na AB testování a klient byl relativně nezkušený co se týče AB testování.

Eric Lang z firmy Optimizely potvrzuje, že demokratizace nápadů vede k lepším výsledkům.

Často vidíme vyšší míru testování a větší úspěšnost u firem, které demokratizují tvorbu nápadů na testování skrz celý byznys. Funguje to v obou směrech – pokročilejší testování je více otevřené nápadům nezávisle na zdroji. A otevření testování všem ve firmě urychluje a posouvá dopředu testování jako takové.

Eric Lang
senior strategy at Optimizely

Zdroje nápadů a úspěšnost

Ve firmě Further si udělali analýzu 102 experimentů (s jistotou minimálně 90 %). Uvádím vždy zdroj nápadu – násobek – popis. Rozdělili si nápady na:

  • Předchozí AB testy – 4,23× – iterování předchozího experimentu.
  • Behaviorální analýza – 3,97× – identifikuje problém a odhadne míru zlepšení.
  • Porovnání s konkurencí – 2,16× – na co jsou uživatelé zvyklí z ostatních webů.
  • Heatmapy/Videa uživatelů – 1,74× – koukání na to, kam lidi klikají a jak se pohybují na webu.
  • Kontrolní seznam (heuristika) – 1,64× – obecný výzkum nad celým odvětvím.
  • Uživatelský výzkum – 1,33× – obavy, strachy a bolesti uživatelů.
  • Pocit – 1× – každý nějaký máme.
Blog-winrates-05

Z tabulky vidíme, že zkoušení dalších nápadů u předchozích AB testů dává největší šanci na úspěch. Což se hezky shoduje s první tabulkou. Nejhorší je naopak řídit se pocity.

Jak moc pomáhá analytika a heatmapy

Optimizely nedávno publikoval studii, kde analyzovali 127 000 experimentů (chystám na to samostatný článek). Porovnávali efektivitu experimentů s heatmapami, analytikou nebo žádnými daty(?). Analytikou je v reportu myšleno možnost vytvářet si segmenty kvůli identifikaci potenciálních problémů. Analyzovali 1000 experimentů.

Blog-winrates-06-1

S analytikou byly nápady úspěšnější o 32 %, s analytikou a heatmapami o 48 % úspěšnější.

Co si z toho vzít

Pro mě je největší překvapení inspirace konkurencí. Donedávna jsem říkal nekopírujte konkurenty, taky neví, co dělají. Napsal jsem i článek v čem (ne)kopírovat Alzu. Takže ústy naštěstí ex-prezidenta Zemana: „Jen blbec nemění názory,“ se vám tímto omlouvám a říkám: kopírujte ty správné konkurenty.

Nejmenší šanci na úspěch máte, když používáte málo zdrojů informací. Nápady jen jedné osoby, testování na základě pocitů, neděláte výzkum a nekoukáte do analytiky.

Naopak největší šanci máte, když používáte co nejvíce zdrojů dat:

  • nápady od více různých lidí ve firmě (zlatý důl je zákaznická podpora),
  • inspirace konkurencí, která testuje,
  • analytiku a mousetracking,
  • výzkum a předchozí AB testy,
  • checklisty (pokud jste je ještě nikdy nepoužili).

No a pokud se vám do toho nechce, tak si u mě můžete objednat UX audit.

Související články

Funnel-visualisation-eshop

Jak si mrvíte data v Google Analytics

Success

Jak měříte úspěch? A mohl bych ho vidět?

Amazon

Patenty Amazonu a budoucnost nakupování

Tak za kolik? 6 principů, jak dosáhnout vyšší ceny

Smysluplná debata