Co jsem se naučil po 100 A/B testech

Můj vůbec první článek byl o A/B testování (a 42stupňových horečkách). Tak jsem si říkal, že po dvou letech – a 100 A/B testech – bych se mohl ohlédnout zpátky.

Testuji rád. A neomezuji to na weby. Nedávno jsem byl na fajn UX/CRO konferenci pořádané Honzou Kaliankem a dali jsme se do řeči s pár účastníky (David Kočí, Lukáš Marvan, UXák z Lundegaardu, jehož jméno si nepamatuji, protože jsem vůl).

Wim Hof

A zatímco Lukáš básnil o výhodách mikrospánku (10 minut v práci) namísto kafe, tak my jsme s Davidem zjistili, že jedeme oba metodu Wima Hofa. Je to systém dýchání, cvičení a otužování, které vám dramaticky zvyšuje imunitu. Wim Hof drží asi 25 Guinessových rekordů spojených s extrémním chladem. Takže například vydrží 80 minut v ledu, aniž se mu sníží vnitřní teplota nebo si jen v šortkách vyskotačí na Kilimandžáro. Případně si nechá píchnout virus, který způsobuje vysokou horečku, migrénu a třas a díky dýchání a meditaci jej zničí. A učí to ostatní, které například v zimě v šortkách bere na Sněžku.

No a pak jsme si dali pár piv a řekli si, že to s Davidem dáme.

Takže já teď to cvičení beru jako A/B testování vlastního těla. A výsledky jsou po dvou týdnech hodně zajímavé. Zkouším aplikovat podobný systém, jako štíhlý Japonec, co se rozhodl zvítězit v pojídání hotdogů.

8 zjištění po absolvování 100 A/B testů

Na rozdíl od dvou týdnů zkušeností s otužováním, mám těch s A/B testováním trošku víc. A po čase se objevují určitá zjištění. Takže bych je rád shrnul, abych vám pomohl na cestě k lepšímu A/B testování.

schéma A/B testování

Ještě k tomu, co je to A/B test. Ukážu to na příkladu. Máte webovou stránku (A). Uděláte druhou variantu téže stránky (B). Rozdělíte rovnoměrně návštěvníky a pošlete půlku návštěv na verzi A a půlku na verzi B. Zjišťujete, která verze je efektivnější (více objednávek, větší obrat, více přihlášení atp.).

1. Občas se to nepovede

Dej mi hop

Podle VWO, Appsumo a dalších přináší jen 1 z 8 testů pozitivní výsledek. Fakt je ten, že pokud tomu trochu rozumíte, tak se tahle nehezká statistika výrazně zlepšuje. A pokud jste špičkový CRO expert, tak byste měl mít úspěšnost 1 ku 2.

Většinou jste v jedné z těchto fází:

  1. Testujete blbosti a nemáte výsledky.
  2. Začnete mít systém a občas se vám něco podaří.
  3. Dostanete se k maximu tím, že opravíte a otestujete největší chyby
  4. Pak vaše úspěšnost klesne s tím, že optimalizujete systém, který už je v zásadě v pořádku.
  5. Přesouváte se od testování prvků na stránce k testování celých stránek a procesů.

Což pořád znamená, že budete mít více neúspěšných A/B testů, než těch úspěšných. A je to tak v pořádku. Důležité ale je, aby to věděl i klient.

2. Očekávání klientů

Dvacetirožec

Web je plný případových studií, kde jsou nárůsty v desítkách i stovkách procent. Takže klienti automaticky očekávají, že podobných výsledků budete soustavně dosahovat i vy. Musíte je upozornit, že se dívají na jednorožce.

Peep Laja odhaduje, že:

  • pokud jste nikdy nic netestovali, tak celkový roční nárůst obratu bude 30-100 %, a
  • pokud už jste nějakou optimalizací prošli, tak 10-30 % za rok.

A to počítejte, že uděláte 1-2 testy měsíčně. Když si to spočtete, tak 24 testů, z toho 8-10 úspěšných a každý vám zvýší konverzi o jednotky či nízké desítky procent. Někdy se zadaří, ale berte to jako bonus.

Takže buďte ve slibech klientům opatrní. Jinak to bude obdobné zklamání, jako při sundání extra push-up podprsenky.

3. Nemám křišťálovou kouli

věštec

Hodně klientů si myslí, že mám křišťálovou kouli. A že všechno, co jim doporučím, bude na 100 % fungovat. A jelikož o tom vím, tak už jim doporučení rozděluji na:

  1. JFDI (tzv. Just Fucking Do It) seznam
  2. seznam A/B testů.

Na rozdíl od většiny UXáků neříkám na všechno „to záleží“, a jdu se svou kůží na trh. Protože klienta tahle odpověď jen vytočí. Takže se oháním Paretovým pravidlem (80/20) a mým oblíbeným: „Dělejte inteligentní chyby rychle„. I proto se mi tak líbil rozhovor majitele Footshopu na Mladý Podnikatel.

4. 80 % úspěchu je pořádná analýza

analýza

Úspěšnost svých A/B testů nejvíce zvýšíte tím, že 80 % času strávíte pořádnou UX & CRO analýzou. Za těch bezmála 20 let se mi osvědčily následující nástroje a postupy:

  1. hloubkové rozhovory s klientem a jeho zákazníky
  2. analýza Google analytics
  3. analýza pohybu myši
  4. pětisekundový test – test prvního dojmu
  5. analýza on-line chatu, call centra, obchodníků
  6. rychlé uživatelské testování
  7. analýza konkurence
  8. analýza videí uživatelů
  9. UX checklist (pro e-shop, pro mobilní verze e-shopu)
  10. rychlost webu

Těch kroků může být samozřejmě víc, ale tohle je takové minimum, ze kterého nerad slevuji.

5. Někdy testovat prostě nemůžete

Testovat nemůžete, pokud to není technicky možné. Buďto nemáte dost konverzí (minimum je 200 za měsíc) nebo to technicky nejde (implementace, citlivá data) nebo to neprojde přes vedení.

Objektivně jediný důvod je malá návštěvnost / počet konverzí. Protože pokud vám z kalkulačky délky testu vyjde cokoliv nad 6-8 týdnů, tak testovat nedává smysl. Kvůli tzv. sample-polution (měnící se vzorek uživatelů) a opportunity costs (ušlý zisk – ten se dá zmenšit pomocí multi-arm bandit algorytmů).

Tady je článek o tom, co dělat, když nemáte dost návštěvnosti a chcete zlepšit UX a konverze.

6. Musíte v tom mít systém

 

ResearchXL systém

Dlouhodobá optimalizace nejde bez toho, aniž máte plán na testování. Pokud chcete opravdu výrazně změnit podnikání klienta k lepšímu, dříve nebo později začnete místo velikostí obrázků a úprav košíku řešit celý business.

Například jak vymyslet konkurenční výhodu, jak zapojit marketing do optimalizace, jak propojit off-line a on-line, jaký sortiment přidat, kam expandovat do zahraničí atd.

Systémů je fůra, mně se osvědčil ten od ConversionXL.

7. Musíte rozumět statistice

Dilbert a statistika

V tomhle mám výhodu, protože když něco nevím, tak volám Petra Bláhu.

Nemusíte na to mít doktorát, ale je dobré chápat statistickou jistotu, false positives, p-value, průměr, medián, vzorek. Omlouvám se za tu angličtinu, ale já to v češtině neumím.

Hlavní je si počkat na statisticky validní výsledek (ideálně 95% jistotu) a předem si spočítat délku testu.

Protože jak říkal Lukas Vermeer z Booking.com na minulém Marketing Festivalu. Čím častěji se díváte na výsledky A/B testů, tím větší je pravděpodobnost, že zvolíte špatnou variantu.

Tady je vysvětlení statistiky A/B testu pro nematematiky.

Ideální je nespoléhat se na jeden nástroj. Já vždy výsledky v A/B testovacím programu pro jistotu ještě kontroluji v Google Analytics.

Navíc – a to vám nikdo neřekne – to, že vám vyjde výsledek v A/B testu ještě neznamená, že to tak bude v reálu. Brian Masey má pravidlo, abyste výsledek v A/B testu vydělili dvěma a to považovali za reálný přínos po nasazení do ostrého provozu.

Tady je graf výsledků A/B testů (osa X) a jejich reálný přínos (osa Y). A ano, je tam špatně zaznačený přínos na produkci v pravé části.

výsledky AB testů a reálný přínos

Tady vidíte, že může být test, který dopadne „blbě“ a při tom má pozitivní přínos při reálném nasazení (levý horní kvadrant). Vy byste se měli hlavně bát pravého spodního kvadrantu.

8. Co častěji funguje v optimalizaci konverzí

Mark Twain

Žádná změna není stoprocentní. Ze zkušeností je ale pár věcí, které mají velkou šanci na úspěch. Takže jimi začněte nebo se alespoň inspirujte v A/B testech.

  1. Konkurenční výhoda
    Pokud uživateli srozumitelně nezodpovíte otázku, proč by měl koupit zrovna u vás, tak jste v pytli.
  2. Přehlednost a pochopitelnost
    Všechno od přehledné produktové stránky po neschovávání navigace do hamburger menu na desktopu.
  3. Rychlost webu
    Tady nemůžete udělat chybu, všichni mají rádi rychlejší stránky. Navíc tím zvýšíte konverzi.
  4. Méně zbytečných formulářových polí
    Ptejte se jen na to, co nutně potřebujete. Něco si zjistěte sami (zemi, předvolbu). Prostě zlepšete formuláře.
  5. Viditelný kontakt
    Zvyšte důvěru a případné problémy řešte po telefonu nebo chatu.
  6. Důvěryhodný ohlas zákazníků
    Před jakýmkoliv obchodem musíte vybudovat důvěru.
  7. Objednání bez registrace
    A přidejte přihlášení přes facebook, většina (77 %) lidí to ocení.

Kluci z Baymardu srovnali 50 nejlepších e-shopových košíků a vítězný košík má B & H Photo.

 

Powered by WordPress. Designed by WooThemes