42stupňové horečky a A/B testování

Minulý rok byl peklo

Začalo to v listopadu. Mojí dceři Mie spadla brada do polévky. Tak jsme se tomu zasmáli a dali jí do postele.

Tam už se začala cukat, chrčet a upadat do bezvědomí.

„A doprdele,“ řekl jsem si. Epilepsie. Máme to v rodině.

Takže 155, sanitka a nemocnice. Nejhorších 7 dní mého života. Nakonec to byly křeče z horečky.

Mohli mi ale v nemocnici říct, že febrilní a fibrilní jsou dvě různé věci. Pár dní jsem žil v tom, že má dcera něco se srdcem.

Po příjezdu domů a pořádném jídlu řekla Mia: „Mňam. Doma. Radost.“

Přiznám se, že jsem se rozbrečel.

Následující rok byl náročný. Co 6 týdnů horečky, oblbováky, vstávání v noci po hodině.

V práci jsem se nemohl soustředit, efektivita šla do háje.

Zlepšení

V létě jsme byli u náhradní doktorky. Mia měla takovou teplotu, že to nezměřil ani teploměr.

Paní doktorka Veverkova, ke které jsem chodil jako malý kluk, doporučila zchlazovací koupele a prvotní kravské mléko (kolostrum).

A jelikož jsme byli už zoufalí, tak jsme zkusili i alternativní čínskou medicínu.

A ono to pomohlo!

Mia je sice nemocnější, než normální dítě. Ale jak říkám já, je normálně nemocná.

A v té chvíli mi to začalo vrtat hlavou. Co jí pomohlo? Bylo to to kolostrum nebo ta alternativní medicína. Nebo to s tím vůbec nesouviselo? Co když jí jedna věc pomohla a druhá uškodila?

Já to prostě vím

Něco trochu podobného řeším s klienty. Mají svoje dítě v podobě firmy a často řeší web.

Většinou přichází s pocitem, že by to mohlo být lepší, ale nevědí přesně jak.

Rozhovor má poměrně standardní průběh.

Klient: „Potřebujeme nový web.“

Já: „Jak to?“

Klient: „Tenhle nefunguje/je ošklivý/mě už nudí.“

Já: „To vám řekli zákazníci?“

Klient: „Já to prostě vím.“

Já: „A co na webu nefunguje?“

Klient: „No to právě nevím. To je vaše práce, ne?“

Já: „Tak určitě.“

Samozřejmě trochu přeháním. Na druhou stranu jsem si jistý, že až na naprosté výjimky (placení přes Gumroad) může být jakýkoliv web lepší.

Co je to lepší

Lepší znamená, že vám bude víc vydělávat.

A to je všechno.

Nemusí být hezčí, někdy ošklivější web je ten správný (podívejte se na Craigslist).

Pravděpodobně bude ale uživatelsky příjemnější, jednodušší, přehlednější.

Důležité je slovo pravděpodobně.

Funguje tu klasicky Paretovo pravidlo (80/20). Máte 80% šanci, že na vašem webu budou fungovat „best practices“.

Křišťálová koule

Problém je, že i po 17 letech praxe jsem jen o trochu kvalifikovanější než vy v odhadu, co bude fungovat. Ano, je to trochu smutné, ale tohle je fakt. A to na to mám 6 certifikací a každý den se hodinu dvě vzdělávám.

Kdybych s jistotou věděl, co změnit, tak lezu po horách, cestuju, a pracuju jeden den v měsíci za šílené peníze.

I poté, co udělám kompletní heuristickou analýzu, pobavím se ze zákazníky, udělám uživatelské testování, prolezu analytics, podívám se na mousetracking a videa uživatelů mám jen rámcovou představu, kde by mohl být problém.

Peep Laja tomu říká areas of interest. Místa s potenciálem tomu říkám já.

A nebo B

S klientem proberu analýzu a logická tendence je to jít hned změnit. „Krása, tak já to předám k implementaci,“ říká klient.

V tu chvíli se zamračím se slovy: „Ne.“

Klient: „Proč ne? Vždyť to všechno vypadá tak logicky a máme to na základě dat.“

Já: „Protože jsou to pořád jen domněnky. Musíme každou tu změnu otestovat.“

Klient: „A jak dlouho to potrvá?“

Já: „2 až 4 týdny, pokud máte dostatečnou návštěvnost a navrhovaná úprava je dostatečně odlišná.“

Klient: „A nemůžeme to změnit všechno a pak to otestovat?“

A tohle je, vážení, otázka za milion dolarů.

Tedy spíš 300 milionů, jako v případě jednoho tlačítka.

Jen jedna věc

Pokud udělám na vašem webu 5 změn, tak nevím, která změna jak ovlivnila výsledek.

A je v zásadě jedno, zda to byl nárůst, propad nebo šulnul.

Je klidně možné, že celkový výsledek byl nijaký. Jedna změna vám zlepšila obrat o 47 %, a zbylé 4 vám to stáhly zase na nulu. A to nemluvím o tom, že to může být úplně jinak pro nové návštěvníky nebo pro lidi, co na to koukají na tabletu.

Vezmu příklad z praxe.

Máme klienta, který podniká v cestovním ruchu. Na webu má 5 produktů a jeden objednávkový formulář. Po přemlouvání jsem udělal najednou 3 změny:

  • přidal k políčku mobil předvolbu (fůra uživatelů vyplňovala mobil bez ní),
  • začal testovat kalendář, kde ve variantě byly plně obsazené dny zašedlé a nedostupné,
  • lépe zacílil a zoptimalizoval PPC kampaň.

Všechno jsou to změny logické. Nicméně po týdnu se ukázalo, že obrat spadl o 20 %. Takže jsem vrátil všechny změny, podíval se na 50 videí uživatelů a začal se vrtat v datech. A zjistil jsem, že to byl náhodný výkyv, a že se to po týdnu zase vrátilo na původní hodnotu.

Což je sice úsměvné, ale hororových příběhu s redesignem webu a následném poklesu obratu je dost a dost.

Podle mého klasickým redesignům odzvonilo. Půjde se metodou evoluce a rychlých drobných kroků, které budou vždy otestované a validované. Amazon například jede 100 souběžných testů. Pořád.

A co z toho plyne?

Až to budete chtít příště vzít od podlady, tak to berte pěkně parketu po parketě.

A než začnete, tak musíte:

  • udělat pořádnou analýzu,
  • seřadit si změny podle důležitosti (PIE model),
  • a AB testovat vždy jen jednu věc!
ja-a-mia

Já a Mia

 

Související články

,

Trackbacks/Pingbacks

  1. 10 fuckupů za 20 let podnikání | GeoBusiness - 1. říjen 2018

    […] první článek byl o 42stupňových horečkách dcery Mii a A/B testování. Posílal jsem to 213 kontaktům – klientům, kamarádům a známým. Odhlásilo se jich […]

Napsat komentář

Powered by WordPress. Designed by WooThemes