ILINČEV 
Jsem naštvaný. Na sebe, na programátora a trochu i na klienta.
Máme konfigurátor produktu, a první krok nedává smysl. Nemůžu říct, co to je, tak dám příklad:
Vybíráte si auto. A první, na co se vás to zeptá je druh převodovky. Převodovek je 7 a vypadají všechny stejně. Klient argumentuje tím, že je to tak nastavené, že programátor je tvrdohlavý a že změna je příliš složitá a drahá.
Beru jako svoje selhání, že jsem nedokázal klienta přesvědčit o změně. A že se mu to vyplatí. Ale nevzdávám to :).
Většina vašich nápadů nestojí za nic
Mých taky. A je to normální.
Průměrná úspěšnost testovaných nápadů je 10–20 % podle Ronnyho Kohaviho. To znamená, že z 10 nápadů jsou jen 2 rozumné a pomůžou vám zlepšit podnikání.
Tady je úspěšnost AB testů ve velkých firmách:
A podotýkám, že určitě nejedou systémem házení špaget na stěnu a zjišťování, která se přilepí. Mají svoje vlastní výzkumná oddělení a datové analytiky.
Příliš nápadů, a tak málo času
Nápadů budete mít vždy víc než času a kapacity je implementovat. Já doporučuji si nápady:
- zapisovat do sdíleného dokumentu,
- ptát se všech lidí ve firmě.
Věděli jste, že nápad od zákaznické podpory má 2× větší šanci na úspěch než nápad z managementu?
OK, tak předpokládejme, že máte 20 nápadů, jak zlepšit (on-line) byznys. A co teď s tím?
Můžete zkusit intuici, můžete se zeptat odborníka, můžete zkopírovat konkurenci. Ale to je jen o trochu lepší než si hodit kostkou.
Ideální je mít systém, jak nápady třídit na dobré a špatné
Což je trochu hraběcí rada.
Na konci tabulky to vynásobíte a seřadíte od největšího po nejmenší.
Ale zvlášť u toho potenciálu je to věštění z koule.
Itamar Gilad k tomu udělal hezký graf, tak ho tady házím do češtiny.
Příklad: Máte dva nápady
Máte CRM software na podporu zákazníků. A na stole dva nápady:
- Dashboard – přehledný panel s důležitými statistikami a trendy.
- Chatbot – pro automatizaci běžných požadavků od klientů.
Pár zákazníků to chtělo, managementu se to líbí, ale bojíte se, že to budou používat jen „power-users“.
Pojďme si to rozpitvat na:
- ICE prioritizaci
- Míru jistoty
- Průběžné ověření
Krok 1: ICE prioritizace
Máte 3 vlastnosti, které potřebujete oskórovat od 1 do 10.
- Impact (dopad) – odhad, jak moc se klíčová metrika (obrat, počet leadů) zlepší.
- Confidence (důvěra) – míra jistoty v daný nápad
- Ease (snadnost implementace) – jak dlouho potrvá to vytvořit
Takže pojďme na to.
- Impact – u dashboardu si myslíte, že to zvýší retenci zákazníků, ale bojíte se, že jen části uživatelů. Tak tomu dáte 5 bodů. U chatbota si myslíte, že to výrazně sníží vytížení zákaznické podpory, tak tomu dáte 8 bodů.
- Confidence – u dashboardu se na to ptalo pár zákazníků, takže to je 0,5 bodů. U chatbota je to spíš přání managementu a nemáte pro to moc dalších dat, takže tam je to 0,1 bodů.
- Ease – dashboard zabere 10 týdnů, chatbot 20. Z tabulky níže z toho vypadává 4 respektive 2 body.
Výsledná tabulka vypadá takto:
Dashboard vypadá výrazně lépe, ale máte příliš málo dat pro kvalifikované rozhodnutí.
Krok 2: Ověření a proveditelnost
Pobavíte se s programátory, UXáky a zkusíte si rozplánovat oba nápady.
Programátoři vám upraví původní odhad pracnosti, vy si spočítáte návratnost a vychází z toho následující čísla:
Po druhém kole to vypadá na remízu, ale pořád si ty čísla trochu cucáte z prstu.
Krok 3: Dotazník
Pošlete zákazníkům dotazník a zeptáte se jich na top 5 nových funkcí (vč. chatbota a dashboardu). Zákazníci chtějí chatbota jako č. 1 a dashboard jako č. 3. Z toho vám vychází:
Vypadá to, že chatbot vede. Takže se do toho pustíte? Ne tak docela. Je to velký projekt za hodně peněz a dat na solidní rozhodnutí málo.
Uživatelé často nejsou schopni odhadnout svoje budoucí potřeby.
Jak říkal Henry Ford: „Pokud bych se lidí zeptal, co chtějí, řekli by rychlejší koně.“
Krok 4: Uživatelský výzkum
Vytvoříte z obou nápadů interaktivní prototypy a ukážete to 10 stávajícím zákazníkům.
Navíc obvoláte 20 účastníků dotazníkového šetření, co si přáli chatbota/dashboard.
- 8 lidi z 10 přijde dashboard užitečný a používali by ho alespoň jednou týdně. Lidi chápou funkce stejně jako vy a tel. dotazování toto potvrdilo.
- 9 lidí z 10 by používalo chatbota. Jsou nadšení. Testování prototypu ukázalo problémy s použitelností a někteří zákazníci se obávají, že přijdou o lidskou komunikaci s klienty, což je odrazuje.
Na základě zpětné vazby to vypadá, že se lidem líbí dashboard a že chatbot je spíš riziková sázka s velkým potenciálem. Navíc to vypadá, že chatbot bude vyžadovat víc práce na grafice a AI.
Výsledná tabulka vypadá takto:
Vypadá, že dashboard je vítěz. Chcete si ale nechat na stole obě karty, takže to otestujete.
Krok 5: Prototyp (MVP) a testování
Rozhodnete se vytvořit prototypy pro oba nápady. Chatbot trvá 6 týdnů, ukážete ho 200 uživatelům. 167 si chatbota aktivuje, ale po dvou týdnech ho používá jen 24 uživatelů.
V navazujících průzkumech se ukazuje, že chatbot je mnohem méně užitečný a odhání zákazníky, kteří chtějí osobní přístup. A dopracování chatbota do užitečného stavu vám programátoři odhadují na 40–50 týdnů.
Prototyp dashboardu vytvoříte během 5 týdnů a ukážete 200 uživatelů. Funkci používá 87 % účastníků, mnoho z nich denně. Zpětná vazba je pozitivní a uživatelé chtějí další funkce.
Takto vypadá konečná prioritizační tabulka:
V tuto chvíli máte jasno – dashboard.
Co si z toho vzít?
- Většina vašich nápadů bude špatná
Budou vás stát čas a peníze a nepovedou ke zlepšení. - Nápady ověřujte na klientech co nejdříve
Jediný způsob, jak oddělit zrno od plev je testovat a snižovat nejistotu. - Starejte se o výsledky, ne o výstupy
Tohle vypadá jako super složitý způsob, jak vytvářet produkt. Ale ve výsledku vám ušetří hodně zbytečného úsilí. - Zapojte co nejvíc lidí co nejdřív
Čím dřív se nějaký nápad ukáže jako špatný, tím víc kapacit vám zbyde na ty dobré.
P. S.: Dvě písmenka z ICE jsou pořád dost dojmologie. Pokud to chcete zlepšit, tak zapojte další pohledy:
- Předchozí výsledky AB testů – některé nápady jsou historicky lepší
- Hodnotu stránky (page value) v GA3 – jak stránka přispívá k celkovému obratu
- Ověření na uživatelích – celý uživatelský výzkum
Zdroje:
https://www.quora.com/What-is-your-percentage-of-successful-a-b-tests-or-experiments-out-of-all-performed-so-far-as-a-product-manager
https://www.oliverpalmer.com/blog/most-ab-tests-fail/
https://itamargilad.com/the-tool-that-will-help-you-choose-better-product-ideas/
https://goodui.org/blog/beyond-opinions-about-opinions-real-a-b-test-prediction-rates-from-70-000-guesses/
https://towardsdatascience.com/what-can-be-learned-from-1-001-a-b-tests-361a4b6e40a7
https://www.linkedin.com/posts/jlinowski_experimentation-replication-falsification-activity-6979857228933591040-jTvI/
Smysluplná debata