Revolut Pop-up A/B Test Dashboard

Sledujte výkonnost jednotlivých variant a optimalizujte konverze

Metoda analýzy

Vyberte statistickou metodu pro vyhodnocení A/B testu

Režim alokace trafficu

Thompson Sampling dynamicky přiděluje více návštěvníků lepším variantám

Celkem zobrazení

3,650

Celkem kliků

265

CTR

7.3%

Conversion Rate

14.7%

Vývoj konverzních poměrů v čase

14. 2.15. 2.16. 2.17. 2.18. 2.19. 2.20. 2.21. 2.22. 2.23. 2.24. 2.25. 2.26. 2.27. 2.28. 2.1. 3.2. 3.3. 3.4. 3.5. 3.6. 3.7. 3.8. 3.9. 3.10. 3.11. 3.12. 3.13. 3.15. 3.05101520Conversion Rate (%)
  • Varianta A (Banner)
  • Varianta B (Text)
  • Varianta C (Minimal)

Posteriorní distribuce konverzních poměrů

Beta distribuce ukazují pravděpodobnostní odhad skutečného konverzního poměru pro každou variantu. Širší křivka = větší nejistota, užší křivka = větší jistota.

0%25%50%75%100%Konverzní poměr036912Hustota pravděpodobnosti
  • Varianta A (Banner) (α=13, β=74)
  • Varianta B (Text) (α=19, β=85)
  • Varianta C (Minimal) (α=10, β=70)

Interpretace: Křivka posunutá doprava = vyšší konverzní poměr. Užší a vyšší křivka = větší jistota v odhadu (více dat). Překrývající se křivky = varianty jsou si podobné.

Porovnání variant

Varianta A (Banner)

Traffic: 32.6%

Zobrazení

1,250

Kliky

85

CTR

6.8%

Konverze

12

Conv. Rate

14.1%

Statistická významnost

Kontrolní varianta

95% CI

6.7% - 21.5%

Bayesovská analýza

Neutrální

P(nejlepší)

24.3%

Oček. ztráta

4.39%

95% Cred. Int.

8.4% - 23.1%

Střední hodnota

14.9%

⏳ Pokračujte v testování pro jasnější výsledky

Varianta B (Text)

Traffic: 40.7%

Zobrazení

1,180

Kliky

102

CTR

8.6%

Konverze

18

Conv. Rate

17.6%

Statistická významnost

Není významné

95% CI

10.2% - 25.0%

Z-score

0.65

P-value

0.5126

Min. vzorek

1,678

Není významné (p ≥ 0.05)⚠️ Potřebujete ještě 1,576 kliků pro validní závěry

Bayesovská analýza

Vede (67%)

P(nejlepší)

66.6%

Oček. ztráta

1.10%

95% Cred. Int.

11.6% - 26.1%

Střední hodnota

18.3%

🔍 Mírně vede, ale rozdíly nejsou jasné

Varianta C (Minimal)

Traffic: 26.6%

Zobrazení

1,220

Kliky

78

CTR

6.4%

Konverze

9

Conv. Rate

11.5%

Statistická významnost

Není významné

95% CI

4.4% - 18.6%

Z-score

-0.49

P-value

0.6234

Min. vzorek

2,632

Není významné (p ≥ 0.05)⚠️ Potřebujete ještě 2,554 kliků pro validní závěry

Bayesovská analýza

Neutrální

P(nejlepší)

9.1%

Oček. ztráta

6.85%

95% Cred. Int.

6.2% - 20.5%

Střední hodnota

12.5%

⏳ Pokračujte v testování pro jasnější výsledky

Doporučení

Nejlepší varianta: Varianta B (Text)

Tato varianta má nejvyšší conversion rate (17.6%). Doporučujeme zvýšit traffic allocation na tuto variantu.

Automatická optimalizace

Traffic weights jsou automaticky upravovány na základě conversion rates. Varianta s vyšší conversion rate dostává více zobrazení.