Laske, kuinka paljon liikennettä ja aikaa A/B-testisi vaatii tilastollisesti merkitseviin tuloksiin.
Liian lyhyt testi tuottaa epäluotettavia tuloksia. Liian pitkä testi hidastaa oppimista. Tämä laskuri auttaa löytämään oikean tasapainon.
Jos etsit vain suuria voittoja, 20-30% MDE riittää ja nopeuttaa testiä huomattavasti.
Ohjaa enemmän liikennettä testattavalle sivulle kampanjoilla tai sisäisillä linkeillä.
Sivut, joilla on jo korkea konversio, vaativat pienemmän otoskoon.
Nopeissa iteraatioissa 90% riittää usein. 95% on standardi, 99% harvoin tarpeen.
"Voittaja" näyttää selvältä jo ensimmäisenä päivänä? Odota silti. Varhaiset tulokset ovat usein harhaanjohtavia.
1-2% muutoksen havaitseminen vaatii valtavan otoskoon. Keskity ensin suuriin voittoihin (10-20%+).
Testaa yhtä asiaa kerrallaan. Jos muutat otsikon JA kuvan JA napin, et tiedä mikä vaikutti.
Aja testi vähintään viikon yli, jotta viikonpäivävaihtelut tasoittuvat. Vältä testaamista juhlapyhien aikaan.