Laske, kuinka paljon liikennettä ja aikaa A/B-testisi vaatii tilastollisesti merkitseviin tuloksiin.
Liian lyhyt testi tuottaa epäluotettavia tuloksia. Liian pitkä testi hidastaa oppimista. Tämä laskuri auttaa löytämään oikean tasapainon.
Jos etsit vain suuria voittoja, 20-30% MDE riittää ja nopeuttaa testiä huomattavasti.
Ohjaa enemmän liikennettä testattavalle sivulle kampanjoilla tai sisäisillä linkeillä.
Sivut, joilla on jo korkea konversio, vaativat pienemmän otoskoon.
Nopeissa iteraatioissa 90% riittää usein. 95% on standardi, 99% harvoin tarpeen.
"Voittaja" näyttää selvältä jo ensimmäisenä päivänä? Odota silti. Varhaiset tulokset ovat usein harhaanjohtavia.
1-2% muutoksen havaitseminen vaatii valtavan otoskoon. Keskity ensin suuriin voittoihin (10-20%+).
Testaa yhtä asiaa kerrallaan. Jos muutat otsikon JA kuvan JA napin, et tiedä mikä vaikutti.
Aja testi vähintään viikon yli, jotta viikonpäivävaihtelut tasoittuvat. Vältä testaamista juhlapyhien aikaan.
Tilastollinen merkitsevyys kertoo, kuinka todennäköisesti näin suuri ero syntyisi pelkästä sattumasta. 95 %:n taso tarkoittaa: jos versioiden välillä ei todellisuudessa olisi eroa, näin suuri tai suurempi ero syntyisi sattumalta enintään 5 %:ssa testeistä.
Testin kesto riippuu liikenteestä, nykyisestä konversiosta ja halutusta MDE:stä. Yleensä vähintään 1-2 viikkoa, jotta saadaan tarpeeksi dataa ja huomioidaan viikonpäivävaihtelut.