Mitä A/B-testaus tarkoittaa?
A/B-testaus on kokeilu, jossa käyttäjät jaetaan satunnaisesti kahteen ryhmään: toinen näkee nykyisen version (A) ja toinen muutetun version (B). Koska ryhmät eroavat vain muutoksen osalta, niiden tulosten ero kertoo, mitä muutos sai aikaan.
A/B-testillä ratkaistaan kiista siitä, toimiiko muutos. Mielipiteen sijaan päätös perustuu siihen, miten oikeat käyttäjät käyttäytyivät.
Suomeksi: A/B-testaus, AB-testaus, vertailutestaus
Englanniksi: A/B testing, split testing, online controlled experiment
A/B-testi lyhyesti
| Osa | Mitä se tarkoittaa |
|---|---|
| Kontrolli (A) | Nykyinen versio, johon muutosta verrataan |
| Variantti (B) | Versio, jossa on yksi testattava muutos |
| Satunnaistus | Jokainen käyttäjä arvotaan ryhmään, ja hän näkee saman version joka käynnillä |
| Päämittari | Yksi etukäteen valittu mittari, esimerkiksi konversioaste tai tilauksen keskiarvo |
| Otoskoko | Käyttäjämäärä, joka tarvitaan, jotta tavoiteltu ero erottuu satunnaisvaihtelusta |
| Merkitsevyystaso | Raja sille, kuinka suuren sattuman riskin hyväksyt, tyypillisesti 5 % |
Microsoftin tutkijat kuvaavat Bingin koeympäristöä artikkelissa Online Controlled Experiments at Large Scale (Kohavi ym., KDD 2013): käyttäjät jaetaan varianteille satunnaisesti ja pysyvästi, eli sama käyttäjä saa saman kokemuksen jokaisella käynnillä. Bingissä oli artikkelin mukaan samanaikaisesti käynnissä yli 200 koetta. (lähde, PDF)
Esimerkki: kassasivun painike
Verkkokaupan kassasivulla on painike "Jatka maksamaan". Hypoteesi: kun painikkeen yläpuolelle lisätään toimitusaika, useampi kävijä tekee tilauksen.
- Hypoteesi: Toimitusajan näyttäminen nostaa kassasivun konversiota, koska epävarmuus toimituksesta vähenee.
- Mittari: Tilauksen tehneiden osuus kassasivulle tulleista.
- Jako: 50 % kävijöistä näkee nykyisen sivun (A), 50 % sivun, jossa toimitusaika näkyy (B).
- Kesto: Niin pitkään, että otoskoko täyttyy, ja vähintään yksi täysi viikko, jotta arki- ja viikonloppukäytös ovat molemmat mukana.
- Päätös: Jos B on parempi ja ero on tilastollisesti merkitsevä, B otetaan käyttöön kaikille. Jos ei, kirjaa havainto ja testaa seuraava hypoteesi.
Kuinka monta käyttäjää A/B-testi tarvitsee?
Otoskoko riippuu kahdesta asiasta: nykyisestä konversiosta ja siitä, kuinka pienen eron haluat havaita. Mitä pienempi ero, sitä enemmän käyttäjiä tarvitaan, ja suhde on neliöllinen. Kohavi ym. (2013) antavat esimerkin: jos haluat havaita kymmenen kertaa pienemmän eron (5 %:n sijaan 0,5 %), tarvitset 10² eli 100 kertaa enemmän käyttäjiä.
| Nykyinen konversio | Haluttu ero | Käyttäjiä per ryhmä (n.) |
|---|---|---|
| 4,0 % | 4,0 % → 4,8 % (+20 %) | 10 000 |
| 4,0 % | 4,0 % → 4,4 % (+10 %) | 39 000 |
| 4,0 % | 4,0 % → 4,2 % (+5 %) | 154 000 |
Luvut on laskettu samalla kaavalla kuin sivuston A/B-testilaskuri: 95 %:n merkitsevyystaso ja 80 %:n tilastollinen voima. Puolet pienempi ero vaatii noin nelinkertaisen otoksen.
Käytännön seuraus: pienellä liikenteellä kannattaa testata isoja muutoksia, kuten koko tarjousta, hinnoittelua tai sivun rakennetta. Napin värin kaltaiset pienet muutokset vaativat otoksen, jota pienellä sivustolla ei ole.
Miten tulosta tulkitaan?
- Tilastollisesti merkitsevä tulos 5 %:n tasolla tarkoittaa: jos versioiden välillä ei todellisuudessa olisi eroa, näin suuri tai suurempi ero syntyisi sattumalta enintään 5 %:ssa testeistä. Se ei tarkoita, että tulos olisi 95 %:n varmuudella oikea.
- Älä lopeta testiä heti, kun ero näyttää merkitsevältä. Tuloksen jatkuva tarkistaminen ja pysäyttäminen ensimmäisellä merkitsevällä hetkellä nostaa väärien voittajien määrää. Päätä otoskoko etukäteen.
- Ei merkitsevää eroa on myös tulos. Se kertoo, että muutoksen vaikutus on pienempi kuin testi pystyi havaitsemaan. Kirjaa se kokeiluseurantaan, jotta samaa ideaa ei testata uudelleen sokkona.
- Tarkista myös suojamittarit. Bingin esimerkissä uusi mainosmuoto nosti tuottoa mutta heikensi käyttäjämittareita ja sivun latausaikaa. Vasta kun mainosten määrää vähennettiin, tuotto nousi ilman haittaa käyttäjille (Kohavi ym. 2013).
Tarkempi käsittely: Miten mitata tilastollista merkitsevyyttä?
A/B-testaus, monimuuttujatestaus ja käytettävyystestaus
| Menetelmä | Mitä vertaa | Milloin |
|---|---|---|
| A/B-testaus | Kaksi versiota, yksi muutos | Kun liikennettä riittää ja haluat tietää, toimiiko muutos |
| A/B/n-testaus | Useampi variantti samaa kontrollia vastaan | Kun vaihtoehtoja on useita, otos jakautuu useampaan ryhmään |
| Monimuuttujatestaus (MVT) | Usean elementin yhdistelmät | Vain suurella liikenteellä, koska yhdistelmiä on paljon |
| Käytettävyystestaus | Mitä muutama käyttäjä tekee ja sanoo | Kun haluat ymmärtää miksi, ennen kuin testaat mitä |
Usein kysyttyä
Mitä eroa on A/B-testauksella ja kasvukokeilulla?
A/B-testi on yksi tapa toteuttaa kasvukokeilu. Kasvukokeilu voi olla myös ennen-jälkeen-vertailu, kanavakokeilu tai MVP. A/B-testi on luotettavin näistä, koska satunnaistus poistaa ryhmien väliset muut erot.
Kuinka kauan A/B-testi kestää?
Niin kauan, että etukäteen laskettu otoskoko täyttyy, ja aina täysinä viikkoina. Laske kesto A/B-testilaskurilla päivittäisen kävijämäärän perusteella.
Voiko A/B-testin tehdä pienellä sivustolla?
Voi, jos testattava muutos on iso. Jos laskuri näyttää kuukausien kestoa, testaa rohkeampaa muutosta tai mittaa ylempää suppilon vaihetta, jossa tapahtumia on enemmän.
Liittyvät sivut
- Kasvukokeilut ja A/B-testaus - Kokeiluprosessi hypoteesista päätökseen
- A/B-testauksen opas - Suunnittelu, toteutus ja analyysi vaihe vaiheelta
- Miten tehdä A/B-testi? - Lyhyt käytännön ohje
- A/B-testilaskuri - Otoskoko ja testin kesto
- Konversio - Yleisin A/B-testin päämittari
- Booking.com ja testauskulttuuri - Case