Miten rakentaa kokeilu-infrastruktuuri kasvutiimille

#Miten rakentaa kokeilu-infrastruktuuri kasvutiimille?

Kokeilu-infrastruktuuri on kasvutiimin selkäranka. Ilman sitä kokeilut ovat hitaita, epäluotettavia ja vaikeasti toistettavia.

#Kokeilu-infran komponentit

#1. A/B-testaustyökalut

Vaihtoehdot:

Valintakriteerit:

• Integraatio analytiikkaan
• Statistinen luotettavuus
• Segmentointimahdollisuudet
• Raportoinnin laatu

#2. Feature flag -järjestelmä

Miksi feature flagit?

• Julkaise koodi ilman käyttöönottoa
• Testaa uusia ominaisuuksia osalle käyttäjistä
• Rollback sekunneissa ongelmatilanteissa
• Mahdollistaa trunk-based development

Toteutus:

// Yksinkertainen feature flag
if (featureFlags.isEnabled('new-checkout', userId)) {
  showNewCheckout();
} else {
  showOldCheckout();
}

#3. Analytiikka-stack

Kerrokset:

1. Event tracking – Mixpanel, Amplitude, Segment
2. Product analytics – Käyttäjäpolut, funnels
3. Data warehouse – BigQuery, Snowflake
4. BI-työkalu – Metabase, Looker, Tableau

Kriittiset tapahtumat:

• Rekisteröityminen
• Aktivointi (Aha-hetki)
• Konversio (maksu)
• Retention-tapahtumat
• Referral-tapahtumat

#4. Dokumentaatiojärjestelmä

Mitä dokumentoida:

• Hypoteesi ja tausta
• Testin setup (variantit, kohderyhmä)
• Tulokset ja statistiikka
• Opit ja toimenpiteet
• Seuraavat askeleet

Työkalut:

• Notion – Kokeilutietokanta
• Airtable – Strukturoitu seuranta
• Google Sheets – Yksinkertainen vaihtoehto
• Oma tool – Räätälöity tarpeisiin

#Kokeilu-prosessi

#Vaihe 1: Ideointi

Ideapankki → Priorisointi (ICE/RICE) → Backlog

#Vaihe 2: Suunnittelu

1. Määritä hypoteesi selkeästi
2. Valitse mittari (primary metric)
3. Laske tarvittava sample size
4. Määritä testin kesto
5. Dokumentoi setup

#Vaihe 3: Toteutus

1. Rakenna variantit
2. Aseta feature flagit
3. Varmista tracking toimii
4. QA ennen julkaisua

#Vaihe 4: Analyysi

1. Odota riittävä sample size
2. Tarkista statistinen merkitsevyys
3. Analysoi segmentit
4. Dokumentoi opit

#Vaihe 5: Päätös

• Voitto → Julkaise kaikille
• Häviö → Dokumentoi opit
• Ei tulosta → Arvioi uudelleen

#Sample size -laskenta

Tarvittava sample size riippuu:

• Baseline conversion rate
• Minimum detectable effect (MDE)
• Statistical significance (yleensä 95%)
• Statistical power (yleensä 80%)

Nyrkkisääntö:

• 5% baseline, 10% lift → noin 30 000 / variantti
• 2% baseline, 20% lift → noin 20 000 / variantti
• 10% baseline, 5% lift → noin 60 000 / variantti

Työkalut:

• Evan Miller's calculator
• Optimizely sample size calculator

#Yleisimmät virheet

#1. Liian lyhyt testi

❌ Lopetetaan kun "näyttää hyvältä" ✅ Odota ennalta määrätty sample size

#2. Peeking problem

❌ Katsotaan tuloksia päivittäin ja päätetään ✅ Määritä analyysipäivä etukäteen

#3. Liian monta varianttia

❌ A/B/C/D/E-testi ✅ Maksimissaan 3-4 varianttia kerralla

#4. Väärä mittari

❌ Mitataan klikkejä, ei konversioita ✅ Mittaa liiketoimintavaikutusta

#5. Segmenttien unohtaminen

❌ Vain keskiarvo ✅ Analysoi mobile vs. desktop, uudet vs. vanhat

#Tiimin kyvykkyydet

#Junior-taso

• A/B-testauksen perusteet
• Työkalujen käyttö
• Tulosten raportointi

#Mid-taso

• Hypoteesien muotoilu
• Sample size -laskenta
• Segmenttianalyysi

#Senior-taso

• Kokeilu-strategia
• Statistiikan syvällinen ymmärrys
• Infran kehittäminen

#Skaalatuva kokeilu-kulttuuri

#Mittarit infran tehokkuudelle

#Kulttuurin rakentaminen

1. Jaa tulokset avoimesti (myös epäonnistumiset)
2. Juhli oppimista, ei vain voittoja
3. Tee kokeilemisesta helppoa
4. Kouluta koko organisaatio

#Lue lisää

• Kasvuhakkerointi – yleiskatsaus
• miten tehda ab testia
• miten tehda kasvuexperimentti oikein