Vad är A/B-test?

Ett A/B-test producerar alltid en vinnare, även när det inte finns någon verklig skillnad. Singlar ni slant hundra gånger med två mynt landar det ena oftast lite oftare på krona, utan att vara ett bättre mynt. Statistisk signifikans är gränsen där skillnaden mellan A och B är för stor för att rimligen vara slump, och den gränsen når ni bara med tillräckligt urval:

• Statistisk signifikans betyder att skillnaden sannolikt är verklig, inte brus. Ett vanligt tröskelvärde är 95 procents konfidens, alltså högst fem procents risk att ni ser en skillnad som egentligen inte finns.
• Urvalet, antalet besökare och konverteringar, avgör hur säkert testet kan skilja signal från brus. Ju mindre skillnad ni vill kunna upptäcka, desto fler besökare krävs.
• Illustrativt: har en sida 400 besökare i veckan och konverterar runt två procent, blir det ungefär åtta konverteringar i veckan per variant. Ett eller två köp fram eller tillbaka rör då siffran så mycket att det tar veckor innan en verklig skillnad går att skilja från tur.

Räkna ut urvalsbehovet innan ni startar, inte efteråt. En kalkylator för urvalsstorlek↗ tar er nuvarande konverteringsgrad och den minsta förbättring ni vill kunna upptäcka, och ger antalet besökare testet behöver per variant. CXL:s genomgång av teststatistik↗ går djupare på varför den siffran inte är förhandlingsbar. Kort sagt: trafiken avgör om ett A/B-test över huvud taget kan ge er ett svar, mätt mot affären och inte mot en kurva som ser lovande ut på tisdagen.

Ett A/B-test som håller följer samma ordning varje gång. Slarv med ett steg gör resultatet oläsbart, oavsett hur fint verktyget visualiserar det. Sex steg skiljer ett test som avgör något från ett som bara ser vetenskapligt ut:

1. 01Formulera hypotesen. Ett test utgår från en hypotes med struktur: om vi gör X, så händer Y, mätt via Z. "Om vi flyttar upp prisgarantin ovanför knappen, så ökar andelen som går vidare, mätt via klick till kassan." Vad ni testar och varför bestäms i hypotesarbetet, inte här.
2. 02Bygg varianten. En ändring i taget, mot kontrollen. Håll B så nära A som möjligt bortsett från just det hypotesen gäller, annars vet ni inte vad som orsakade utfallet.
3. 03Bestäm urvalet i förväg. Räkna ut hur många besökare per variant testet behöver, utifrån er konverteringsgrad och den skillnad ni vill kunna upptäcka. Den siffran, och därmed ungefär hur länge testet ska köras, låser ni innan starten.
4. 04Kör till signifikans. Låt testet gå tills det förbestämda urvalet är uppnått. Titta gärna på vägen, men fatta inga beslut ännu: ett försprång dag tre är oftast brus som jämnar ut sig.
5. 05Läs resultatet. Ett test ger tre svar: B vann, B förlorade, eller ingen säker skillnad. Alla tre är beslutsunderlag, inte status. "Ingen skillnad" är också ett svar, det betyder att ändringen inte var värd trafiken.
6. 06Dra lärdomen. Skriv ner hypotesen, utfallet och vad ni tror låg bakom. Nästa hypotes blir vassare av föregående test, och pipelinen förbättras över tid.

Testuppsättningen och datan är era: era konton, era verktyg, er historik av vad som testats och vunnit. En erfaren hand uträttar på en timme vad en ovan gör på fyra, och skillnaden syns tydligast i tolkningen: att se om en vinst är verklig eller om testet stoppades en dag för tidigt.

A/B-test går sällan fel på grund av dåliga idéer. Det går fel på grund av otålighet och slarv med statistiken. Fem fallgropar återkommer:

• Kika och stoppa för tidigt. Att avsluta testet så fort B leder kallas peeking, och det är det vanligaste sättet att lura sig själv. Tittar ni tillräckligt ofta hittar ni nästan alltid ett tillfälligt försprång som inte håller. Bestäm urvalet i förväg och kör klart.
• För många varianter samtidigt. Ett test med A, B, C och D delar trafiken i fler grupper, så varje variant får färre besökare och signifikans dröjer. Med begränsad trafik är två varianter nästan alltid rätt.
• Testa struntsaker. Knappens exakta nyans flyttar sällan nålen. Test kostar tid och trafik, så lägg dem på ändringar som kan ge en märkbar effekt om hypotesen håller, inte på det som råkar vara lätt att bygga.
• För lite trafik. En sida med några hundra besökare i veckan når sällan signifikans på rimlig tid. Då är A/B-test fel verktyg, inte ett test som bara ska köras tålmodigt i evighet.
• Ingen förbestämd urvalsstorlek. Utan ett mål för hur många besökare testet ska samla in blir "är vi klara?" en känsla i stället för ett tröskelvärde. Då vinner den som är otåligast, inte den variant som faktiskt är bäst.

Den röda tråden är statistisk disciplin, inte fler verktyg. Evan Millers klassiker om hur man inte kör ett A/B-test↗ visar matematiskt varför peeking blåser upp falska vinster. Fallgroparna handlar alla om samma sak: att låta otålighet gå före urvalet. Ett resultat som lästs för tidigt är ett svar man litar på utan att ha förtjänat det.

A/B-test är rätt verktyg när trafiken räcker för att ge ett svar inom rimlig tid. När den inte gör det finns det bättre sätt att gå framåt. Fråga två saker innan ni sätter upp ett test:

• Räcker trafiken? Om urvalsräkningen säger att testet skulle behöva köras i månader innan det når signifikans är A/B fel väg. Då är direkt-genomförande av en hög-confidence-hypotes ofta klokare: gör ändringen, följ utfallet mot affären över tid, och lär av riktningen i stället för av ett test som aldrig blir signifikant.
• Testar ni en sak eller flera som samspelar? Ett A/B-test jämför två helhetsvarianter. Vill ni förstå hur flera element samverkar, till exempel rubrik och bild i kombination, är det ett multivariat test, och det kräver betydligt mer trafik än ett vanligt A/B-test eftersom kombinationerna delar upp besökarna i många fler grupper.
• Är frågan värd trafiken? Varje test binder besökare som annars mött er bästa kända variant. Testa det som kan flytta affären, genomför det uppenbara direkt, och spara statistiken till frågor där svaret faktiskt är osäkert.

Valet mellan att testa och att genomföra direkt är ingen troszak, det är en trafikfråga. Med gott om trafik ger A/B-test det säkraste svaret. Med lite trafik är en väl grundad ändring som följs upp mot affären ofta bättre än ett test som aldrig når signifikans. En erfaren hand ser skillnaden snabbt, och det avgör ofta om månadens arbete flyttar nålen eller bara fyller en rapport. Vill ni veta vad som faktiskt skulle höja er konvertering, se hur Memorise arbetar med konvertering.