Testy A B Od klikniecia do klienta

Tytuł oryginału: A/B Testing: The Most Powerful Way to Turn Clicks Into Customers

Tłumaczenie: Maksymilian Gutowski
Projekt okładki: Jan Paluch

ISBN: 978-83-246-8811-1

All rights reserved. No part of this publication may be reproduced, stored in a retrieval
system, or transmitted, in any form or by any means, electronic, mechanical, photocopying,
recording, scanning or otherwise without the prior permission of the publisher.

Wszelkie prawa zastrzeżone. Nieautoryzowane rozpowszechnianie całości lub fragmentu
niniejszej publikacji w jakiejkolwiek postaci jest zabronione. Wykonywanie kopii metodą
kserograficzną, fotograficzną, a także kopiowanie książki na nośniku filmowym,
magnetycznym lub innym powoduje naruszenie praw autorskich niniejszej publikacji.

Wszystkie znaki występujące w tekście są zastrzeżonymi znakami firmowymi
bądź towarowymi ich właścicieli.

Autor oraz Wydawnictwo HELION dołożyli wszelkich starań, by zawarte w tej książce
informacje były kompletne i rzetelne. Nie biorą jednak żadnej odpowiedzialności ani za
ich wykorzystanie, ani za związane z tym ewentualne naruszenie praw patentowych lub
autorskich. Autor oraz Wydawnictwo HELION nie ponoszą również żadnej odpowiedzialności
za ewentualne szkody wynikłe z wykorzystania informacji zawartych w książce.

Materiały graficzne na okładce zostały wykorzystane za zgodą Shutterstock Images LLC.

Wydawnictwo HELION
ul. Kościuszki 1c, 44-100 GLIWICE
tel. 32 231 22 19, 32 230 98 63
e-mail: helion@helion.pl
WWW: http://helion.pl (księgarnia internetowa, katalog książek)

Drogi Czytelniku!
Jeżeli chcesz ocenić tę książkę, zajrzyj pod adres
http://helion.pl/user/opinie/testab
Możesz tam wpisać swoje uwagi, spostrzeżenia, recenzję.

Printed in Poland.

Księgarnia internetowa

•

Lubię to! » Nasza społeczność

Spis treści

Rozdział 1.

Jak testy A/B dwukrotnie pomogïy
w zdobyciu Biaïego Domu

ZĘŚĆ

O WYNIE¥LI¥MY Z PONAD

200

TYSI}CY TESTÓW

A/B 15

Rozdział 2.

Co testowaÊ

Rozdział 3.

Mierz w maksimum globalne

Rozdział 4.

Mniej znaczy wiÚcej: ograniczaj wybór

Rozdział 5.

Sïowa: skoncentruj siÚ na swoim CTA

Rozdział 6.

Ucz siÚ na poraĝkach

ZĘŚĆ

DRO¿ENIE TESTÓW

A/B:

KROK PO KROKU

Rozdział 7.

Wybierz rozwiÈzanie odpowiednie dla Twojej organizacji 83

Rozdział 8.

Syndrom HiPPO i jak siÚ z niego wyleczyÊ

Rozdział 9.

Zespóï testerów A/B

105

Rozdział 10.

Powtórzenia i powtórzenia

115

ZĘŚĆ

III

AAWANSOWANE PROBLEMY TESTOWANIA

A/B

127

Rozdział 11.

Jak zepsuÊ test A/B

129

Rozdział 12.

Witryna to nie wszystko: testowanie A/B
w innych obszarach

137

Rozdział 13.

Personalizacja

149

Kup książkę

Poleć książkę

Testy A/B. Od kliknięcia do klienta

Zakoñczenie

159

Dodatek A. 60 testów A/B

161

Dodatek B. Wskaěniki i statystyki testowania A/B

173

PodziÚkowania

187

Skorowidz

189

Kup książkę

Poleć książkę

ROZDZIAŁ

Ucz się na porażkach

Jak się cieszyć, że jednak A wygrało z B

Kup książkę

Poleć książkę

Co wynieśliśmy z ponad 200 tysięcy testów A/B

Kup książkę

Poleć książkę

Ucz się na porażkach

JeĂli chcesz zwiÚkszyÊ swój wskaěnik sukcesów,

musisz podwoiÊ swój wskaěnik poraĝek.

Thomas J. Watson, byïy prezes i dyrektor generalny IBM

poprzednich rozdziaïów mogïeĂ wysnuÊ wniosek, ĝe kaĝdy przepro-
wadzony eksperyment przyniesie pozytywny wynik. (To po co w ogóle

je prowadziÊ? Wystarczy wprowadzaÊ w elementach zmiany, które chcia-
ïeĂ przetestowaÊ, a Ăwiat stanie przed TobÈ otworem!) W rzeczywistoĂci
jednak nie kaĝdy wariant okazuje siÚ lepszy od wariantu kontrolnego.

Mimo wszystko nawet „nieudane” eksperymenty majÈ swojÈ war-

toĂÊ — uĂwiadomienie sobie, ĝe dana zmiana zadziaïa na TwojÈ nie-
korzyĂÊ, jest niewÈtpliwie korzystniejsze od wprowadzenia tej zmiany.
Co wiÚcej, czÚsto z takich wïaĂnie eksperymentów dowiadujemy siÚ
najwiÚcej o uĝytkownikach i o tym, czym siÚ kierujÈ. W istocie nieuda-
ne eksperymenty podwaĝajÈ przyjÚte przez testera zaïoĝenia, a ich wy-
niki mogÈ wskazaÊ, dlaczego owe zaïoĝenia byïy bïÚdne.

Najlepsze miejsce kontra znajome miejsce: IGN

Serwis dla graczy IGN chciaï sprowadziÊ wiÚkszÈ liczbÚ uĝytkowników
na podstronÚ z filmami, która odpowiadaïa za znacznÈ czÚĂÊ przychodów
z reklam. Zespóï firmowy zatem postanowiï przeprowadziÊ test A/B,
w ramach którego link „Videos” zostaï przeniesiony na lewy kraniec
gïównego panelu nawigacyjnego (rysunek 6.1).

W wielu organizacjach wprowadzenie takiej modyfikacji zostaïoby

zaordynowane na samym szczycie przez osobÚ, która na caïym interesie
zarabia najwiÚcej. Tymczasem przed wprowadzeniem tej zmiany na staïe
IGN przeprowadziï eksperyment, by siÚ dowiedzieÊ, jakiego dokïadnie
wzrostu moĝna oczekiwaÊ po wyeksponowaniu linku „Videos”.

Kup książkę

Poleć książkę

Co wynieśliśmy z ponad 200 tysięcy testów A/B

RYSUNEK 6.1. Pierwotny panel nawigacji IGN oraz wariant z przyciskiem „Videos”

w innym miejscu

Nie doĂÊ, ĝe testy nie wykazaïy wzrostu, to jeszcze pokazaïy, ĝe nowy

banner obniĝyï klikalnoĂÊ filmów o nieprawdopodobne 92,3%. Gdyby
przeniesiono link „Videos” w ciemno, bez uprzedniego wykonania testu,
zmiana miaïaby katastrofalne skutki. Poniewaĝ ruch na IGN jest bardzo
intensywny, wystarczyïo parÚ godzin na uzyskanie statystycznie znamien-
nych wyników. DziÚki temu moĝna byïo przerwaÊ eksperyment, powróciÊ
do pierwotnego designu i zaczÈÊ szukaÊ odpowiedzi w zebranych danych.

Test ocaliï IGN przed katastrofÈ, która miaïaby miejsce, gdyby zde-

cydowano siÚ na wprowadzenie nowego panelu nawigacyjnego, ale naleĝy
z tego wyciÈgnÈÊ powaĝniejsze wnioski. JednÈ z najwaĝniejszych przy-
czyn wystÈpienia tak skrajnych rozbieĝnoĂci w wynikach jest to, ĝe
znaczna czÚĂÊ ruchu na serwisie pochodzi zazwyczaj od powracajÈcych
uĝytkowników, postrzegajÈcych stronÚ w okreĂlony sposób — w tym
wypadku oczekujÈcych, ĝe link „Videos” znajdÈ po prawej, a nie po lewej
stronie. JeĂli element zniknie ze swojego miejsca, uĝytkownikom nie bÚ-
dzie siÚ chciaïo go szukaÊ. Rozwaĝenie gïównych przyczyn wystÈpienia
takich, a nie innych rezultatów pozwala lepiej zrozumieÊ nie tylko charakter
zaproponowanych zmian, ale równieĝ charakter samego procesu testowa-
nia. Zespóï moĝe od tego momentu uwzglÚdniaÊ to, ĝe doĂwiadczenia

Kup książkę

Poleć książkę

Ucz się na porażkach

nowych i powracajÈcych uĝytkowników bardzo siÚ od siebie róĝniÈ. Ta
ĂwiadomoĂÊ zaowocuje w kolejnych testach. (Wnioskom wyciÈganym
przy segmentacji ruchu przyjrzymy siÚ bliĝej w rozdziale 13.).

Różne rozwiązania sprawdzają się na różnych

poziomach: sklepy internetowe

Testowanie A/B jest bardzo popularne w branĝy sklepów internetowych.
Wiele z tych, z którymi wspóïpracowaliĂmy, stale testuje jakieĂ rozwiÈ-
zania. Jak mówiÈ, zawsze da siÚ coĂ ulepszyÊ lub zoptymalizowaÊ.

Wielu detalistów wyĂwietla na swoich stronach recenzje i oceny klien-

tów. Pewien wielki sklep internetowy odkryï w ramach testowania, ĝe
wyĂwietlanie ocen w widocznym miejscu na stronach produktów wspo-
magaïo konwersjÚ. Zespóï postanowiï przeprowadziÊ eksperyment z za-
mieszczeniem ocen na stronie kategorii — stronie znajdujÈcej siÚ o po-
ziom wyĝej w hierarchii wzglÚdem strony produktu, ukazujÈcej wszystkie
artykuïy z danej kategorii. Wydawaïo siÚ to doĂÊ rozsÈdne: pokazanie ocen
na stronie ogólnej powinno zachÚciÊ ludzi do klikania dalej i obejrze-
nia wiÚkszej liczby produktów, a tym samym podwyĝszyÊ wskaěnik
konwersji (rysunek 6.2).

RYSUNEK 6.2. Pierwotna forma opisu produktu na stronie kategorii

oraz wersja z gwiazdkami

Kup książkę

Poleć książkę

Co wynieśliśmy z ponad 200 tysięcy testów A/B

Na szczÚĂcie zespóï postanowiï przeprowadziÊ najpierw testy, ponie-

waĝ nowy wariant przyniósïby wiÚcej szkody niĝ poĝytku. Okazaïo siÚ, ĝe
widocznoĂÊ ocen obniĝyïa poziom konwersji o 10%. Z tego testu wynika,
ĝe rozwiÈzania sprawdzajÈce siÚ na jednym poziomie niekoniecznie sprawdzÈ
siÚ na innych; element dziaïajÈcy na korzyĂÊ strony produktu okazaï siÚ
nieodpowiedni dla strony kategorii. Warto pamiÚtaÊ, ĝe jeĂli rozwiÈza-
nie sprawdza siÚ na danym obszarze strony — nawet jeĂli udowodniono
jego wartoĂÊ — nie trzeba od razu wprowadzaÊ go we wszystkich in-
nych miejscach bez uprzedniego upewnienia siÚ, ĝe to dobry pomysï.

Interes nabywcy to niekoniecznie

interes sprzedawcy: Etsy

Etsy, targowisko z wyrobami rÚkodzielniczymi i artykuïami vintage,
miesiÚcznie jest odwiedzane przez ponad 42 mln unikalnych uĝyt-
kowników, dziÚki czemu zajmuje miejsce wĂród 200 najpopularniej-
szych witryn w rankingu Alexa. Testowanie A/B jest dla deweloperów
istotnym narzÚdziem pozyskiwania danych o zachowaniu ponad 800 tys.
sprzedawców i 20 mln uĝytkowników serwisu.

Uĝytkownik Etsy posïuguje siÚ kanaïem informacyjnym, w którym

moĝe przeglÈdaÊ aktywnoĂÊ znajomych w serwisie: co kupujÈ i polecajÈ.
Na Etsy cotygodniowo pojawiajÈ siÚ tysiÈce artykuïów, a kanaï informa-
cyjny jest wygodnym narzÚdziem odnajdowania nowych przedmiotów
(rysunek 6.3).

Kanaï informacyjny przedstawia na jednej liĂcie czynnoĂci wyko-

nywane przez sprzedawców i nabywców. Zespóï Etsy uznaï, ĝe moĝna
by znaczÈco poprawiÊ doĂwiadczenie uĝytkownika poprzez zmianÚ
wyglÈdu kanaïu oraz usuniÚcie pola „Your Shop” („Twój sklep”) i po-
zostawienie jedynie pola „People You Follow” („Ludzie, których ob-
serwujesz”). Przeprowadzono nastÚpnie test A/B, by porównaÊ efek-
tywnoĂÊ pierwotnego ukïadu z nowym.

Kup książkę

Poleć książkę

Ucz się na porażkach

RYSUNEK 6.3. Pierwotny kanał informacyjny Etsy

Ku zdziwieniu zespoïu w nowym wariancie interakcja uĝytkowników

z kanaïem znaczÈco spadïa. Po bliĝszym przyjrzeniu siÚ danym zespóï
odkryï sposób uĝytkowania serwisu, którego wczeĂniej nie przewidziaï.
Okazaïo siÚ, ĝe przy zarzÈdzaniu swoimi sklepami sprzedawcy korzystali
z wïasnych kanaïów w charakterze osi czasu ukazujÈcej, kiedy jakie pro-
dukty oferowali. Zespóï postrzegaï kanaï jako narzÚdzie pozwalajÈce na-
bywcom przeglÈdaÊ, co ludzie robiÈ w serwisie. Tymczasem to sprzedawcy
korzystali z tej funkcji, która zostaïa im odebrana przez nowy interfejs.

Gdyby nie ten zaskakujÈcy rezultat, zespóï Etsy nigdy by siÚ nie

dowiedziaï o takim charakterze uĝytkowania serwisu. Teraz mógï nie
tylko uwzglÚdniÊ tÚ informacjÚ, ale teĝ projektowaÊ z myĂlÈ o niej.

Kolejna wersja interfejsu (rysunek 6.4) zawieraïa dwa przyciski:

„Following” („Obserwowane”) i „Your Shop” („Twój sklep”). Historia
zakoñczyïa siÚ szczÚĂliwie. Obecnie Etsy rozwija funkcjonalnoĂÊ strony

Kup książkę

Poleć książkę

Co wynieśliśmy z ponad 200 tysięcy testów A/B

RYSUNEK 6.4. Ostateczna postać kanału Etsy

na podstawie sposobu uĝytkowania, o którym zupeïnie nie byïo wiadomo,
dopóki siÚ nie okazaïo, ĝe przeprojektowany serwis jest niewypaïem.

Kiedy tak znaczy nie: Chrome Industries

Zespóï ds. handlu internetowego Chrome Industries przez lata ekspery-
mentowaï z wieloma oprawami graficznymi artykuïów dla rowerzystów,
a ostatnio postanowiï sprawdziÊ, czy film o produkcie zachÚciïby wiÚkszÈ
liczbÚ uĝytkowników do zakupów niĝ statyczny obraz (rysunek 6.5).

Celem testu byïo okreĂlenie, czy przeznaczyÊ dodatkowe zasoby na pro-

dukcjÚ filmów. Do eksperymentu zespóï wybraï jeden produkt: buty Truk.

Zespóï sprawdziï, jaki odsetek uĝytkowników przechodziï ze strony

kategorii do strony produktu, jaki odsetek zaczynaï zakupy oraz jaki odsetek
ostatecznie skïadaï zamówienie. Wyniki prowadzonych przez niecaïe
trzy miesiÈce testów byïy maïo porywajÈce: 0,5% wiÚcej uĝytkowników

Kup książkę

Poleć książkę

Ucz się na porażkach

RYSUNEK 6.5. Pierwotna reklama butów Truk z obrazem oraz wariant z filmem

czÚĂciej odwiedzaïo stronÚ produktu Truk przy wariancie z obrazem,
0,3% wiÚcej rozpoczynaïo zakupy przy wariancie z filmem, a 0,2% wiÚ-
cej skïadaïo zamówienie w wariancie z filmem.

Innymi sïowy, wariant z filmem okazaï siÚ odrobinÚ lepszy od wa-

riantu z obrazem, ale poniewaĝ wyprodukowanie filmu wymaga duĝo
wiÚkszych nakïadów ze strony Chrome, naleĝy jasno opowiedzieÊ siÚ
przeciwko dodatkowym wydatkom na produkcjÚ.

Chrome moĝe odïoĝyÊ caïÈ sprawÚ na póěniej albo przeprowadziÊ

dodatkowe badania, by siÚ dowiedzieÊ, dlaczego film nie napÚdzaï
konwersji, zamiast dziaïaÊ w myĂl zaïoĝenia, ĝe film nakrÚci sprzedaĝ,

Kup książkę

Poleć książkę

Co wynieśliśmy z ponad 200 tysięcy testów A/B

i zabieraÊ siÚ do produkcji materiaïów filmowych, które niekoniecznie
zapewniÈ zwrot z inwestycji. JeĂli zespóï rzeczywiĂcie postanowi dalej
testowaÊ film (na przykïad sprawdzajÈc, czy film koncentrujÈcy siÚ na
stylu ĝycia zamiast na produkcie poradzi sobie lepiej), przynajmniej bÚ-
dzie miaï pewnoĂÊ, ĝe niczego nie ryzykuje, skoro udowodniono, ĝe wy-
korzystanie materiaïów wideo nie szkodzi konwersji. Zespóï moĝe teĝ
skoncentrowaÊ siÚ na innych obszarach i poeksperymentowaÊ z opty-
malizacjÈ pozostaïych elementów serwisu, które byÊ moĝe zapewniÈ
wiÚksze korzyĂci.

W skrócie

RozwiÈzania odpowiednie dla powracajÈcych uĝytkowników mogÈ
siÚ nie sprawdziÊ w przypadku nowych uĝytkowników i na odwrót.

CoĂ, co sprawdza siÚ na jednej stronie, moĝe nie sprawdziÊ siÚ
na innej; rozwiÈzania odpowiednie dla jednego poziomu mogÈ byÊ
nieefektywne na innym.

Oczekiwania jednego typu uĝytkownika mogÈ róĝniÊ siÚ od ocze-
kiwañ innego rodzaju uĝytkownika. Nieudane testy, niekiedy
w wiÚkszym stopniu niĝ testy zakoñczone powodzeniem, mogÈ za-
chÚciÊ do zbadania kluczowej róĝnicy miÚdzy segmentami uĝyt-
kowników.

Wariant, który wygraï z oryginaïem, moĝe zapewniaÊ za maïe ko-
rzyĂci, by usprawiedliwiÊ wydatki na implementacjÚ oraz wszelkie
inne wady nowej wersji.

Kaĝdy test ujawniajÈcy nieefektywnoĂÊ jakiegoĂ rozwiÈzania jest
cenny, gdyĝ pozwala wycofaÊ wydatki na to, co nie dziaïa, by skie-
rowaÊ je tam, gdzie przyjÚte rozwiÈzania siÚ sprawdzajÈ.

Kup książkę

Poleć książkę

Skorowidz

aktywnoĂÊ uĝytkowników, 37,

automatyczne aktualizacje, 88

banner z apelem o datki, 63
bïÈd standardowy, 182
bïÚdne wyniki, 133
bïÚdy, 129
burza mózgów, 62, 69

cel witryny, 19
cele konwersji, 21, 32
ceny, 141, 172
chmura, 88
CTA, 50, 59, 67, 163
cykl testowy, 153
czÚstotliwoĂÊ logowania, 39

darmowy okres próbny, 66
definiowanie sukcesu, 19
definiowanie wskaěników

sukcesu, 120

dezorientujÈce elementy, 52
dostawca platform

testowych, 91

dostÚp do testów, 88
dzielenie dïugiego

formularza, 57

dziennik testów, 112

edycja WYSIWYG, 88, 122
efekt framingu, 68
efekty interakcyjne, 126
eksplorowanie przed

doskonaleniem, 120

eksponowanie linków, 73
estymacja

interwaïowa, 176
przedziaïowa, 176
punktowa, 176

filmy o produktach, 78
formularz, 168

dla darczyñców, 56
rejestracyjny, 132

formuïowanie hipotezy, 24
framing, 66, 68
funkcje Excela, 180, 184
funkcjonalnoĂÊ strony, 77

generatory formularzy, 64
geotargeting, 153, 157
Google Analytics, 23

hierarchicznoĂÊ treĂci, 37
hipoteza, 27, 32, 39, 49, 66,

132, 145

HiPPO, 97, 104

interesariusze, 99, 101

kanaï informacyjny, 76–78
kluczowy wskaěnik

efektywnoĂci, 133, 179

kontynuowanie testów, 117
konwersja, 56, 57
KPI, 179
krzywa

elastycznoĂci cenowej,

143

popytu, 143

kwantyfikowalny wskaěnik

sukcesu, 37

lejek, 132

pozyskiwania leadów, 167
rejestracji, 167
sprzedaĝy, 23
transakcji, 52, 167

liczba

Êwiczeñ, 40
klikniÚÊ, 22

ïÈczna stopa konwersji, 182

Kup książkę

Poleć książkę

190

Testy A/B. Od kliknięcia do klienta

makrokonwersje, 21
maksimum

globalne, 33
lokalne, 35

maksymalizowanie

przychodu, 172

materiaïy wizualne, 166
media spoïecznoĂciowe, 170
metoda

konkurencyjna, 142
kosztowa, 142
rynkowa, 142

mikrokonwersje, 21
minimalizowanie dostÚpnych

opcji, 55

model biznesowy, 39

narzÚdzia do testów, 86, 151
narzÚdzie

Google Analytics, 23
SeeClickFix, 50

nawigacja, 64, 167
niedostosowywanie

doĂwiadczenia, 156

obliczanie poziomów ufnoĂci,

180

oceny produktu, 75
oczekiwania uĝytkowników, 80
odchylenie standardowe, 185
odnajdowanie przedmiotów, 76
opis produktu, 75
oprogramowanie jako

usïuga, 88

optymalizacja witryny, 52, 80,

panel nawigacji, 74
personalizacja, 156, 171
pÚtla testowa, 164
platforma testowa, 88

poczta elektroniczna, 139,

140, 170

podejĂcie iteracyjne, 126
poïÈczone odchylenie

standardowe, 185

poparcie interesariuszy, 99
populacja, 186
porównywanie efektywnoĂci

ukïadów, 76

powracajÈcy uĝytkownicy, 80
poziom ufnoĂci, 179, 180
priorytetowe eksperymenty, 32
problemy testowania, 127
proces transakcyjny, 53
projekt

interfejsu, 43
sekwencyjny, 56

promocja last minute, 143, 148
proporcja, 182
próg kwalifikacji, 69
przedziaï ufnoĂci, 175
przeprojektowywanie, 38, 41
przeprojektowywanie

caïkowite, 120

przeprowadzanie testu, 31
przychód z odwiedzin, 147
psucie testów, 129

ramy interpretacyjne, 68
rankingi wyszukiwañ, 86
reakcje emocjonalne, 68
redukcja opcji, 57
rejestracja e-mailowa, 23
reklama, 79, 169
ROI, zwrot z inwestycji, 30
rozkïad

normalny, 186
studenta, 186

rozmieszczenie treĂci, 38
RPV, Revenue Per Visitor, 147
ruch na stronie, 131

SaaS, Software-as-a-Service,

88–92

segmentacja, 151–153, 157

sklepy internetowe, 75
spadek

klikalnoĂci, 74
konwersji, 76

spersonalizowane CTA, 154
sposób prezentacji cen, 148
sprawdzone rozwiÈzania, 80
statystyka

t, 185
Z, 182

statystyki testów, 173, 180–185
stopa konwersji, 57
stopnie swobody, 185
stopniowe udoskonalenia, 45
strategia testowania

dziennik testów, 112
koordynator, 110
upodmiotowieni testerzy,

112

zwolennicy, 111

strona

dla darczyñców, 27
gïówna z mapÈ, 51
transakcyjna AVG, 54
z dodanym obrazem, 28
z dwukolumnowym

layoutem, 29

studium przypadku, 100
syndrom HiPPO, 97, 104
system nawigacji, 64
szansa pokonania oryginaïu,

184

szum wizualny, 54

Ăledzenie wskaěników, 122
Ărednia, 185
Ărednia wartoĂÊ zamówienia, 147

targeting, 157
targetowanie, 151, 152
tekst, 165
test

A/A, 87
A/B, 12, 19, 81, 98, 120,

135, 147, 161

Kup książkę

Poleć książkę

Skorowidz

191

t, 185
Z, 182

testowanie

cen, 141–144, 148
e-maili, 139
formularzy, 168
hipotez, 35
pól promocyjnych, 38
koñcówek, 144
materiaïów graficznych, 10
materiaïów wizualnych, 166
menu nawigacyjnego, 167
nagïówków reklam, 169
nowych funkcji, 42
oznaczeñ przycisku, 8
procesu

przeprojektowywania, 41

rozliczeñ, 146
rozmieszczenia treĂci, 164
rzeczywistej ceny, 147
technik personalizacji, 171
tekstów nagïówków, 165
w celach poznawczych, 135
wezwañ do dziaïania, 163
witryn, 163
wskaěników, 180

testy, 31

dwustronne, 183
iteracyjne, 118
jednostronne, 184
seryjne, 147, 148
ujawniajÈce

nieefektywnoĂÊ, 80

wielowymiarowe, 118,

126, 165

toĝsamoĂÊ marki, 134
trening, 39
treĂÊ, 164

ufnoĂÊ, 176, 179
uniwersalne CTA, 157
upraszczanie formularza, 49
urzÈdzenia mobilne, 169

usprawnianie doĂwiadczenia

uĝytkownika, 49

ustalanie cen, 142
usuwanie

linków, 54
nadmiarowych opcji, 52
rozpraszajÈcych

czynników, 55

wariancja, 177, 178
wartoĂÊ

p dwustronna, 184
p jednostronna, 184
testów A/B, 101
Z, 183

wÈskie gardïa, 23, 32
wbudowane funkcje, 88
wdraĝanie testów, 81

wïasny system, 85
zakup platformy testowej,

zatrudnienie agencji, 90

wezwanie

do dziaïania, 163
do skïadania datków, 63

widocznoĂÊ ocen, 76
wïasny system testowania, 85
wnioski z testów, 101
wskaěnik

aktywnoĂci, 124
efektywnoĂci, 133, 179
klikniÚÊ, 66, 145, 148
konwersji, 75, 144
otwarcia, 140, 148
próĝnoĂci, 21
RPV, 147
sukcesu, 20, 32, 139, 147
utrzymania, 44
zaangaĝowania, 44

wspóïpraca z agencjÈ, 91
wykres wskaěnika otwarcia, 141
wymyĂlanie testów, 93
WYSIWYG, 88, 122

wyĂwietlanie ocen, 75
wyznaczanie priorytetów, 30
wzór na wariancjÚ, 177
wzrost

klikalnoĂci, 66, 145
konwersji, 56, 134
ruchu, 65
sprzedaĝy, 66
wysokoĂci datków, 61

zachÚcanie

do aktywnoĂci, 52
do testowania, 101

zagroĝenia testowania, 134
zakotwiczenie ceny, 144, 148
zakres testowania, 86
zakup

narzÚdzi, 88
platformy testowej, 88

zalety SaaS

automatyczne

aktualizacje, 88

edycja WYSIWYG, 88
integracja z innymi

narzÚdziami, 89