W jaki sposób będziecie kontrolować zmienne uboczne? Gdzie i kiedy przeprowadzicie badanie?
Pytanie o narzędzia pojawia się wtedy, gdy badanie jest operacjona-lizowane. Musicie zaprojektować wszystkie narzędzia, które macie zamiar wykorzystać. Jest to szczególnie ważne wtedy, gdy konstruujecie skalę postaw czy prosty inwentarz osobowości. Jeżeli nawet korzystacie z już istniejących narzędzi, to musicie się upewnić, czy odpowiadają one waszym potrzebom.
W niektórych przypadkach zaleca się przeprowadzenie niewielkiego badania pilotażowego, aby się upewnić, czy dokonano właściwego wyboru narzędzi pomiarowych i czy właściwie one „pracują”. Mając odpowiednie informacje, można będzie dokonać wszelkich niezbędnych zmian.
Należy ustalić, jaki rodzaj danych najprawdopodobniej otrzymamy w planowanym badaniu.
Biorąc pod uwagę wybrany plan badawczy oraz oczekiwany rodzaj danych, należy zdecydować, jaki test statystyczny będzie w tej sytuacji najbardziej właściwy. Starajmy się wykorzystywać zróżnicowane testy statystyczne, aby nic było tak, że każde badanie prowadzi do wykorzystania tego samego testu statystycznego.
Inną decyzją, którą należy podjąć, jest wybór właściwego dla naszego badania poziomu istotności. Generalnie, prawdopodobieństwo 0,05 jest wystarczające do potwierdzenia istotności badanego efektu. Jeżeli jednak zależy nam na uniknięciu błędu I rodzaju, możemy wybrać mniejsze prawdopodobieństwa — powiedzmy 0,025 lub 0,01.
Najczęściej realizowanym badaniem jest eksperyment. Istnieją jednak trzy inne rodzaje badań, które możemy wziąć pod uwagę. Są to: obserwacja, badanie korelacyjne i analiza przypadku. Omówimy je teraz po kolei.
Eksperyment jest pochodną tradycyjnego modelu nauki. W badaniu tego typu testuje się hipotezę o przyczynowym oddziaływaniu jakiejś zmiennej. Można np. założyć, że hałaśliwe otoczenie ma wpływ na jakość wykonania testu z matematyki. Hipoteza alternatywna czy, inaczej, eksperymentalna może zatem brzmieć następująco: „Wyniki testu z matematyki są istotnie wyższe wtedy, gdy test pisany jest w ciszy, niż wtedy, gdy pisany jest w hałasie”. Zmienną niezależną (ZN) jest tu rodzaj otoczenia, a zmienną zależną (ZZ) wyniki uzyskane w teście z matematyki. Jest to zatem badanie różnic — badanie efektu oddziaływania różnych warunków otoczenia, czyli różnych wartości ZN na ZZ. Ściśle mówiąc, w eksperymencie testujemy tzw. hipotezę zerową. Brzmi ona następująco: „Nie ma istotnej różnicy pomiędzy wynikami testu z matematyki otrzymywanymi wtedy, gdy test pisany jest w ciszy lub w hałasie”. Hipoteza zerowa jest falsyfikowalna. Jeżeli w świetle danych eksperymentalnych hipoteza ta okaże się nieprawdziwa, wówczas powiemy, że nasze dane przemawiają za hipotezą alternatywną (zauważmy, że nic mówimy tu: udowodniliśmy hipotezę alternatywną).
W eksperymencie badacz stara się ustalić przyczynowe powiązania pomiędzy dwoma badanymi zmiennymi. Dlatego ten rodzaj planu badawczego nazywa się planem przyczynowo-skutkowym. W planie takim wymaga się manipulowania zmienną niezależną. Warunku tego nie ma w badaniach korelacyjnych.
W badaniu korelacyjnym, czyli w badaniu związku poszukuje się zależności pomiędzy zmiennymi. W tym przypadku interesujemy się tym, jakie zmiany wartości jednej zmiennej pociągają za sobą zmiany wartości drugiej zmiennej. Jeżeli chcielibyśmy ustalić, czy istnieje związek pomiędzy poziomem zanieczyszczenia środowiska a inteligencją, to możemy zmierzyć odległość domów, w których mieszkają dzieci, od głównych dróg i zobaczyć, czy koreluje ona z inteligencją tych dzieci mierzoną za pomocą testów I.I. Możemy np. interesować się teorią