Testowanie

Testowanie

oprogramowania

oprogramowania

Marcin Jerzak

Marcin Jerzak

Piotr Fisz

Piotr Fisz

Testowanie oprogramowania

Testowanie oprogramowania

►

Jest to proces związany z wytwarzaniem

Jest to proces związany z wytwarzaniem

oprogramowania. Celem testowania jest wykrywanie

oprogramowania. Celem testowania jest wykrywanie

błędów oraz badanie niezawodności systemu.

błędów oraz badanie niezawodności systemu.

►

Weryfikacja

(verification)

- testowanie zgodności systemu

z wymaganiami zdefiniowanymi w fazie określenia

wymagań.

►

Atestowanie

(validation)

- ocena systemu lub

komponentu podczas lub na końcu procesu jego

rozwoju na zgodności z wyspecyfikowanymi

wymaganiami. Atestowanie jest więc weryfikacją

końcową.

Cele testowania:

Cele testowania:

►

O

Oprogramowanie testujemy głównie
mając na uwadze wykrycie i pozbycie
się błędów w systemie oraz ocena
niezawodności oprogramowania.

Błędy

Błędy

►

Błąd (failure, error) – jest to niepoprawna

konstrukcja znajdująca się w programie, która

może doprowadzić do niewłaściwego działania.

►

Błędne wykonanie (failure) - niepoprawne

działanie systemu w trakcie jego pracy.

►

Należy mieć na uwadze, że te samo błędne

wykonanie programu może być spowodowane

przez różne błędy pracy oprogramowania.

Weryfikacja

Weryfikacja

►

Weryfikacja ma na celu sprawdzenie

Weryfikacja ma na celu sprawdzenie
czy produkt w danej fazie rozwoju

spełnia założenia powstałe podczas

spełnia założenia powstałe podczas

startu danej fazy.

startu danej fazy.

►

Przy weryfikacji możemy wykorzystać:

Przy weryfikacji możemy wykorzystać:
Przeglądy, inspekcje, testowanie,
sprawdzanie, audytowanie.

Przeglądy

Przeglądy

►

Przeglądem nazywamy spotkanie, w

czasie którego produkt lub jego części

są prezentowane kierownictwu,

użytkownikom, klientom lub innym

osobom mającym kontakt z produktem

w celu uzyskania opinii i wskazówek.

►

Rozróżniamy przeglądu formalne i

nieformalne.

Przegląd

Przegląd

Przeglądy formalne mogą mieć postać:

Przeglądy formalne mogą mieć postać:

- przeglądu technicznego (ocena zgodności

- przeglądu technicznego (ocena zgodności

postępu prac względem planu).

postępu prac względem planu).

- przejść (

- przejść (ocena dokumentów, modeli,

projektów i kodu w celu znalezienia i

naprawy błędów

).

).

- audytu (potwierdzenie zgodności z

- audytu (potwierdzenie zgodności z

założeniami,

założeniami,

dokumentami itp. Przez osoby z „zewnątrz

dokumentami itp. Przez osoby z „zewnątrz

firmy”).

firmy”).

Audyt

Audyt

►

Jest to przegląd i ocena jakości

Jest to przegląd i ocena jakości

oprogramowania, która zapewnia

oprogramowania, która zapewnia

zgodność ze standardami i

zgodność ze standardami i

specyfikacjami oraz daje obraz o stanie

specyfikacjami oraz daje obraz o stanie

całego projektu.

całego projektu.

►

Dla zapewnienia lepszych wyników

Dla zapewnienia lepszych wyników

audyt powinien być wykonany przez

audyt powinien być wykonany przez

osoby z zewnątrz.

osoby z zewnątrz.

Inspekcje

Inspekcje

►

Jest to technika polegająca na badaniu kodu

Jest to technika polegająca na badaniu kodu

przez osoby lub grupę osób nie będących

przez osoby lub grupę osób nie będących

autorami programu w celu znalezienia błędów.

autorami programu w celu znalezienia błędów.

►

Średnia skuteczność wynosi 60%.

Średnia skuteczność wynosi 60%.

►

Jest to technika rzadko stosowana ponieważ

Jest to technika rzadko stosowana ponieważ

wymagane są planowanie oraz kompetentni

wymagane są planowanie oraz kompetentni

ludzie. Dodatkowym minusem jest utrudniona

ludzie. Dodatkowym minusem jest utrudniona

analiza kosztów i zysków.

analiza kosztów i zysków.

Inspekcje

Inspekcje

►

Cechy inspekcji:

Cechy inspekcji:

- Sesje są zaplanowane i przygotowane

- Sesje są zaplanowane i przygotowane

- Błędy i problemy są notowane

- Błędy i problemy są notowane

- wykonywane przez techników dla techników

- wykonywane przez techników dla techników

►

Korzyści inspekcji:

Korzyści inspekcji:

- Wzrost produktywności od 30% do 100%

- Wzrost produktywności od 30% do 100%

- Skrócenie czasu projektu od 10% do 30%

- Skrócenie czasu projektu od 10% do 30%

- Skrócenie kosztu i czasu wykonywania

- Skrócenie kosztu i czasu wykonywania

testów od

testów od

5 do 10 razy

5 do 10 razy

Rodzaje testów

Rodzaje testów

►

Wykrywanie błędów – znajdowanie jak

Wykrywanie błędów – znajdowanie jak

największej ilości błędów

największej ilości błędów

►

Testy statystyczne – wykrywanie najczęściej

Testy statystyczne – wykrywanie najczęściej

statystycznie występujących błędów oraz ocena

statystycznie występujących błędów oraz ocena

niezawodności systemu

niezawodności systemu

►

Testy dynamiczne – wykonywanie kawałków

Testy dynamiczne – wykonywanie kawałków

programu i porównywanie wyników z

programu i porównywanie wyników z

poprawnymi

poprawnymi

►

Testy statyczne – analiza kodu

Testy statyczne – analiza kodu

Fazy testowania

Fazy testowania

►

Testy modułów

Testy modułów

►

Testy systemu

Testy systemu

►

Testy akceptacji

Testy akceptacji

►

Wydajność systemu

Wydajność systemu

►

Interfejs systemu

Interfejs systemu

►

Własności operacyjne systemu

Własności operacyjne systemu

►

Testy zużycia zasobów

Testy zużycia zasobów

►

Zabezpieczenie systemu

Zabezpieczenie systemu

►

Przenoszalność systemu

Przenoszalność systemu

►

Niezawodność programu

Niezawodność programu

►

Odtwarzalność oprogramowania

Odtwarzalność oprogramowania

Fazy testowania

Fazy testowania

►

Bezpieczeństwo oprogramowania

Bezpieczeństwo oprogramowania

►

Kompletność i jakość założonych funkcji
systemu

►

Nie przekraczanie ograniczeń

►

Modyfikowalność oprogramowania

►

Obciążalność oprogramowania

►

Skalowność systemu

►

Akceptowalność systemu

►

Jakość dokumentacji

Testowanie na zasadzie czarnej

Testowanie na zasadzie czarnej

skrzynki

skrzynki

►

Metoda polega na testowaniu bez sprawdzania

Metoda polega na testowaniu bez sprawdzania

wnętrza programu

wnętrza programu

►

Powinno się testować dla całego zakresu danych

Powinno się testować dla całego zakresu danych

►

Dane powinno się podzielić na takie, które mogą

Dane powinno się podzielić na takie, które mogą

dawać podobne błędy

dawać podobne błędy

►

Plusem jest możliwości pokazania brakujących

Plusem jest możliwości pokazania brakujących

funkcji

funkcji

Testowanie na zasadzie białej

Testowanie na zasadzie białej

skrzynki

skrzynki

►

Metoda polega na testowaniu wewnętrznej

Metoda polega na testowaniu wewnętrznej

logiki po przez dobranie odpowiednich

logiki po przez dobranie odpowiednich

danych wejściowych, co umożliwia

danych wejściowych, co umożliwia

przetestowanie wszystkich ścieżek.

przetestowanie wszystkich ścieżek.

►

Często jest wymagane przygotowanie danych

Często jest wymagane przygotowanie danych

testowych spełniających nasze wymagania

testowych spełniających nasze wymagania

►

Minusem jest brak możliwości pokazania

Minusem jest brak możliwości pokazania

brakujących funkcji

brakujących funkcji

Okre

Okre

ślenie niezawodności

ślenie niezawodności

oprogramowania

oprogramowania

►

Prawdopodobieństwo błędnego

Prawdopodobieństwo błędnego

wykonania podczas realizacji tranzakcji.

wykonania podczas realizacji tranzakcji.

Miarą nazywamy częstość wystąpienia

Miarą nazywamy częstość wystąpienia

błędnych tranzakcji.

błędnych tranzakcji.

►

Częstotliwość występowania błędnych

Częstotliwość występowania błędnych

wykonań.

wykonań.

►

Średni czas między błędami.

Średni czas między błędami.

►

Dostępność. Jest to prawdopodobieństwo

Dostępność. Jest to prawdopodobieństwo

dostępności systemu w danej chwili.

dostępności systemu w danej chwili.

Oszacowanie niezawodności

Oszacowanie niezawodności

►

Ma duży wpływ na koszt konserwacji

Ma duży wpływ na koszt konserwacji

oprogramowania.

oprogramowania.

►

Pozwala oszacować koszt serwisu,

Pozwala oszacować koszt serwisu,

liczbę personelu, liczbę zgłoszeń

liczbę personelu, liczbę zgłoszeń

błędów.

błędów.

►

Pozwala ocenić i polepszyć proces

Pozwala ocenić i polepszyć proces

wytwarzania.

wytwarzania.

Wykrywanie błędów

Wykrywanie błędów

►

Testy funkcjonalne – zakładają

Testy funkcjonalne – zakładają

znajomość wymagań wobec testowanej

znajomość wymagań wobec testowanej

funkcji. System traktujemy jak czarną

funkcji. System traktujemy jak czarną

skrzynkę, która realizuje funkcje w

skrzynkę, która realizuje funkcje w

nieznany sposób.

nieznany sposób.

►

Testy strukturalne – zakładają znajomość

Testy strukturalne – zakładają znajomość

sposobu implementacji testowanych

sposobu implementacji testowanych

funkcji

funkcji

Testy funkcjonalne

Testy funkcjonalne

►

Uniemożliwiają przetestowanie

Uniemożliwiają przetestowanie

rzeczywistego systemu ze względu na

rzeczywistego systemu ze względu na

liczbę kombinacji danych wejściowych.

liczbę kombinacji danych wejściowych.

►

Zakłada się, że jeśli dana funkcja

Zakłada się, że jeśli dana funkcja

działa dla kilku danych wejściowych

działa dla kilku danych wejściowych

poprawnie to i dla reszty też tak

poprawnie to i dla reszty też tak

będzie.

będzie.

Testy strukturalne

Testy strukturalne

►

Dane wejściowe dobiera się na podstawie

Dane wejściowe dobiera się na podstawie

analizy struktury programu realizującego daną

analizy struktury programu realizującego daną

funkcję.

funkcję.

►

Wyróżniamy kryterium pokrycia wszystkich

Wyróżniamy kryterium pokrycia wszystkich

instrukcji, czyli dane wejściowe są tak dobrane

instrukcji, czyli dane wejściowe są tak dobrane

by każda instrukcja wykonała się co najmniej

by każda instrukcja wykonała się co najmniej

raz oraz kryterium pokrycia warunkowego czyli

raz oraz kryterium pokrycia warunkowego czyli

istnieje możliwość, że dla danych wejściowych

istnieje możliwość, że dla danych wejściowych

nie będą spełnione ich wymagania.

nie będą spełnione ich wymagania.

Co używamy do testowania:

Co używamy do testowania:

►

Programy uruchamiające (debuggers)

Programy uruchamiające (debuggers)

►

Analizatory przykrycia kodu

Analizatory przykrycia kodu

►

Programy porównujące

Programy porównujące

Testy statyczne

Testy statyczne

►

Testy statyczne p

Testy statyczne p

olega

olega

ją na analizie kodu bez

ją na analizie kodu bez

jego uruchamiania.

jego uruchamiania.

►

Dowody poprawności – praktycznie nie używane

Dowody poprawności – praktycznie nie używane

►

Metody nieformalne – jest to analiza kodu prze

Metody nieformalne – jest to analiza kodu prze

programistów. Pozwala znaleźć błędy takie jak:

programistów. Pozwala znaleźć błędy takie jak:

niezainicjowanie zmiennych, przepełnienie

niezainicjowanie zmiennych, przepełnienie

tabeli, nieprawidłowe urzucie kursorów i

tabeli, nieprawidłowe urzucie kursorów i

wskaźników itp.

wskaźników itp.

Testy systemu

Testy systemu

►

Testowanie wstępujące – najpierw

Testowanie wstępujące – najpierw

testujemy moduły niższego poziomu a

testujemy moduły niższego poziomu a

potem wyższego.

potem wyższego.

►

Testowanie zstępujące – najpierw

Testowanie zstępujące – najpierw

testujemy moduły wyższego poziomy a

testujemy moduły wyższego poziomy a

potem niższego.

potem niższego.

Testy pod obciążeniem i

Testy pod obciążeniem i

odpornościowe

odpornościowe

►

Testy obciążeniowe umożliwiają zbadanie

Testy obciążeniowe umożliwiają zbadanie

zachowania, wydajności i niezawodności

zachowania, wydajności i niezawodności

systemu podczas pracy pod pełnym lub

systemu podczas pracy pod pełnym lub

nadmiernym obciążeniem.

nadmiernym obciążeniem.

►

Testy odpornościowe pokazują jak

Testy odpornościowe pokazują jak

zachowuje się system w przypadku np.

zachowuje się system w przypadku np.

zaniku prądu, wprowadzenie

zaniku prądu, wprowadzenie

niepoprawnych danych itp.

niepoprawnych danych itp.

Testy akceptacyjne

Testy akceptacyjne

►

Testy akceptacyjne polegają na przekazaniu

Testy akceptacyjne polegają na przekazaniu

oprogramowania klientom docelowym w celu

oprogramowania klientom docelowym w celu

zatwierdzenia. Jeżeli oprogramowanie jest

zatwierdzenia. Jeżeli oprogramowanie jest

realizowane na zamówienie system przekazywany

realizowane na zamówienie system przekazywany

jest do przetestowania przyszłemu użytkownikowi

jest do przetestowania przyszłemu użytkownikowi

po stronie zleceniodawcy. Takie testy są nazywane

po stronie zleceniodawcy. Takie testy są nazywane

testami alfa.

testami alfa.

►

Dla oprogramowania sprzedawanego rynkowo

Dla oprogramowania sprzedawanego rynkowo

przewidziane są testy polegające na nieodpłatnym

przewidziane są testy polegające na nieodpłatnym

przekazaniu pewnej liczby kopii systemu grupie

przekazaniu pewnej liczby kopii systemu grupie

użytkowników. Testy te są nazywane testami beta.

użytkowników. Testy te są nazywane testami beta.

Czynniki sukcesu

Czynniki sukcesu

Na czynniki sukcesu wpływa:

Na czynniki sukcesu wpływa:

►

Określenie fragmentów o szczególnej

Określenie fragmentów o szczególnej

niezawodności

niezawodności

►

Właściwa motywacja testerów

Właściwa motywacja testerów

►

Poprawa znalezionych błędów

Poprawa znalezionych błędów

►

Oszacowanie niezawodności i kosztów

Oszacowanie niezawodności i kosztów

konserwacji.

konserwacji.

Standardy w testowaniu

Standardy w testowaniu

►

Podstawowym standardem dla testowania

Podstawowym standardem dla testowania

oprogramowania jest

oprogramowania jest

IEEE 829 – 1998 (829

IEEE 829 – 1998 (829

Standard for Software Test Documentation)

Standard for Software Test Documentation)

.

.

Jest to standard określający formę zbioru 8

Jest to standard określający formę zbioru 8

dokumentów potrzebnych w każdej z faz

dokumentów potrzebnych w każdej z faz

testowania oprogramowania. W efekcie

testowania oprogramowania. W efekcie

każdej z tych faz tworzony jest 1 dokument

każdej z tych faz tworzony jest 1 dokument

wynikowy. Standard ten określa dokładnie

wynikowy. Standard ten określa dokładnie

format dokumentów, jednak nie wymaga aby

format dokumentów, jednak nie wymaga aby

wszystkie były wykonane. Nie zawiera także

wszystkie były wykonane. Nie zawiera także

informacji o tym co dokładnie mają zawierać.

informacji o tym co dokładnie mają zawierać.

Standardy w testowaniu

Standardy w testowaniu

►

Test Plan

Test Plan

– dokument planowania zarządzania projektem, który składa się z informacji o

– dokument planowania zarządzania projektem, który składa się z informacji o

tym, w jaki sposób będą prowadzone testy, kto będzie je przeprowadzał, co będzie

tym, w jaki sposób będą prowadzone testy, kto będzie je przeprowadzał, co będzie

testowane, jak długo potrwa cały proces oraz jaki będzie zakres testów.

testowane, jak długo potrwa cały proces oraz jaki będzie zakres testów.

►

Test Design Specification

Test Design Specification

– szczegóły na temat warunków testowania, oczekiwanych

– szczegóły na temat warunków testowania, oczekiwanych

wyników a także kryteriach przejścia testu.

wyników a także kryteriach przejścia testu.

►

Test Case Specification

Test Case Specification

– specyfikuje dane testowe do użycia podczas wdrażania

– specyfikuje dane testowe do użycia podczas wdrażania

warunków testowania określonych w Test Design Specification.

warunków testowania określonych w Test Design Specification.

►

Test Procedure Specification

Test Procedure Specification

– zawiera szczegóły na temat przeprowadzenia każdego

– zawiera szczegóły na temat przeprowadzenia każdego

testu włączając w to założenia oraz poszczególne kroki testów.

testu włączając w to założenia oraz poszczególne kroki testów.

►

Test Item Transmittal Report

Test Item Transmittal Report

– zawiera raporty na temat czasu przejścia testowanych

– zawiera raporty na temat czasu przejścia testowanych

fragmentów oprogramowania między etapami.

fragmentów oprogramowania między etapami.

►

Test Log

Test Log

– zawiera informacje o tym, które przypadki testowania zostały użyte, kto je

– zawiera informacje o tym, które przypadki testowania zostały użyte, kto je

użył i w jakim porządku oraz informacje o ich powodzeniu.

użył i w jakim porządku oraz informacje o ich powodzeniu.

►

Test Incident Report

Test Incident Report

– zawiera informacje o testach zakończonych niepowodzeniem.

– zawiera informacje o testach zakończonych niepowodzeniem.

Informacje o wynikach oraz dlaczego dany test nie powiódł się.

Informacje o wynikach oraz dlaczego dany test nie powiódł się.

►

Test Summary Report

Test Summary Report

– raport ten zawiera wszystkie istotne informacje ujawnione

– raport ten zawiera wszystkie istotne informacje ujawnione

podczas zakończonych testów oraz wyceny jakości procesów testowania, jakości

podczas zakończonych testów oraz wyceny jakości procesów testowania, jakości

oprogramowania poddanego testowi, a także statystyki uzyskane z Incident Report.

oprogramowania poddanego testowi, a także statystyki uzyskane z Incident Report.

Raport referuje również do typów i czasu trwania wykonanych testów w celu

Raport referuje również do typów i czasu trwania wykonanych testów w celu

usprawnienia wszelkich planów związanych z testami w przyszłości. Ostateczna forma

usprawnienia wszelkich planów związanych z testami w przyszłości. Ostateczna forma

dokumentu jest wykorzystywana w celach weryfikacji poprawności testowanego systemu

dokumentu jest wykorzystywana w celach weryfikacji poprawności testowanego systemu

względem wymagań zdefiniowanych przez zleceniodawców.

względem wymagań zdefiniowanych przez zleceniodawców.

Test plan - zawartość

Test plan - zawartość

►

Opis

Opis

►

Odwzorowanie testów na wymagania

Odwzorowanie testów na wymagania

(ang. requirements traceability)

(ang. requirements traceability)



Weryfikacja pokrycia wymagań

Weryfikacja pokrycia wymagań

►

Wyszczególnienie co będzie podlegać testowaniu

Wyszczególnienie co będzie podlegać testowaniu

►

Plan czasowy

Plan czasowy

►

Procedury przeprowadzania testów

Procedury przeprowadzania testów



Zachowywanie wyników testów

Zachowywanie wyników testów

►

Wymagania sprzętowe i programowe

Wymagania sprzętowe i programowe

►

Znane ograniczenia

Znane ograniczenia

Podsumowanie

Podsumowanie

►

Weryfikacja != walidacja

Weryfikacja != walidacja

►

Cel testowania: stwierdzenie błędów w

Cel testowania: stwierdzenie błędów w

systemie

systemie

►

Testowanie musi być uwzględnione od

Testowanie musi być uwzględnione od

początku w planach projektu

początku w planach projektu



Również w alokacji zasobów do projektu

Również w alokacji zasobów do projektu



Test plan – niezbędny dokument

Test plan – niezbędny dokument

projektowy

projektowy