1

Ewaluacja systemu nadzoru
epidemiologicznego

Wzmocnienie Nadzoru Epidemiologicznego
nad Chorobami Zaka

źnymi w Polsce

Projekt Bli

źniaczy PL2006/IB/SO/02

Projekt finansowany z funduszy Unii Europejskiej

Ewaluacja systemu nadzoru
epidemiologicznego: cykliczny proces

Ró

żnice pomiędzy

potrzebami i mo

żliwościami

Wdro

żenie usprawnień

Monitorowanie

i ocena

Planowanie

usprawnie

ń

2

CO chcemy oceni

ć?

Technika

Nadzór nad

okre

śloną chorobą

System nadzoru

Z

łożoność

systemu

Sposób zdefiniowania problemu

è metoda ewaluacji è

usprawnienia

W jakim celu ewaluacja? – G

łówne Cele

Celem ewaluacji jest:

ocena zdolno

ści

systemu nadzoru

do spe

łnienia jego

g

łównych założeń

w celu:

●

usprawnienia jego funkcjonowania

●

dokonania zmian uzasadnionych:

- zmian

ą priorytetów

- zmieniaj

ącą się epidemiologią choroby

●

optymalizacji wykorzystania dost

ępnych zasobów

3

Plan ewaluacji

●

Ocena potrzeb, z uwzgl

ędnieniem:

–

kontekstu kraju/regionu

–

charakterystyki nadzorowanej choroby

–

odbiorców informacji z systemu

●

Opis ocenianego systemu nadzoru

–

Cele nadzoru

–

Procedury

–

Struktura: zasoby, budowa systemu

●

Analiza atrybutów systemu

●

Analiza mo

żliwości systemu w odniesieniu do potrzeb

●

Zaplanowanie i wdro

żenie działań naprawczych

Plan ewaluacji

●

Ocena potrzeb

–

W kontek

ście kraju/regionu

–

Charakterystyka nadzorowanej choroby

–

Okre

ślenie odbiorców informacji z systemu

●

Opis ocenianego systemu nadzoru

–

Cele nadzoru

–

Procedury

–

Struktura: zasoby, budowa systemu

●

Analiza atrybutów systemu

●

Analiza mo

żliwości systemu w odniesieniu do potrzeb

●

Zaplanowanie i wdro

żenie działań naprawczych

4

Ocena potrzeb w zakresie nadzoru

Opisanie kontekstu kraju / regionu

- Populacja
- System opieki zdrowotnej
- Struktura polityczna i administracja

Charakterystyka jednostki chorobowej

- Charakterystyka choroby (potencja

ł wywoływania

ognisk)

- Czynniki ryzyka (czy s

ą charakterystyczne dla kraju?)

Kto jest odbiorc

ą informacji z systemu?

•

Epidemiolodzy z Inspekcji Sanitarnej?

•

Klinicy

ści / Mikrobiolodzy / Zespoły Kontroli

Zaka

żeń Szpitalnych?

•

Specjali

ści Higieny Środowiskowej?

•

Menad

żerowie Służby Zdrowia?

•

Specjali

ści Promocji Zdrowia / Nauczyciele?

•

Spo

łeczeństwo?

5

Plan ewaluacji

●

Ocena potrzeb

–

W kontek

ście kraju/regionu

–

Charakterystyka nadzorowanej choroby

–

Okre

ślenie odbiorców informacji z systemu

●

Opis ocenianego systemu nadzoru

–

Cele nadzoru

–

Procedury

–

Struktura: zasoby, budowa systemu

●

Analiza atrybutów systemu

●

Analiza mo

żliwości systemu w odniesieniu do potrzeb

●

Zaplanowanie i wdro

żenie działań naprawczych

Cele Nadzoru Epidemiologicznego

●

Czy cele nadzoru s

ą:

–

Zorientowane na dzia

łanie?

–

Specyficzne?

–

Mo

żliwe do zmierzenia?

–

Akceptowalne?

–

Realistyczne?

–

Odnosz

ące się do czasu?

6

Cele nadzoru - przyk

łady

Ogólnikowe...

●

Oszacowanie chorobowo

ści wzw typu C

●

Wykrywanie ognisk odry

Specyficzne, mierzalne, zorientowane na dzia

łanie oraz

odnosz

ące się do czasu

●

Oszacowanie chorobowo

ści wzw typu C we Francji w

celu okre

ślenia zasobów służby zdrowia, które będą

musia

ły być zapewnione w ciągu kolejnych 20 lat

●

Wczesne wykrywanie skupisk zachorowa

ń na odrę w

czasie i przestrzeni w celu zapewnienia sprawnego
dochodzenia i kontroli ognisk odry

Procedury

●

Czy procedury nadzoru s

ą udokumentowane i

wystandaryzowane?

–

Definicje przypadków zachorowa

ń

–

Populacja nadzorowana

–

Typ systemu nadzoru

–

Jakie informacje s

ą zbierane (źródła danych,

stosowane mianowniki, itp.)

–

Przep

ływ informacji: od kogo i w jaki sposób

–

Analiza danych: kto, jak, i kiedy?

–

Raportowanie: w jaki sposób, jak cz

ęsto

(informacja zwrotna)

7

Zasoby, koszty

●

Koszty osobowe

●

Inne koszty

–

Podró

że

–

Szkolenia

–

Sprz

ęt

–

Komunikacja

–

. . .

●

Czy da si

ę odróżnić koszty związane z

nadzorem od rutynowej dzia

łalności?

●

Ocena potrzeb

–

W kontek

ście kraju/regionu

–

Charakterystyka nadzorowanej choroby

–

Okre

ślenie odbiorców informacji z systemu

●

Opis ocenianego systemu nadzoru

–

Cele nadzoru

–

Procedury

–

Struktura: zasoby, budowa systemu

●

Analiza atrybutów systemu

●

Analiza mo

żliwości systemu w odniesieniu do potrzeb

●

Zaplanowanie i wdro

żenie działań naprawczych

Plan ewaluacji

8

Atrybuty systemu nadzoru

●

Prostota

●

Elastyczno

ść

●

Akceptowalno

ść

●

Jako

ść Danych

●

Czu

łość

●

Swoisto

ść

●

Dodatnia warto

ść predykcji

●

Reprezentatywno

ść

●

Sprawno

ść

Prostota

●

Struktura

–

potrzebne informacje

–

liczba i rodzaj

źródeł danych

–

kto jest odbiorc

ą informacji

●

Prostota dzia

łania systemu

–

przesy

łanie danych

–

utrzymywanie systemu

–

analiza danych

–

rozpowszechnianie informacji zwrotnej

System musi maksymalnie uproszczony, w stopniu

umo

żliwiającym spełnianie postawionych mu celów...

9

Elastyczno

ść

●

Mo

żliwość wprowadzenie zmian do systemu w

krótkim czasie, przy niewielkim nak

ładzie pracy

oraz kosztów

–

Nowe zdarzenie które chcemy obserwowa

ć

–

Nowa definicja przypadku zachorowania

–

Nowe dane o zdarzeniu

–

Nowe

źródła informacji

Akceptowalno

ść

●

Wiedza

–

Definicje przypadków, procedury zg

łaszania przypadków

●

Warunki sprawnego zg

łaszania

–

Wystarczaj

ący zapas formularzy zgłoszeń

–

Optymalny nak

ład pracy

–

Prostota systemu

●

Motywacja

–

Zrozumienie, dlaczego nadzór jest wa

żny

–

Postrzeganie ryzyka zwi

ązanego z nadzorowanym

zdarzeniem

–

Regularna informacja zwrotna

10

Jako

ść Danych

Kompletno

ść i rzetelność gromadzonych danych

●

Kompletno

ść zgłoszeń

–

braki danych na formularzach nadzoru

●

B

łędy w trakcie obliczeń oraz analiz

●

Czynniki wp

ływające na poprawę jakości danych:

–

Proste formularze stosowane w nadzorze

–

Przejrzysty uk

ład elektronicznych formularzy

–

Szkolenie

–

Walidacja (kontrola jako

ści)

Czu

łość

●

Dwa aspekty:

–

proporcja wszystkich zachorowa

ń w populacji, które

zosta

ły wykryte przez system nadzoru

–

zdolno

ść systemu do wykrywania ognisk,

monitorowania zmian (czy zmienia si

ę odsetek

zg

łaszanych ognisk)

●

Okre

ślenie czułości wymaga:

–

walidacji gromadzonych informacji

–

gromadzenie informacji z dodatkowych, niezale

żnych

źródeł w celu oszacowania częstości badanego
zdarzenia w spo

łeczeństwie

11

Czynniki wp

ływające na wykrywanie

zachorowa

ń

●

Prawdopodobie

ństwo zgłoszenia się do lekarza

–

Ci

ężkość objawów

–

Dost

ęp do służby zdrowia

–

Uwarunkowania kulturowe i spo

łeczne (wyznawane

warto

ści, zwyczaje)

●

Prawdopodobie

ństwo rozpoznania klinicznego

–

Czy patogen powoduje objawy, które równie

ż stwierdza

si

ę w innych chorobach?

●

Prawdopodobie

ństwo rozpoznania laboratoryjnego

–

Dost

ępność diagnostyki laboratoryjnej

–

Dost

ępność diagnostyki referencyjnej

Czu

łość nadzoru w Polsce -

przyk

ład

0

10

20

30

40

50

60

70

80

90

1 00

O

ds

et

ek

zg

ło

sz

on

yc

h

za

ch

or

owa

ń

W Z W B

Grypa

Ospa

w ietrzna

Św ie rzb

Grzybica

Róża

Nadzorowana choroba

Źródło: Kacperczyk-Baran T, PSSE Zwoleń

12

Swoisto

ść

●

Proporcja osób zdrowych prawid

łowo

zakwalifikowanych jako nie b

ędące przypadkami przez

system nadzoru

Czu

łość vs Swoistość

System stopniowania: potwierdzony, prawdopodobny, mo

żliwy

13

• Proporcja zg

łoszonych zachorowań, u których rzeczywiście

rozpoznano nadzorowane zdarzenie

Chorzy

Zg

łoszeni

Tak

Tak

Nie

Wszyscy nie

zg

łoszeni

Prawda -

Fa

łsz +

Fa

łsz -

Prawda +

Wszyscy zg

łoszeni

Nie

PPV = Prawdziwie+ / Wszyscy zg

łoszeni

Wszyscy chorzyWszyscy zdrowi

Dodatnia Warto

ść Predykcji (PPV)

Reprezentatywno

ść

●

Reprezentatywny = dok

ładnie oddający rozkład cech w

badanej populacji wed

ług miejsca i czasu

●

Zwi

ązana z

-

jako

ścią danych

-

b

łędami podczas zbierania danych

-

kompletno

ścią zgłoszeń

14

Sprawno

ść

●

Opó

źnienie / szybkość przesyłania danych

pomi

ędzy etapami nadzoru

–

zachorowanie

–

rozpoznanie

–

zg

łoszenie

–

wprowadzenie danych

–

analiza danych

–

interpretacja

–

dzia

łania kontrolne

●

Przewlek

łe a ostre zachorowania

Czas

Mediana Czasu od Zg

łoszenia Zachorowania do

Rozpocz

ęcia Działań przez Służby Sanitarne

Czerwonka, Delaware, 1991

Przes

łanie zgłoszenia

Odebranie zg

łoszenia

Dzia

łania kontrolne

0

2

4

6

8

10

12

14

Liczba dni od wyst

ąpienia objawów

(n = 255)

(n = 264)

(n = 216)

15

Waga Atrybutów Nadzoru wg. Buehler‘a

Czu

łość

Reprezentatywno

ść

Dodatnia warto

ść predykcji

Sprawno

ść

Akceptowalno

ść

Elastyczno

ść

Prostota

Koszt

●

Ocena potrzeb

–

W kontek

ście kraju/regionu

–

Charakterystyka nadzorowanej choroby

–

Okre

ślenie odbiorców informacji z systemu

●

Opis ocenianego systemu nadzoru

–

Cele nadzoru

–

Procedury

–

Struktura: zasoby, budowa systemu

●

Analiza atrybutów systemu

●

Analiza mo

żliwości systemu w odniesieniu do potrzeb

●

Zaplanowanie i wdro

żenie działań naprawczych

Plan ewaluacji

16

Mo

żliwości systemu a potrzeby

Czy system umo

żliwia:

●

dostosowanie go do zmieniaj

ących się potrzeb

●

wykrywanie zachorowa

ń oraz ognisk

●

przeprowadzenie dochodze

ń oraz wdrażanie działań

kontrolnych

●

rozpowszechnianie i wymian

ę informacji

è ustalenie wad wymagaj

ących naprawy

●

Ocena potrzeb

–

W kontek

ście kraju/regionu

–

Charakterystyka nadzorowanej choroby

–

Okre

ślenie odbiorców informacji z systemu

●

Opis ocenianego systemu nadzoru

–

Cele nadzoru

–

Procedury

–

Struktura: zasoby, budowa systemu

●

Analiza atrybutów systemu

●

Analiza mo

żliwości systemu w odniesieniu do potrzeb

●

Zaplanowanie i wdro

żenie działań naprawczych

Plan ewaluacji

17

Okre

ślenie priorytetów dla składowych

nadzoru wymagaj

ących usprawnienia

Wady systemu
i ich
przyczyny
-
-
-
-
-
-
-

Ustalenie

-
-
-
-
-
-

Cele dzia

łań naprawczych

-
-
-
-

priorytetów

Okre

ślenie priorytetów dla składowych

nadzoru wymagaj

ących usprawnienia

Ktyteria dla ustalenia priorytetów:

Ranga

•

Cz

ęstość zdarzenia

•

Skutki pozostawienia elementu bez zmian

•

Mo

żliwość wdrożenia zmian

•

Wp

ływ na koszty działania systemu

•

Wp

ływ na system

18

Plan Dzia

łania

Problem

Cele dzia

łań naprawczych

Mo

żliwe rozwiązania

Osoby koordynuj

ące działania

Inni uczestnicy

Zagadnienie logistyczne

Wska

źniki poprawy systemu

Harmonogram

1

15

1

15

1

15

1

15

1

15

1

15

1

15

1)

Czynno

ść A

Czynno

ść B

Czynno

ść C

Czynno

ść D

Czynno

ść E

Czynno

ść F

2)

Czynno

ść A

Czynno

ść B

Czynno

ść C

3)

Czynno

ść A

Czynno

ść B

Czynno

ść C

Czynno

ść D

Czynno

ść E

Czynno

ść F

Cze

Lip

Lut

Mar

Kwi

Maj

Dzia

łania

Harmonogram

Cele

Rok

Sty

19

Wnioski

●

Ewaluacja musi by

ć podsumowana raportem

●

Ewaluacja stanowi integralny element
funkcjonowania nowoczesnego systemu nadzoru

●

Wyniki ewaluacji powinny s

łużyć dokonywaniu

zmian usprawniaj

ących funkcjonowanie systemu

●

Ewaluacja jest zadaniem dla osób
odpowiedzialnych za wdra

żanie systemów

nadzoru oraz utrzymywanie ich (raczej nie
ka

żdego pracownika Inspekcji Sanitarnej)