PROBLEMY JAKOŚCI, EFEKTYWNOŚCI I OCENY WYKONANIA
W PROGRAMIE 72 KONFERENCJI GENERALNEJ IFLA W SEULU,
KOREA 20-24 SIERPNIA 2006
Elżbieta B. Zybert
Instytut Informacji Naukowej i Studiów Bibliologicznych
Uniwersytet Warszawski
W dniach 20 - 24 SIERPNIA 2006 r. w Seulu odbyła się, zorganizowana przez IFLA 72 Konferencja Generalna.
Jej tematyka koncentrowała się wokół znaczenia, miejsca i roli bibliotek/ośrodków informacji w przygotowaniu ludzi do jak najszerszego udziału w społeczeństwie wiedzy i informacji.
Zaprezentowano kilkadziesiąt wystąpień, odnoszących się do tematyki jakościowej, które ukazywały praktyczne osiągnięcia i doświadczenia bibliotek w tym zakresie.
Wystąpienia można podzieli tematycznie na trzy części, dotyczące:
tworzenia warunków sprzyjających jakości i pomiarowi,
benchmarkingu,
pomiaru i różnych narzędzi wykorzystywanych w ewaluacji.
Tworzenie warunków sprzyjających jakości i pomiarowi
Otoczenie bibliotek (na które składają się: • nowe technologie, • potrzeby i oczekiwania użytkowników, • konieczność efektywnego wykorzystania środków, • akredytacja, itp.), ulega ciągłym transformacjom, które wymagają dostosowania bibliotek do jego wymogów.
Człowiek - użytkownik - klient jest usytuowany w centrum wszelkich przedsięwzięć, a to wymaga przeprowadzania zmian w potencjale, strukturze, sposobach funkcjonowania i działania.
Efektem wprowadzenia w życie tych zmian będzie zwiększenie bibliotecznej efektywności, podwyższenie poziomu jakości świadczonych usług i satysfakcji użytkowników.
Do wprowadzenia postulowanych zmian konieczne jest odpowiednie przygotowanie do nich wszystkich pracowników.
Taką funkcje może pełnić kultura organizacyjna, przekazująca i upowszechniająca wspólne dla pracowników wzory myślenia, postrzegania i działania, odnoszące się do celów biblioteki i dokonujacych się zmian.
Na jej [kultury organizacyjnej] znaczenie w procesie doskonalenia jakości pracy i usług bibliotecznych zwróciła uwagę Leonor Gaspar Pinto z Department of Libraries and Archives of Lisbon Municipality.
Podkreśliła ona, że sukces w tym zakresie zależy od odpowiedniej atmosfery i warunków.
Pożądana w tym procesie kultura organizacyjna (Pinto nazywa ją kulturą oceny) nie tylko sprzyja działaniom ewaluacyjnym w odniesieniu do jakości i funkcjonalności, ale prowadzi do przeprowadzania oceny i pomiaru jakości.
Stanowi integralną cześć kultury skoncentrowanej na użytkowniku.
Kultura oceny to podstawowe i instytucjonalne zmiany, które musza nastąpić, aby personel biblioteczny mógł działać w warunkach, w których decyzje oparte są na faktach, studiach i analizach, a usługi planowane i dostarczane tak, by zapewnić maksymalizacje pozytywnych rezultatów i pożądanych oddziaływań na klientów bibliotek.
Podstawowymi wartościami ustanowiono jakość świadczonych usług oraz uwzględnianie instytucjonalnych wartości organizacji macierzystych, władz rządowych i samorządowych, które jako siły zewnętrzne determinują strategie i cele danej biblioteki i wymuszają zmiany.
Lizboński program tworzenia kultury oceny
Władze odpowiedzialne za funkcjonowanie bibliotek na terenie Lizbony zapoczątkowały w 2003 roku program tworzenia kultury oceny w bibliotekach
lizbońskich (BLX Performance Assessment Program), który ma prowadzić do wypracowania kultury zorientowanej na klienta- użytkownika.
W pierwszej fazie jego wdrażania skoncentrowano się na implementacji Zintegrowanego Systemu Oceny Funkcjonalności (Integrated Performance
Evaluation System), mający na celu:
- pomoc dla personelu i osób zarządzających bibliotekami w procesach decyzyjnych,
- udoskonalenie wydajności i skuteczności biblioteki, a tym samym potwierdzenie społecznej wartości sieci bibliotek miejskich w Lizbonie.
Identyfikacja istotnych barier kulturalnych, których przezwyciężenie będzie prowadzić do kultury zapewniania jakości możliwa była dzięki wcześniejszym doświadczeniom bibliotek w zakresie pomiaru funkcjonalności.
Budowa kultury sprzyjającej ocenie wymaga wsparcia w postaci systemu gromadzącego, analizującego i prezentującego dane dotyczące funkcjonalności sieci publicznych bibliotek lizbońskich, a także zmian w przekonaniach pracowników, ich nastawieniu i umiejętnościach.
Dlatego też do realizacji programu kultury oceny w bibliotekach włączono komponent nazwany „Inicjatywa w zakresie Zarządzania Wiedzą”
(Knowledge Management Initiative). Mający umożliwić zrealizowanie celów organizacyjnych poprzez ustrukturyzowanie ludzi, technologii oraz pokonanie barier kulturowych, zidentyfikowanych wcześniej, i utworzyć stałą kulturę oceny zorientowaną na użytkownika.
Jednym z przejawów takiej kultury jest prowadzenie badań satysfakcji użytkowników (przy zastosowaniu metody SERVQUAL*) i wdrażanie kompleksowych modeli bibliotecznych, w których klient - użytkownik jest
w centrum zainteresowania każdej placówki.
*Metoda Servqual to system pomiaru jakości obsługi, w ramach którego ocenia się punktowo stopień wypełnienia przez organizacje (w odczuciu klienta) pięciu głównych wymagań:
niezawodność,
odpowiedzialność,
zaufania ,
empatii,
zapewnienia dostępu do sprzętu, materiałów i personelu.
Badania te oparte są na specjalnym kwestionariuszu. Każdej z wymienionych pięciu cech przypisywanych jest kilka stwierdzeń (czterech lub pięciu) - w sumie są to dwadzieścia dwa stwierdzenia. Badany klient ocenia punktowo , w skali 1-7, adekwatność określonego stwierdzenia w odniesieniu do własnych odczuć na temat usług świadczonych przez konkretną organizację.
Portugalskie osiągnięcia kultury oceny
Przykładem wcześniej wspomnianych działań są prowadzone w bibliotekach instytucji rządowych kolejne osiągnięcia portugalskie, które uchodzą w Europie za przykłady najlepszych rozwiązań praktycznych.
Agenda informacyjna portugalskiego Ministerstwa Edukacji rozpoczęła w 1996 roku realizacje programu jakościowego, wykorzystującego metody i model jakościowy EFQM (Model Doskonałości Europejskiej Fundacji Zarządzania Jakością - European Foundation for Quality Management's Excellence Model) oraz program CAF (Wspólna Metoda Oceny - Common Assessment Framework), zalecany do samooceny publicznych usług administracyjnych w Europie.
W efekcie prowadzenia tego programu:
opracowano model strategicznych działań dla tej agendy informacyjnej, ukierunkowany na zaspokajanie potrzeb użytkowników, poznawanie i ocenę zachowań informacyjnych w procesie wyszukiwania
i wykorzystywania informacji, stosujący metodologie ilościowe i jakościowe;
powiązano rozwój i wdrażanie koncepcji jakości z wiedzą, która jest niezbędna do zbudowania wzajemnego współdziałania miedzy organizacjami (usługodawcami) a klientami (usługobiorcami).
J. E. Davis zwrócił uwagę na misję i wizję jako czynniki strategiczne w zarządzaniu i jednocześnie elementy kultury organizacyjnej prowadzące do zaspokajania potrzeb użytkowników oraz sprzyjające wprowadzeniu kultury jakości, która znowu prowadzi do pomiaru i oceny usług i działań bibliotecznych.
Malhan podkreślił znaczenie zarządzania i planowania strategicznego, które prowadzą do zarządzania przez jakość. Zarządzanie strategiczne w bibliotece, obejmujące proces formułowania i planowania strategii musi być odpowiedzią na potrzeby i oczekiwania środowiska, w którym dana placówka istnieje. W sposób bezpośredni przyczynia się do przeprowadzenia zmian organizacyjnych i strukturalnych podnoszących efektywność zarządzania i gospodarowania środkami finansowymi oraz tworzenia atrakcyjnego wizerunku biblioteki. Zwiększa zdolność adaptacyjną biblioteki poprzez wprowadzanie ciągłych zmian w wewnętrznym jej układzie w sposób systemowy, kompletny i profesjonalny.
Benchamarking
Podczas konferencji sporo uwagi poświęcono benchmarkingowi.
Benchmarking to sposób zarządzania, który poprzez porównywanie metod,
procedur i strategii działania w innych instytucjach (lub innych agendach tej samej instytucji) umożliwia ustalenie najlepszego wzorca postępowania.
Roswitha Poll w swoim wystąpieniu zaprezentowała wyniki swoich badań dotyczących wykorzystania wskaźników funkcjonalności w różnych projektach benchmarkingowych realizowanych na świecie.
W swoim badaniu wzięła pod uwagę 6 projektów: 2 niemieckie, holenderski, szwedzki, angielski i australijski, w których uczestniczyło łącznie ponad 550 bibliotek publicznych i akademickich.
Za cel badania postawiono wykazanie, jakie wskaźniki funkcjonalności są brane pod uwagę oraz jakie są relacje miedzy wskaźnikami wykorzystywanymi w projektach a wskaźnikami ze standardu ISO 11620. Badano również czy wskaźniki zastosowane w projektach są precyzyjnie zdefiniowane a metody ich gromadzenia są jednoznaczne dla bibliotek uczestniczących w projekcie.
przeprowadzona analiza potwierdziła potrzebę i zasadność studiów dotyczących funkcjonalności bibliotek.
Badania wykazały, że dla potrzeb benchmarkingu biblioteki dowolnie wybierają wskaźniki do badań z różnych zestawów wskaźników i nie zawsze jest to standard ISO 11620.
Zauważono, że w większości projektów benchmarkingowych uczestniczące biblioteki pomijają wartość informacyjną wskaźników, gdy czują, że konkretny wskaźnik ma
niekorzystny wpływ na ich własny wynik. Także dane gromadzone przez biblioteki nie zawsze są rzetelnym źródłem do porównań.
Poll sugeruje że problemy napotkane podczas badania, prowadzą do zastępowania oceny funkcjonalności przez badania satysfakcji użytkowników. Najchętniej wykorzystywaną metodą badań jest projekt LibQUAL+.
Kolejną prezentacją dotyczącą benchmarkingu, były badania całych systemów bibliotecznych lub wybranych komponentów obejmujące poszczególne usługi czy funkcje.
Eve Woodberry [z Council of Australian University Librarians] przedstawiła współpracę 38 bibliotek uniwersyteckich, które zobowiązały się do pomiaru funkcjonalności swoich placówek i tworzenia baz danych dla potrzeb badań porównawczych. Dane zbierane są na podstawie wskaźników uznanych za najważniejsze dla prawidłowej obsługi użytkowników.
Maria Seissli [z Vienna Uniwersity Library and Archive Serices] przedstawiła przygotowania do ogólnoaustraickich badań benchmarketingowych w grupie uniwersyteckich bibliotek. Biblioteki zostały zmuszone do udokumentowania prawidłowości i efektywności wykorzystania środków finansowych, jak również zmierzenia funkcjonalności i pomiaru wykonania zadań, głównie przez zmiany w finansowaniu i akredytacji bibliotek. Powołano nawet grupę roboczą ds. zarządzania jakością i miernikiem funkcjonalności w bibliotekach akademickich, której celem jest dokonanie wyboru wskaźników zaproponowanych w normie ISO 11620 oraz wytycznych IFLA i utworzenie na ich podstawie baz danych służących jako materiał do badań porównawczych .
Uczelnie w Republice Południowej Afryki zobowiązane zostały do zorganizowania audytu oceniającego jakość kształcenia, której wyznacznikiem jest m.in. efektywne działanie bibliotek. W celu przeprowadzenia oceny bibliotek powołano CHELSA [Committee for Higher Education Librarians In South Africa] oraz podkomitet do spraw zapewnienia jakości zwaną Quality Assurance Subcommittee [QA]. Przygotowano zestaw wskaźników funkcjonalności, które są podstawą do gromadzenia danych umożliwiających porównania oraz Measures for Quality - zestaw wskaźników wraz z definicjami, określeniem zadań, metod badania, interpretacji i możliwych rozwiązań oraz narzędzia do badania satysfakcji użytkowników.
Margarita Moreno [z Document Supply Service z National Library of Australia] przedstawiła badania benchmarketingowe obejmujące ponad 100 bibliotek australijskich uczestniczących w wypożyczaniu międzybibliotecznym. Badania miały dwa etapy: pierwszy, którego celem było identyfikacja czynników uznanych za kluczowe dla wykonania usług, ich ocena oraz sformułowanie zaleceń umożliwiających zwiększenie efektywności dostarczenia dokumentów. Drugi etap obejmował zidentyfikowania i wdrożenia zaleceń oraz zbadanie ci po pięciu latach. Badania wykazały usprawnienia względem wcześniejszych wyników i potwierdzono przydatność tych badań.
Problemy pomiaru i wskaźników pomiaru
Dokonywanie pomiaru wykonania zadań poprzez analizę danych statystycznych i pozastatystycznych oraz porównanie ich z misja i celami bibliotek prowadzą do doskonalenia prac i usług bibliotecznych. Biblioteki wykorzystują do tych badań różne wskaźniki i metody pomiaru.
Luciana Sacchetti przedstawiła System Zarządzania Jakością (Quality Managment System - QMS), realizowany w bibliotece Department of Statistics Uniwersytetu Bolońskiego, która za jego implementacje otrzymała certyfikat jakości. Podstawą do przyznania certyfikatów Det Norske Veritas jest stosowanie audytu, opartego na wiedzy. Dzięki temu łatwiej jest zrozumieć, gdzie skupić wysiłki niezbędne do doskonalenia działań, a zarazem minimalizować ryzyko niezaspokojenia oczekiwań użytkowników. System Zarządzania Jakością wykorzystuje sześć narzędzi opartych na wiedzy. Są to:polityka jakości i jakościowe cele, zestaw 22 wskaźników statystycznych dla oceny procesów bibliotecznych, korygowanie działań i sytuacji niezgodnych z oczekiwaniami użytkowników, udokumentowanie procedur i specyfikacji działań odnoszących się do kształcenia i rozwoju umiejętności personelu bibliotecznego, coroczne badania satysfakcji użytkowników i w końcu konsultacja z grupami docelowymi.
Przedstawione działania dotyczyły nie tylko tradycyjnych usług bibliotecznych ale również oceny usług elektronicznych
Herman Roesch omówił kryteria brane pod uwagę w określaniu jakości usług cyfrowych. Pierwszym z nich to organizacja procesu informacyjnego czyli dostępność usług, struktura interfejsu użytkownika czy też użyte oprogramowanie. Kolejną była efektywność rozumiana jako średni czas trwania usługi oraz rozległość usług wynikającej z rodzaju zapytania. Trzy następne skupiają uwagę głównie na użytkowniku i jego relacjach z bibliotekarzem oraz informacją. Są to proces komunikacji, jakości odpowiedzi oraz użytkowanie z usług. Ostatnim punktem są metody oceny i sposobu pozyskania materiałów oceniających oraz satysfakcji, mierzonej poprzez trzy kryteria: zadowolenia z uzyskanych odpowiedzi, satysfakcji z usług i chęć skorzystania z usług ponownie.
Susan McGlamery i Jeff Penka przedstawili projekt „Question Poin" którego zadaniem jest doskonalenie jakości i satysfakcji użytkowników poprzez cyfrowe usługi informacyjne. Realizowany jest przez OCLC i Library of Congress, natomiast bierze w nim udział kilkaset bibliotek z całego świata, głównie ze Stanów Zjednoczonych. Cechą charakterystyczną jest możliwości skorzystania z szeregu modułów i czynność a także kierowanie pytań i otrzymywanie odpowiedzi poprzez e-mail lub usługi czatowe.
W sesji portretowej przedstawiono działania bibliotek zmierzające do doskonalenia jakości pracy. Głównym celem prezentacji przedstawionej w tej części konferencji był projekt odnoszący się do planowania pracy i usług Asessement Based Planning: FAMOUS Approach. Dzięki niemu możliwe jest efektywne planowanie i jak najlepsze wykorzystanie zasobów bibliotecznych. Składa się z sześciu komponentów:
formułowanie oczekiwań odnośnie rezultatów
określenie kryteriów sukcesu
pomiaru wykonania zadań
obserwacja i analiza rezultatów
wykorzystywanie uzyskanych rezultatów badań do dokonywania ulepszeń
wzmacnianie programów i usług
Podczas konferencji w Seulu zaprezentowano wiele projektów dotyczących szeroko rozumianej jakości, które wywołały ożywione dyskusje. Po zainteresowaniu jakim cieszyły się owe prezentacje można śmiało twierdzić, że coraz więcej bibliotekarzy nie tylko dostrzega konieczność wdrażania działań służących ocenie i pomiarowi funkcjonalności, ale coraz powszechniej są one prowadzone. Konferencje pomagają w wymianie doświadczeń i sprzyjają samodoskonaleniu.