Niestety, większość systemów wyszukiwawczych, nie ujawnia jak są indeksowane strony, jakiego typu źródła indeksują (ftp, WWW, gopher, Usenet, listy dyskusyjne itd.) i jak duże mają bazy danych lub jaka część sieci WWW została zaindeksowana. Nawet jeśli użytkownik zna rozmiary bazy danych jakiegoś systemu wyszukiwawczego, to do porównania niezbędna jest znajomość tych samych parametrów innych systemów wyszukiwawczych. Przy braku takich informacji przeprowadzanie takiego porównania nie jest możliwe.
Celem tego artykułu jest ustalenie kryteriów dotyczących systemów wyszukiwawczych, a nie zawartości samych źródeł informacji, a więc witryn Internetowych (stron WWW), czy katalogów przedmiotowych. Każdy z tych systemów należałoby oceniać według swoistego zbioru kryteriów. Na przykład, zupełność i adekwatność kategorii byłyby kryteriami oceny katalogów rzeczowych (w Internecie), a nie systemów wyszukiwawczych, natomiast częstotliwość uaktualnień mogłaby być kryterium odpowiednim do oceny katalogów przedmiotowych, systemów wyszukiwawczych lub zawartości stron WWW. Problem jest jeszcze bardziej skomplikowany, bo obecnie w Internecie, systemy wyszukiwawcze bardzo często mają katalogi rzeczowe, a z kolei katalogi te mają swoje systemy wyszukiwawcze. Tak więc właściwa ocena każdego aspektu systemu wyszukiwawczego wiąże się z oddzielnym zbiorem kryteriów, a jeden błąd popełniony przy tworzeniu systemów oceny może zaważyć na pozostałych kryteriach.
Tworząc koncepcję ocen systemów wyszukiwawczych należy pamiętać
0 wyznaczeniu celów, dla których zostaną ustalone kryteria oceny. Na przykład formularz ocen systemu wyszukiwawczego przeznaczonego dla dzieci w szkole będzie wyglądał inaczej niż formularz systemu wyszukiwawczego przeznaczonego dla bibliotekarzy medycznych. Zamierzam spojrzeć na to zagadnienie w szerszym aspekcie: tj. określić wartość systemów wyszukiwawczych mając na względzie ułatwianie pracy bibliotekarzom i innym pracownikom informacji, bo ze względu na charakter tej pracy trzeba będzie w znacznym stopniu zmodyfikować dotychczas stosowane kryteria.
Kryteria oceny można podzielić na 5 typów odnoszących się do:
(1) rodzaju i jakości bazy danych systemu wyszukiwawczego;
(2) interfejsu użytkownika;
(3) możliwości wyszukiwawczych systemu;
(4) modułu wyprowadzania danych, w szczególności określenia (lub nie) stopnia relewancji;
(5) innych aspektów.
Określając kryteria należy pamiętać o dwóch sprawach:
(A) Różne kryteria lub zbiory kryteriów mają różną wagę. Na przykład, interfejs użytkownika (łatwość wykorzystania) jest mniej ważny niż jakość
1 liczba danych wyjściowych (t.j. jakość baz danych i zastosowane kryteria relewancji) ;
(B) Wśród kryteriów można wyróżnić dwa rodzaje:
(a) Takie, na które można udzielić rozłącznych odpowiedzi:
(i) tak,
(ii) nie,
(iii) nie stosuje się, lub
(iv) wartość różna w zależności od systemu, na przykład użycie operatorów boolowskich: „tak: AND, OR, NOT.”
4