ich form nie powinno się używać) na przykład, czy używać formy OH, czy też Ohio lub obu naraz, gdy interesują nas zasoby stanu Ohio. Na przykład, kiedy przegląda się National Library of Medicine w poszukiwaniu artykułów na temat raka, użycie angielskiego terminu cancer może zaowocować mniejszą liczbą relewantnych odpowiedzi niż użycie wyrażenia neoplasms, ponieważ to drugie częściej występuje w tekstach z tej właśnie dziedziny. Użytkownik musi starać się poznać właściwości systemów wyszukiwawczych. Większość użytkowników nie zadaje sobie tego trudu, a na stronach systemów wyszukiwawczych nie ma wskazań, które ostrzegałyby użytkownika o ubóstwie potencjalnych wyników. Konsekwencje tego są następujące: użytkownik musi wpisać kilka terminów i mieć nadzieje, że rezultaty będą pomyślne. Dobre systemy wyszukiwawcze powinny udostępniać odpowiednie informacje o sobie, tj. powiadamiać swoich użytkowników o naturze systemu, zasięgu, spodziewanych rezultatach oraz ryzyku związanym z wyszukiwaniem. Niestety informacje takie nie pojawiają się na powitalnych witrynach systemów. Oczywiście projektanci systemów mają ekonomiczną motywację, aby nie podawać tych informacji, mogłyby bowiem świadczyć o słabości systemu wyszukiwawczego. Nie zapominajmy też o tym, że płaci im się za liczbę osób odwiedzających ich stronę(y). Podsumowując: aby użytkownicy mogli w pełni wykorzystać zalety systemów wyszukiwawczych, winni być co najmniej zawodowymi pracownikami informacji (i prawdopodobnie informatykami, a w przypadku niektórych systemów wyszukiwawczych matematykami), aby zaś ustalić właściwy rodzaj pytania dla danej dziedziny winni poznać wspomniane wyżej kryteria oraz umieć je zastosować. A do tego niezbędna jest też cierpliwość oraz odpowiednie predyspozycje psychiczne. Jak widać wiedza na temat ustalania relewancji uzyskiwanych wyników jest tu problemem kluczowym, ale czy jest odpowiednio wykorzystywana?
Są jeszcze inne kwestie oceny klasyfikowania dokumentów - również natury etycznej. Niektóre serwisy systemu wyszukiwawczego sprzedają słowa kluczowe (firma, która kupi dane słowo zyskuje gwarancję, że dana strona WWW znajdzie się w pierwszej dziesiątce). Według Search Engine Watch tylko Go-To.com sprzedaje lokaty (według danych z 20/04/99), ale większość systemów sprzedaje miejsca na ogłoszenia (reklamy na stronach WWW swoich systemów wyszukiwawczych), które są połączone ze słowami kluczowymi (wprowadzonymi przez użytkownika). W takich przypadkach, twórcy oprogramowania modyfikują algorytm ustalania stopnia relewancji, tak aby sprzedane słowa kluczowe wskazywały użytkownikowi odpowiednie miejsca w Internecie (oczywiście danych firm).
Inne problemy dotyczące kryteriów oceny wyników wyszukiwawczych są następujące:
- czy istnieje jedna czy więcej form wyświetlania danych?
- czy eliminowane są powtórzenia?
- czy można zmienić liczbę wszystkich rezultatów wyszukiwań lub liczbę wyświetlanych wyników na ekranie?
- jak system wyszukiwawczy tworzy tytuły dla wyświetlonych na liście stron?
- czy możliwe jest ponowne wykorzystanie wyników (tj. czy można wprowadzić zmiany w wynikach wyszukiwania i następnie przeprowadzić wyszukiwanie opierając się na poprzednich wynikach bez wprowadzania dodatkowych terminów i ograniczeń)?
13