Babin

Hasła przedmiotowe w istotny sposób ułatwiają skuteczne wyszukiwania zasobów, ich ręczne przydzielanie jest jednak zadaniem czasochłonnym, zwłaszcza biorąc pod uwagę olbrzymią ilość publikowanych materiałów i tempo przyrostu bibliotecznych księgozbiorów. Narzędzia służące do automatycznego indeksowania przedmiotowego (AIP) i klasyfikacji mogą pomóc w rozwiązaniu problemów skali oraz wydajności pracy, i można ich używać do wzbogacania istniejących rekordów bibliograficznych, by tworzyć więcej powiązań między zasobami i poprawić spójność danych bibliotecznych. Wykorzystuje się je też, na wiele sposobów, poza środowiskiem bibliotek, m.in. przy filtrowaniu poczty elektronicznej czy też tematycznym zbieraniu kolekcji dokumentów w sieci www (ang. focused crawling).

Opnie specjalistów na temat potencjału AIP są podzielone (por. babin.bn.org.pl/?p=3888) – wg części z nich, rozwiązanie to będzie w stanie całkowicie zastąpić manualne opracowanie rzeczowe w pewnych obszarach tematycznych, zdaniem innych, zwiększenie efektywności i jakości indeksowania wymaga zarówno udziału wyspecjalizowanych katalogerów, jak i wsparcia komputerowego. Ponieważ zgromadzono jak dotąd niewiele dowodów potwierdzających skuteczność aplikacji AIP w rzeczywistym środowisku informacyjnym (badania prowadzi się zwykle w warunkach laboratoryjnych), autorzy postanowili opracować ramy dla ewaluacji jakości indeksacji zawartości treściowej i klasyfikacji, dokonując w tym celu systematycznego przeglądu piśmiennictwa dotyczącego stosowanych dotychczas metod oceny, w tym zwłaszcza podejść do ewaluacji narzędzi AIP.

Przedstawili następnie rekomendacje dotyczące kroków, jakie należy podjąć i zalecanych procedur w odniesieniu do trzech omawianych w literaturze przedmiotu podejść: 1) bezpośredniego sprawdzania przydzielonych terminów poprzez osoby oceniające lub przez porównanie do „złotego standardu” (zbioru dokumentów, z których każdy jest poprawnie i wyczerpująco opisany i sklasyfikowany), 2) bezpośredniej ewaluacji jakości indeksowania wspomaganego komputerowego w kontekście stosowanych procedur opisu rzeczowego oraz 3) oceny pośredniej jakości AIP przez analizę wyników wyszukiwania. Przyjętym w badaniu scenariuszem było wyszukiwanie w ograniczonym zbiorze, przy pomocy jednej lub większej liczby strategii (operatory logiczne Boole’a, struktura katalogu rzeczowego po której użytkownik może nawigować, ograniczanie wyników wyszukiwanie przez fasety lub filtry, dzięki którym można wybrać określone kryteria).

W artykule przedyskutowano również wady i zalety referowanych metod ewaluacji analizy przedmiotowej, w problemy dotyczące szacowania odpowiedniego zakresu tematycznego (ang. aboutness) i relewancji, sugerując, że korzystanie z jednej metody „złotego standardu” przy ocenie indeksowania i efektów wyszukiwania może być niewystarczające. Przybliżono również przyjęte założenia teoretyczne i terminologię oraz specyfikę proponowanego modelu oceny, koncentrując się na szczegółowym omówieniu metod gromadzenia i analizy danych (podejścia do pomiaru wyników indeksowania i wyszukiwania przeanalizowano w odrębnym artykule). Przedstawione zalecenia mają służyć zarówno jako praktyczny poradnik realistycznej oceny, mogący ułatwić wybór odpowiednich narzędzi, jak i ich dalsze usprawnianie.