Babin

Wraz ze wzrostem liczby publikacji naukowych, ocena jakości dorobku naukowego (artykułów, książek i raportów badawczych) staje się coraz bardziej złożonym zadaniem. Choć, w praktyce, jego podstawową wartość oceniają komisje i eksperci mający odpowiednią wiedzę dziedzinową i kompetencje, ewaluacja ekspercka może nie obejmować w pełni różnych wymiarów jakości produkcji badawczej, autorka wskazuje więc na konieczność opracowania metodyki opiniowania poziomu i wyników badań opartej na wielu różnych miernikach, uwzględniających więcej aspektów jakości, zwłaszcza po opublikowaniu badań. W artykule zaprezentowano nowy model oceny publikacji naukowych uwzględniający, poza recenzjami specjalistów z branży i analizą cytowań, dodatkowe, obiektywne mierniki jakości, takie m.in. jak wpływ edukacyjny (przydatność pracy jako lektury obowiązkowej dla studentów) i oddziaływanie w ramach współpracy naukowej (liczba współtworzonych z innymi autorami prac naukowych na poziomie krajowym i międzynarodowym), oraz biorący pod uwagę wagę każdego z używanych wskaźników.

Proponowana metodologia bazuje na 4 głównych kryteriach, zidentyfikowanych na podstawie obszernego przeglądu literatury przedmiotu, oraz większej liczby pod-kryteriów. Ich znaczenie ocenia się przy wykorzystaniu opracowanej w 2015 r. metody analizy procesów decyzyjnych o nazwie BWM (ang. best-worst method), bazującej na porównywaniu par kryteriów decyzyjnych i wyborze najlepszego i najgorszego miernika. Jedną z najbardziej istotnych cech wybranej metody jest możliwość jej uogólnienia, czyli rozszerzenia na inne typy produkcji naukowej (prezentacje, pokazy slajdów, wpisy na blogach itp.). Dzięki niej, decydenci (np. dziekani wydziału uczelni) mają być w stanie obliczyć jeden łączny wyniki dla każdej pracy naukowej, porównywalny z innymi pracami publikowanymi przez naukowców z tego samego wydziału.

W pierwszej części artykułu scharakteryzowano szczegółowo opisywane w piśmiennictwie miary oceny jakości pracy naukowej, a następnie omówiono przyjętą metodę określania wagi i znaczenia wskazywanych kryteriów oraz poszczególne etapy tego procesu. W dalszych – przeanalizowano wyniki przeprowadzonej zgodnie z nimi empirycznej analizy 54 artykułów naukowych opublikowanych przez naukowców jednego z wydziałów Uniwersytetu Technicznego w Delft (Holandia). W badaniu wykorzystano dane liczbowe pozyskane od dziekana wydziału oraz znormalizowane mierniki cytowań z bazy Scopus (w tym liczbę cytowań, Field Weighted Citation Impact, czyli wskaźnik częstotliwości cytowań danej pracy w stosunku do średniej w danej dyscyplinie i analizę porównawczą cytowań) oraz 4 wskaźniki zaangażowania mierzące wpływ publikacji naukowej w różnego typu mediach społecznościowych i forach przeznaczonych dla naukowców. W proponowanym podejściu uwzględniono również mierniki związane z wpływem edukacyjnym i współpracą naukową. Po wyliczeniu ich wartości, skumulowany wynik jakości prac z próby porównano z wskaźnikiem Impact Factor czasopisma, w którym były publikowane. Wynik wykazał niską korelację między tymi wyznacznikami, co oznacza, że IF czasopisma nie jest odpowiednim miernikiem jakości artykułu naukowego. Jest też zbieżne z wynikami poprzednich badań. W podsumowaniu przedstawiono wnioski z przeprowadzonej analizy i wskazano możliwe kierunki dalszych prac badawczych.