Biblioteka Narodowa używa na swojej stronie plików cookies. Brak zmiany ustawień przeglądarki oznacza zgodę na ich użycie. [zamknij]

Testowanie automatyzacji oceny konferencji naukowych

Autor: Małgorzata Waleszko,

Kategorie: Wykorzystanie informacji i socjologia informacji, Branża, zawód i edukacja

Tagi: , , , , ,

Możliwość komentowania Testowanie automatyzacji oceny konferencji naukowych została wyłączona

Konferencje naukowe są niezmiernie istotnym elementem komunikacji naukowej i źródłem informacji na temat stanu badań z danej dyscypliny, i co roku organizuje się setki tego typu spotkań, których renoma i postrzegana jakość mogą się znacząco różnić. Wytycznymi, pozwalającymi na wybór odpowiedniego sympozjum są rankingi konferencji, klasyfikujące te wydarzenia na podstawie wybranych, jakościowych i nie zawsze w pełni obiektywnych mierników. W artykule przestawiono wstępne wyniki badania sprawdzającego możliwości stosowania systematycznych, zautomatyzowanych i bezstronnych metod ocen konferencji z zakresu informatyki i technologii informacyjnych (ITI), przy użyciu prostego algorytmu, wykorzystującego model błądzenia losowego.

Metodę testowano go na bazie DBLP – publicznej, szeroko wykorzystywanej bibliograficznej bazie danych z dziedzin ITI (dane DBLP XML pobrano 23.12.2013 r.), ekstrahując hasła odpowiadające referatom z konferencji. Do porównania wyników algorytmu wykorzystano dwie powszechnie używane w Azji listy rankingowe: Core (The Computer Research and Education Association of Australasia) z ocenami w 4 kategoriach (A*, A, B, C) i CCF (China Computer Federation) – oceny w 3 kategoriach (A, B, C), mapując ich zawartość do zbioru DBLP. Eksperymentowano następnie, by sprawdzić, czy automatycznie uzyskane rezultaty będą zbieżne z klasyfikacjami z obu rankingów, wybierając jako punkty odniesienia kluczowe konferencje sklasyfikowane jako A*. Przeanalizowano także różnice między CORE i CCF (prezentując je w postaci macierzy błędy klasyfikacji), by określić czynniki determinujące wyniki ocen i wskazano, że notowania takie są w dużej mierze subiektywne i zależą od sposobu tworzenia list. Następnie sprawdzono konferencje ocenione inaczej przez algorytm oraz CORE i CCF, oraz przeprowadzono dodatkowe testy z Microsoft Academic Search (Libra) – eksperymentalną wyszukiwarką prac akademickich. Uznano, że zastosowany algorytm błądzenia losowego daje wyniki w znacznym stopniu skorelowane z istniejącymi rankingami. Nie osiągnięto co prawda wysokiego stopnia dokładności, ale w przypadku ręcznie tworzonych list, dokładna replikacja byłaby niemożliwa. Wskazano także na dobrą korelację między społecznymi grafami autorów ITI i ich konferencyjną aktywnością.

Komentarze wyłączone.