Indeks Hirscha w ocenie publikacji naukowych

Jak etycznie i skutecznie wykorzystywać indeks Hirscha w ocenie publikacji naukowych – przyczynek do zastosowania w praktyce naukowej
W 2005 r. Hirsch zaproponował, aby wpływ publikacji naukowych mierzyć w odniesieniu do liczby wydanych publikacji za pomocą indeksu h, w ten sposób, że uwzględnia się największą liczbę artykułów, które są cytowane h lub więcej razy.

Z czasem h-indeks stał się, ze względu na łatwość oceny bardzo popularnym wskaźnikiem bibliometrycznym, a obecnie  jest  używany do prezentacji dostrzegalności, znaczenia i ważności szerokiego grona indywidualnych naukowców, dyscyplin naukowych, uczelni i instytutów naukowych, czy nawet krajów. Z tego powodu h-indeks został zaimplementowany do bazy ISI Web of Science (WoS) przez Thomson Scientific, która jest podstawową, obok bazy Scopus, zalecaną przez Ministerstwo Nauki i Edukacji (wcześniej Ministerstwo Nauki i Szkolnictwa Wyższego). Trzecią bardzo popularną bazą jest Google Scholar, która korzysta z wyszukiwarki Internetowej Research Gate (RG) na platformie Google.

Jako ciekawostkę można dodać, że zdaniem Hirscha osiągnięcie indeksu h»20 po 20 latach pracy badawczej oznacza sukces naukowy, a h»40 wskazuje na wybitnych naukowców pracujących w ważnych laboratoriach badawczych. Natomiast h»12 może wystarczyć do utrzymania stanowiska naukowego, co w zasadzie pokrywa się z wymaganiami jednostek uprawnionych do nadawania stopnia doktora habilitowanego i tytułu naukowego profesora (źródło: V. Carbone, Fractional counting of authorship to quantify scientific research output, 2011, https://www.researchgate.net/publication/51909285).

Wkrótce jednak okazało się, na podstawie analizy cytowań dla różnych grup naukowych w różnych obszarach (dziedzinach i dyscyplinach), że podstawowy indeks (pure h-indeks) wymaga modyfikacji ponieważ podstawową wadą okazał się brak uwzględnienia wielokrotnego współautorstwa. Współautorstwo stało się prawie standardem naukowym w związku z ciągłym rozwojem współpracy naukowej o zasięgu europejskim (projekty finansowane z funduszy UE) i światowym. Jako koronny posłużył argument, że przypisywanie całego indeksu h wszystkim bez wyjątku autorom rodzi zrozumiałą wątpliwość merytoryczną i etyczną ponieważ często rzeczywiste udziały współautorskie są znikome. Apele o przestrzeganie zasad etyki w takich przypadkach nie odnoszą skutku, chociaż wiele renomowanych redakcji, np. Elsevier, Springer, dostrzega ten problem i zaleca stosować się do zamieszczanych oświadczeń. Mają one zwykle charakter ogólny, np. co do kierowania badaniami, pomocą w analizie danych, redakcją manuskryptu, czy korektą tekstu. W Polsce ten problem niestety nie został należycie dostrzeżony, tak w ocenie jednostek naukowych, a co najważniejsze w opiniowaniu indywidualnego dorobku publikacyjnego przedstawianego w ramach prowadzonych procedur o nadawanie stopni i tytułu naukowego. Coraz częściej można zauważyć przypadki „nadmiarowego” wzrostu indeksu h i to w bardzo krótkim czasie, które są rezultatem zbiorowego publikowania w ramach tworzonych do tego zadania grup krajowych lub z udziałem autorów zagranicznych, głownie z Chin i Indii. W wielu przypadkach może dziwić fakt dopisywania autorów zagranicznych, którzy z różnych względów nie brali czynnego udziału w badaniach poprzedzających publikację. A to ułatwia osiąganie stopni i tytułu naukowego ponieważ na niektórych uczelniach ustala się nawet kryterialne wartości indeksu h, co praktyczne oznacza bezproblemową procedurę awansu naukowego. Wówczas dobiera się recenzentów akceptujących takie nieetyczne praktyki lub są oni stawiani przed faktem dokonanym- czy recenzent, który legitymuje się indeksem h=2 może zanegować osiągnięcia publikacyjne (wymagane ustawowo osiągnięcia naukowe nie są brane pod uwagę ponieważ są trudne do ustalenia) kandydata, który wywindował swój indeks do wartości powyżej 20, czy nawet 30? Jak to można praktycznie zrealizować przedstawiono poniżej.

Prof. G. Węgrzyn, obecnie przewodniczący RDN, w artykule pt. Kryzys recenzji, FA 10/21, odnosząc się do problemów w recenzowaniu dorobku współautorskiego, pisze, że:
Zdarzają się wnioski, które przedstawiają dobry dorobek naukowy, jeśli jednak są to publikacje wieloautorskie, a w większości nasz kandydat ma w nich minimalny, usługowy udział, to pojawia się problem. Nie można oceniać znaczenia wkładu kandydata do nauki tylko na podstawie przedstawionych artykułów, a taki błąd często popełniają recenzenci, trzeba uwzględnić ich wkład w te artykuły.

Tylko że problem tkwi w tym, jakie narzędzia daje RDN recenzentom, aby tych błędów nie popełniali i postępowali etycznie. Jak dotychczas żadne, poza apelami, których zasięg jest bardzo ograniczony (kto bowiem ma czas na przeglądanie Forum Akademickiego i czy w ogóle wie o jego istnieniu). Praktyka jest taka, że jednostki naukowe, obecnie Rady Naukowe Dyscyplin Naukowych, przerzucają ten ustawowy obowiązek na recenzentów. Ci z kolei są zastraszani postępowaniami sądowymi i z tego powodu odmawiają nawet recenzowania słabych wniosków.

Wcześniej w artykule pt. Problemy oceny pracowników naukowych, Debaty PAU, T. I, 2014 ta sama osoba, ale jeszcze jako członek CK, pisze, że:
Samo założenie oparcia oceny dorobku poszczególnych naukowców na wskaźnikach bibliometrycznych spotyka się z ogromną falą krytyk, nie tylko w naszym kraju, ale też w całym świecie.

Minęła prawie dekada i fala wspomnianej krytyki wygasła, a co najważniejsze brak jest chociażby odpowiednich zaleceń dla recenzentów. Skończyło się jak zresztą zwykle, na zapowiedziach i deklaracjach. Aby nie być gołosłownym, przytoczono autentyczny przykład, gdy RDN udokumentowane zarzuty o braku indywidualnych osiągnięć naukowych (ponieważ przedstawiono tylko publikacje wieloautorskie bez podania udziału własnego) uznał, że mają charakter „subiektywny” (sic!).

Z długoletnich doświadczeń własnych autora publikacji, także międzynarodowych, wynika, że brak jest ze strony RDN konkretnych działań w tym zakresie, co w następstwie może powodować – często powoduje, świadome przyzwalanie na nieetyczne działania w nauce. Dochodzi, np. do niezręcznej sytuacji, kiedy wyznaczeni recenzenci wniosku profesorskiego legitymujący się indeksem h w granicach 2-8 wg bazy Scopus (autentyczny przypadek, ponieważ zaawansowani wiekowo recenzenci często mają słaby dorobek publikacyjny o randze światowej) mają oceniać dorobek publikacyjny kandydata z h=35, ale w całości wieloautorski, i mieli prawdopodobnie problemy z wiarygodną i rzetelną oceną z powodu oczywistego kompleks niższości. Zachętą do takich działań jest przyzwolenie ze strony MNiE oraz CK/RDN na dopuszczenie do przenoszenia systemu oceny parametrycznej jednostek naukowych na ocenę pracowników naukowych. Ma ona już charakter manii „oceny punkowej”, czy „kultu indeksu Hirscha” w czystej formie. Jedno i drugie nie powinno być tolerowane. Są to bowiem zastępcze miary, i na dodatek szkodzące nauce, jeśli są nadużywane – vide „punktoza”, oceny osiągnięć poszczególnych naukowców. Szczytny cel jakim było podniesienie poziomu badań naukowych w Polsce, tak aby być  wyżej w rankingach światowych nie został osiągnięty. Informacje na ten temat można znaleźć w publikacjach pt. Stan polskiej nauki w świetle rankingu TOP2% Elsevier & Stanford University (strona Internetowa Fundacji SWP i czasopismo Mechanik nr 8-9, 2022). W świetle nowego rankingu TOP2% za 2021 r. nic się właściwie nie zmieniło.

A katalog możliwych naruszeń/przewinień jest szeroki (cytuję niektóre za Kodeksem Etyki Pracownika Naukowego, rozdz. 3, PAN, 2020) ponieważ obejmuje takie nieetyczne działania jak: sztuczne powiększanie dorobku publikacyjnego, brak twórczego i istotnego wkładu (czyli dopisywanie grzecznościowe innych współautorów), nieuzasadnione i tendencyjne cytowania własne lub współautorów w celu zwiększania wskaźnika cytowalności, tj. indeksu h, pomijanie występowania konfliktu interesów, itp. A to, jak wspomniałem powyżej, ułatwia szybką ścieżkę rozwoju kariery naukowej.

Jednym ze sposobów zapobieganiu niekorzystnym zjawiskom „cytomanii” i „h-indeksomanii” jest posługiwanie się zmodyfikowanym wskaźnikiem Hirscha – hm, który uwzględnia liczbę współautorów w artykule (co-authorship-adjusted hm-index) (źródło: Schreiber, M. (2008). A modification of the h-index: The hm-index accounts for multi-authored manuscripts. Journal of Informetrics, 2(3), 211-216). Należy wspomnieć, że czyniono także próby odniesienia indeksu h do średniej liczby współautorów, czy podzielenie w prosty sposób liczby cytowani przez liczbę autorów każdego artykułu. Indeks hm jest obecnie dostępny jako jedna ze statystyk/jeden ze wskaźników bibliometrycznych/naukometrycznych  w arkuszu kalkulacyjnym popularnego rankingu TOP2% by Elsevier & Stanford University. Dodatkowo ranking pozwala na jego estymację w odniesieniu do cytowań bez tzw. autocytowań (self-citation), co również przyczynia się do uwierzytelnienia indywidualnych osiągnięć naukowych. Ponieważ dane te są łatwo dostępne w Internecie,  nic nie na przeszkodzie, aby korzystali z nich autorzy, kandydaci i recenzenci.  Przecież informetrycy (informetrics-informetria) i naukometrycy (‪scientometrics-naukometria) mogą na potrzeby instytucji naukowych, np. RDN opracować takie programy.  Nie zastąpi on oczywiście uczciwości i etyki, ale w znaczący sposób może pomóc w rzetelnej ocenie publikacji  w kontekście ustalenia indywidualnego wkładu naukowego, szczególnie w przypadku dużej liczby współautorów. Tę zaletę postaram się później udokumentować  na przykładach zaczerpniętych z danych rankingu opracowanych dla jednej z polskich uczelni technicznych. Idea indeksu hm jest taka, że jeśli dwóch naukowców ma ten sam h-indeks równy 10, z tym, że jeden z nich ma wyłącznie wszystkie publikacje własne, a drugi tylko wieloautorskie, to ten pierwszy będzie miał wyższy indeks hm (hm=h=10). W algorytmie wyznaczania indeksu hm wyznacza się wagę dla każdej publikacji, która jest odwrotnością liczby autorów, tj. 1 dla 1 autora, 0,5 dla 2 autorów, 0.33 dla 3 autorów itd. Następnie bierze się największą skumulowaną sumę wag, która jest mniejsza lub równa numerowi danego cytowanego artykułu. I to jest hm indeks. Poniższa tabela przedstawia hipotetyczny zbiór 8 publikacji wykazanych przez naukowca/badacza z różną liczbą cytowań i autorów. 

Liczba cytowań (citations) = c (16, 15, 14, 12, 10, 3, 3, 2),

Liczba autorów (authors) = c (2, 2, 3, 3, 2, 2,3, 1)

Tabl. 1. Zestawienie publikacji hipotetycznego autora wg malejącej liczby cytowań

Źródło:
M. Schreiber, A case study of the modified Hirsch index h_maccounting for multiple coauthors, Journal of the American Society for Information Science and Technology, First published: 13 May 2009, https://doi.org/10.1002/asi.21057
M. Schreiber, A modification of the h-index: The hm-index accounts for multi-authored manuscripts, Journal of Informetrics, Published 14 May 2008, DOI:10.1016/j.joi.2008.05.001

  citations   authors   weights c-weights

(cytowania) (autorzy)  (wagi)  (c- wagi)

1        16       2     0.5000000   0.500000
2        15       2     0.5000000   1.000000
3        14       3     0.3333333   1.333333
4        12       3     0.3333333   1.666667
5        10       2     0.5000000   2.166667
6         3        2     0.5000000   2.666667
7         3        3     0.3333333   3.000000
8         2        1     1.0000000    4.000000

$hm index = 3

W tym przypadku h indeks jest równy 5, ale hm indeks jest mniejszy i równy 3, ponieważ wszystkie publikacje o numerach 1-5 są współautorskie. Należy zwrócić uwagę, że nie ma rozróżnienia między pozycjami autorów chociaż w rankingu TOP2% uwzględnia się zależnie od przyjętej zasady uprzywilejowaną pozycję 1 lub ostatnią (w Polsce wydaje się to być zwyczajowo pozycja 1 odniesiona do autora korespondencyjnego, a w świecie pozycja ostatnia wskazująca na nadzór nad badaniami, np. z tytułu promotorstwa doktoratu). W tabl. 2 podano rzeczywiste wyniki rankingu TOP2% dla grupy naukowców z dziedziny nauk inżynieryjno-technicznych w celu porównania indeksów h i hm.

Tabl. 2. Ranking autorów wg kryterium kariery naukowej (Authors_career_2021)

World ranking of Top2% scientists in 2021 (www.Elsevier.digitalcommonsdata.com).

Legenda (w oryginale opisy angielskie):

      N I-T – nauki inżynieryjno-techniczne

• np6021 rank (ns) rank based on composite score (self-citation excluded) for papers 1960-2021- ranking oparty na wyniku mieszanym z publikacji wydanych w okresie 1960-2021 (bez autocytowań)
• h 21 (ns) h-index as of end- 2021 - h-indeks na koniec 2021 r.
• hm 21 (ns) hm-index of end-2021 - hm-indeks na koniec 2021 r.
• nps(ns) number of single authored papers (self-citation excluded) – liczba artykułów indywidualnych (bez autocytowań)
• ncs(ns) total cites to single authored papers (self-citation excluded) – łączna liczba cytowań artykułów indywidualnych (bez autocytowań)
• npsf (ns) number of single+first authored papers (self-citation excluded) - liczba artykułów indywidualnych+na pierwszym miejscu (bez autocytowań)
• ncsf (ns) total cites to single+first authored papers (self-citation excluded) łączna liczba cytowań artykułów indywidualnych+na pierwszym miejscu (bez autocytowań)
• number of distinct citing papers/number of papers 1960-2021 that have been cited at least one – liczba najważniejszych cytowanych artykułów/liczba artykułów opublikowanych w latach 1960-2021 cytowanych co najmniej 1 raz

Uwaga: w rubryce C podano hm-index który powinien być obligatoryjnie uwzględniany w ocenie dorobku naukowego ze względu na wykazane publikacje wieloautorskie; dla nr 2 jest równy ok. 0,45 ze względu na brak cytowań publikacji indywidualnych, natomiast dla nr 1 jest równy ok. 0,7 ponieważ udział tych cytowań jest znaczący. M.in. z tego względu miejsca w rankingu są dużo niższe (kolumna A). Dla nr 2 jest tylko 1 autorski artykuł i 0 cytowań  (kolumny D i E). Jeśli uwzględni się dodatkowo autorstwo korespondencyjne (F), czyli jako pierwszy autor to też widać, że tych jest mało w stosunku do ogólnej liczby cytowanych artykułów (kolumna H). Porównując dane w kolumnach D i E można zauważyć, że pozycja w ranking jest uzależniona, przy większej lub porównywalnej liczbie cytowanych artykułów, od liczby cytowań (nps(ns)₁ = 36>nps(ns)₅ =16, ale  npsf(ns)₅ << npsf(ns)₁). Z przeglądu wskaźników bibliometrycznych dla autorów z Polski, którzy zostali ujęci w rankingu TOP2% w kategorii kariery naukowej wynika, że udział osób które nie wykazały żadnej publikacji indywidualnej lub mają ich kilka (bardzo mały odsetek w stosunku do łącznej liczby publikacji)  jest zauważalny. Mogą to być tzw. monografie habilitacyjne i/lub profesorskie, czyli tylko to co wymagają rady naukowe lub ustawa. Czyli zjawisko wbrew pozorom nie jest marginalne. Pojawia się zasadnicze pytanie, czy osoba nr 2 w tabl. 2, która ma rzeczywisty indeks hm»0,45h może być oceniana pod względem dorobku naukowego bez wykazania osiągnięć indywidualnych? Pytanie to kierujemy do recenzentów i członków obecnej RDN.

Z przytoczonych danych i ich analizy wynika, że do oceny dorobku naukowego powinno się stosować zmodyfikowany indeks Hirscha hm, który jest oparty na uwzględnieniu wpływu współautorstwa i/lub zajmowania 1 pozycji  w wykazie autorów. Zdaniem autora może to ograniczyć  grupowe publikacje nastawione tylko na zawyżanie stosowanego indeksu h i przyczynić się do bardziej rzetelnej oceny dorobku naukowego, czyli spełnienie obowiązującego wymogu ustawowego. Nie można dopuścić, aby osoby z rzeczywistym wskaźnikiem hm<<h były oceniane wyłącznie na podstawie dorobku „wspólnego”. Należy dodać, że wśród kolejnych propozycji modyfikacji indeksu h jest uwzględnienie deklarowanych przez autorów udziałów procentowych (tzw. A-index) zamiast udziałów proporcjonalnych do liczby autorów jak w indeksie hm. Może okazać się, że A-index < hm. Nie dziwi więc tłumaczenie ze strony kandydatów, że te udziały jest trudno określić i nie ma sensu ich podawać. Czy tylko to jest właściwy argument? Nie można się z tym zgodzić. Ale zawyżony h-indeks można podawać, chociaż jest to nieetyczne i niezgodne ustawowo. Co na to RDN mający w nazwie bardzo zobowiązujące słowo „doskonałość”?

Prof. dr hab. Wit Grzesik

Grafika https://pl.wikipedia.org/wiki/Wska%C5%BAnik_Hirscha (dostęp 27.01.2023 r.).

SUPLEMENT

W artykule podano ogólne informacje nt. zmodyfikowanego indeksu hm-index, który powinien być obligatoryjnie uwzględniany w ocenie dorobku naukowego ze względu na wykazane publikacje wieloautorskie. W suplemencie dokonano dodatkowej analizy danych dostępnych w rankingu TOP2% dla Polski w kategorii kariery  i cytowań rocznych za 2021 r. w związku z komentarzami odwiedzających stronę internetową i autentycznie zainteresowanych tym problemem. Intencją autora nie jest wskazywanie na jakiekolwiek negatywne aspekty publikacji wieloautorskich, ale rzetelne przedstawienie indywidualnego udziału każdego ze  współautorów na podstawie dostępnych metryk bibliograficznych. Czyli ocena rzeczywistego stanu charakteru publikowania w Polsce.

Rys. 1. Rozkład wskaźnika udziału indywidualnego w publikacjach w kategorii kariery naukowej wg danych rankingu TOP2% opublikowanych w 2021 r.

Na rys. 1 przedstawiono ważny dla omawianej problematyki rozkład współczynnika h_m/h w grupie naukowców z Polski ujętych w rankingu TOP2% za lata 1996-2006 (czyli w kategorii kariery naukowej)  z podziałem na przedziały co 0,1. Rozkład dla ogółu instytucji naukowych i grupy politechnik jest bardzo zbliżony z największą grupą naukowców ok. 73% dla przedziału 0,4¸0,7 z dominantą w przedziale 0,5¸0,6. Zdarzają się nieliczne przypadki skrajne, tj. z minimalnym udziałem <0,1 (0,03) i maksymalnym, tj. 1. Osoba z minimalnym udziałem indywidualnym ma jednak wykazany udział cytowań własnych ok. 60%.

Rys. 2. Rozkład wskaźnika cytowań h21(ns) w publikacjach autorów z Polski w kategorii osiągnięć za 2021 r. wg danych rankingu TOP2% opublikowanych w 2021 r.

Rys. 3. Rozkład wartości wskaźnika udziału indywidualnego h_m (hm21(ns)) w publikacjach w kategorii osiągnięć za 2021 r. wg danych rankingu TOP2% opublikowanych w 2021 r.

Natomiast na rys. 2 i 3 przedstawiono rozkłady wskaźników cytowań h21(ns) i hm21(ns)w publikacjach autorów z Polski w kategorii osiągnięć za 2021 r. wg danych rankingu TOP2% opublikowanych w 2021 r. Z rys. 2 wynika, że większość publikacji autorów polskich miała wykazany indeks h za rok 2021 od 2¸15, z dominantą dla przedziału 5¸10, co stanowi (962/1006), czyli 95,6%. Najwyższe wykazane indeksy h to 50 i 51.

Odpowiadający im rozkład wskaźnika hm21(ns) dowodzi, że najczęstsze przypadki publikacji dotyczą przedziału od 3 do 6, co stanowi (782/1006), czyli 77,73% ogółu wykazanych wartości tego wskaźnika. Najwyższe wykazane wartości indeksu h_m to 12,5000 i 13,8556. Czyli indeksy 50 i 51 uzyskano przy współczynniku udziału indywidualnego odpowiednio 0,058 (5,8%) i 0,27(27%). Najniższy zarejestrowany udział to tylko 0,036 (3,6%). Autorzy ci nie mają  żadnych cytowań z publikacji indywidualnych. Najwyższy udział cytowań własnych to ok. 80% dla dwóch osób z najwyższymi wartościami indeksu h za 2021 r. Z drugiej strony osoby z udziałem cytowań własnych do 25% stanowią ok. 80 % ogółu (796/1006). Komentarz odnośnie tych danych i sposobu uzyskania nadmiarowego wzrostu indeksu h wydaje się w być w świetle ogólnych przesłanek merytorycznych zbyteczny.