doktrynalia

Archive for Wrzesień 2012|Monthly archive page

Błędy na liście czasopism

In Parametryzacja on Wrzesień 25, 2012 at 9:48 am

E. Kulczycki podaje informacje o analizie błędów na liście czasopism punktowanych. Przez różnego rodzaju błędy w tytułach czasopism i numerach ISSN te same czasopisma trafiły na różne listy z różną liczbą punktów.

Mnie jednak bardziej interesują błędy systemowe. Jestem np. ciekaw który z algorytmów zastosowano w przypadków czasopism publikujących wyniki badań z zakresu nauk o zarządzaniu. Zgodnie z rozporządzeniem Ministra Nauki  i  Szkolnictwa  Wyższego  z  dnia  8  sierpnia  2011  r.  w  sprawie  obszarów  wiedzy, dziedzin  nauki  i  sztuki  oraz  dyscyplin  naukowych  i  artystycznych  (Dz.  U.  Nr  179,  poz. 1065), nauki o zarządzaniu zostały zaliczone zarówno do nauk społecznych jak i nauk humanistycznych, a waga poszczególnych parametrów oceny czasopism w tych dwóch obszarach nauk jest odmienna.

Jeśli chodzi o punkty przyznane poszczególnym czasopismom, to jak już pisałem największe błędy nie wynikają z literówek na listach, lecz ze świadomego poświadczania nieprawdy w ankietach czasopism. Dlatego moim zdaniem:
1) ankiety (wraz z informacją o tym, kto daną ankietę sporządził i złożył) powinny być jawne,
2) Komitet Ewaluacji Jednostek Naukowych powinien z urzędu weryfikować prawdziwość danych w ankietach tych czasopism, które starają się o więcej niż 3 punkty (i ponawiać tą weryfikację na wniosek jakiegokolwiek zainteresowanego).

Reklamy

Lista czasopism – wielcy nieobecni

In Parametryzacja on Wrzesień 21, 2012 at 7:47 am

Poprzednim razem krytykowałem brak weryfikacji ankiet składanych przez redakcje czasopism, gdyż dzięki temu zyskały czasopisma, których redakcje najbezczelniej kłamały w tych ankietach.
Tym razem chciałbym zwrócić uwagę na wielkich nieobecnych na liście. Z pobieżnej lektury wynika, że z listy zniknęło jedno z najstarszych polskich czasopism prawniczych – „Orzecznictwo Sądów Polskich” oraz najważniejsze czasopisma branżowe: sędziowski „Przegląd Sądowy”, adwokacka „Palestra”, radcowski „Radca Prawny” i notarialny „Rejent”. Skandaliczne jest to, że nie wiemy dlaczego te czasopisma zostały skreślone z listy. Ministerstwo opublikował wprawdzie listę czasopism, które nie zostały uwzględnione, ale informuje w niej jedynie ogólnikowo, że dane „czasopismo nie spełniło warunku opisanego w ust. 4 pkt. 6 kryteriów i trybu oceny czasopism naukowych”). Podejrzewam, że chodzi o to, że redakcje tych czasopism przyznały w ankietach, że niektóre artykuły w tych czasopismach nie przekraczają objętości 1 arkusza wydawniczego i na tej podstawie zostały całkowicie pominięte przy tworzeniu listy czasopism punktowanych. Jeśli tak jest, to można to ocenić tylko i wyłącznie jako urzędnicze kuriozum. Okazuje się bowiem, że objętość tekstu jest najważniejszym parametrem oceny jego wartości naukowej!

Jestem też przekonany, że gdyby istniała baza cytowań publikacji prawniczych, wymienione czasopisma znajdowałyby się w niej znacznie wyżej niż niektóre z opisanych w poprzednim wpisie czasopism, które otrzymały po 7 punktów.

Ministerstwo zmieniło algorytm i opublikowało LISTĘ CZASOPISM!

In Parametryzacja on Wrzesień 17, 2012 at 7:19 pm

14 września Ministerstwo Nauki i Szkolnictwa Wyższego opu­bli­ko­wało nowy komu­ni­kat w spra­wie kry­te­riów i trybu oceny cza­so­pism nauko­wych. Można w nim przeczytać, że w algortymie zasad ustalania ostatecznej liczby punktów zamiast 0,4 „nowych” punktów i 0,6 starych powinno być odwrotnie (co oznacza, że moje obliczenia z poprzedniego wpisu nieco się zdezaktualizowały).

Po trzech dniach opublikowano listę czasopism naukowych. Jeśli chodzi o listę B, na której znajduje się większość polskich czasopism z zakresu nauk prawnych, nowa lista całkowicie wywraca dotychczasową hierarchię. Niestety sprawdzają się moje przewidywania, że nowe zasady będą oznaczały spłaszczenie różnic oraz promocję nieuczciwych redakcji. O ile bowiem „Państwo i Prawo” otrzymało 6 punktów, o tyle wiele czasopism wydziałowych otrzymało po 4-5 punktów (np. „Opolskie Studia Administracyjno-Prawne”). Jest też kilka czasopism, które „przeskoczyły” PiP. „Czasopismo Prawno-Historyczne”, RPEiS i „Przegląd Sejmowy” otrzymały po 8 punktów, a „Europejski Przegląd Sądowy”, „Samorząd terytorialny”, „Studia BAS”, „Studia Prawnicze”, „Yearbook of Polish European Studies”, „Zeszyty Naukowe Sądownictwa Administracyjnego”, „Zeszyty Prawnicze UKSW”- po 7. Zwłaszcza te 7-punktowe czasopisma są zaskoczeniem, bo większość z nich nie ma zagranicznej rady naukowej, nie jest indeksowana w bazach wskazanych przez Ministerstwo a część z nich nawet nie jest wydawanych przez jednostki naukowe. „Zaskoczenie” to oczywiście eufemizm – redakcje tych czasopism zapewne po prostu oszukiwały w ankietach i zgodnie z moimi przewidywaniami nikt tego nie zweryfikował.

Powiedzieć, że jestem zniesmaczony to za mało. Niby Ministerstwo chciało dobrze, ale wyszła z tego promocja nierzetelności. Wydaje mi się, że nie ma co liczyć na to, że wszyscy gracze będą zachowywali się uczciwie. Dlatego uważam, że bez utworzenia wiarygodnej polskiej bazy cytowań, ankiety redakcji czasopism naukowych (przynajmniej tych ubiegających się o więcej niż 5 punktów) powinny podlegać merytorycznej weryfikacji Komitetu Ewaluacji Jednostek Naukowych.

Komunikat MNiSW w sprawie kryteriów i trybu oceny czasopism naukowych

In Parametryzacja on Wrzesień 10, 2012 at 3:52 pm

Na stronie MNiSW opublikowany został komunikat w sprawie kryteriów i trybu oceny czasopism naukowych.

Najpoważniejszy problem z tym dokumentem sprowadza się do tego, że nie jest to „komunikat”, lecz akt normatywny. Komunikaty służą do tego, żeby w sposób urzędowy potwierdzić jakieś wyliczenia sporządzone na podstawie określonych przepisów albo poinformować o innych skutkach stosowania tych przepisów. Tymczasem w omawianym przypadku ustala się zupełnie nowe normy prawne dotyczące oceny czasopism naukowych. Jest to konsekwencja tego, że omawianych kwestii nie uregulowano w rozporządzeniu, lecz przekazano do uregulowana komunikatem (o czym pisałem we wpisie dotyczącym rozporządzenia). De lege ferenda należy zatem zgłosić postulat przeniesienia treści omawianego komunikatu do rozporządzenia.

Innym problemem jest to, że komunikat ten zmienia zasady oceny czasopism ustalone na potrzeby przeprowadzanej na początku roku akcji zbierania ankiet od redakcji czasopism naukowych. Te redakcje, które dostosowały swoją działalność do wcześniejszych wymagań mogą się czuć oszukane, bo obecnie wiele wymogów złagodzono.

Czytając omawiany komunikat z perspektywy nauk prawnych trzeba pamiętać, że zgodnie z rozporządzeniem Ministra Nauki  i  Szkolnictwa  Wyższego  z  dnia  8  sierpnia  2011  r.  w  sprawie  obszarów  wiedzy, dziedzin  nauki  i  sztuki  oraz  dyscyplin  naukowych  i  artystycznych  (Dz.  U.  Nr  179,  poz. 1065), nauki prawne zaliczane są do nauk społecznych. To oznacza, że jeśli chodzi o parametry oceny czasopism naukowych, przy ocenie czasopism prawniczych stosuje się parametry określone w tabeli nr II omawianego komunikatu.  Z tabeli tej wynika, że:

1) indeks cytowań może dać najwyżej 1 punkt danemu czasopismu,

2) 1,5 punkta można uzyskać „indeksację w bazach danych” wskazanych przez Ministerstwo (przynajmniej w jednej),

3) najwięcej punktów, bo aż 2, uzyskuje się za to, że liczba artykułów naukowych publikowanych w ciągu roku przekracza 24,

4) po 1 punkcie uzyskuje się za „umiędzynarodowienie recenzentów” (przynajmniej 10%), „częstotliwość wydawania” (kwartalnik lub częściej), „język publikacji” (jeśli przynajmniej 5% artykułów naukowych publikowanych jest w pełnej wersji w języku angielskim,  francuskim, hiszpańskim, niemieckim lub rosyjskim) oraz „umiędzynarodowienie rady naukowej” (przynajmniej 10%),

5) po pół punkta uzyskuje się za „zagraniczną afiliację autorów” (przynajmniej 5%), dostępność w wersji on-line oraz za to, że w skład redakcji wchodzi redaktor „językowy”, „statystyczny” lub „tematyczny”.

Po uwzględnieniu powyższych parametrów, uzyskujemy „wstępny wynik punktowy” danego czasopisma. Stanowi on 40% wyniku ostatecznego. Pozostałe 60% wynika z dotychczasowej liczby punktów (zob. pkt 13 lit. e komunikatu). Jeśli więc jakieś czasopismo pierwszy raz złożyło ankietę, ma ono szansę na co najwyżej 4 punkty. Z kolei czasopismo, które w 2010 r. miało 9 punktów, obecnie nawet, gdyby nie spełniało żadnego z podanych kryteriów, będzie miało 5,4 punkta. To mocno zachowawcze rozwiązanie, które można uzasadnić jedynie tym, że chodziło o wprowadzanie nowych zasad w sposób ewolucyjny, a nie – rewolucyjny.

Dla przykładu postanowiłem zastosować te zasady do „Państwa i Prawa”. Z moich obliczeń wynika, że na podstawie nowych kryteriów uzyska ono 5,5 „nowych” punktów (nie ma go bowiem w bazach cytowań, nie ma zbyt wielu zagranicznych autorów, recenzentów i członków rady naukowej, nie publikuje też całych artykułów w języku obcym).  Kwestią do dyskusji jest to, czy przykład „Państwa i Prawa” świadczy o tym, że powyższe kryteria zostały dobrane niewłaściwie, czy też o tym, że nawet ten miesięcznik powinien się zmienić i dostosować do wizji, która wynika z omawianego komunikatu. Nie wiem jak obliczyć „całkowity wynik punktowy”, gdyż w punkcie 3 komunikatu nakazuje się zaokrąglić wstępny wynik punktowy do najbliższej liczby całkowitej i nie wiem czy w przypadku 5,5 taką liczbą jest 5, czy 6. Jeśli 5 to według nowej punktacji „Państwo i Prawo” będzie miało 7 punktów (2 punkty jako 40% „nowych” punktów oraz 5,4 jako 60% dotychczasowych 9 punktów), a jeśli 6 – to 8 (2,4 punkta + 5,4 daje 7,8 i zaokrągla się do 8).

Wydaje mi się, że stosunkowo niska ranga indeksu cytowań i wysoka ranga parametrów formalnych (takich liczba artykułów i częstotliwość wydawania czasopisma) spowoduje, że lista się „spłaszczy”, to znaczy, że zmniejszą się różnice punktowe pomiędzy czasopismami, stracą niektóre uznane czasopisma, a zyskają tylko takie, które do tej pory nie miały punktów lub miały ich mało.

Największym problemem w praktyce będzie zapewne brak kontroli nad prawdziwością danych podawanych w ankietach przez redakcje czasopism. Bez takiej kontroli może się okazać, że dotychczasowe rozwiązanie choć nietransparentne i uznaniowe, było lepsze od nowego, w którym najwięcej punktów mają te czasopisma, których redakcje najbezczelniej kłamią.

I na koniec dwie uwagi do legislatora, który redagował omawiany komunikat:

1) nie wiem dlaczego w tabelach punkty zostały podane w postaci ułamków dziesiętnych, skoro potem nakazuje się je pomnożyć przez 10 – nie można było od razu podać ich w liczbach całkowitych?

2) podobnie nie wiem dlaczego we wzorze na obliczenie „całkowitego wyniku punktowego” posłużono się „stałą przeniesienia c”, skoro jej wielkość jest podana i wynosi ona po prostu 0,4 – czy nie łatwiej byłoby zapisać ten wzór jako P c  = (P 1  * 0,4) + (P 2 * 0,6)?

Apoteoza indeksu H w artykule prof. Gorzelaka

In Parametryzacja, Publicystyka on Wrzesień 9, 2012 at 3:49 pm

Tygodnik „Polityka” zamieścił w tym tygodniu artykuł prof. G. Gorze­laka pt. „Mało cyto­wań pol­skich uczonych. Reprodukcja mier­noty” („Polityka” nr 36/2012).

O ile zgadzam się z autorem co do krytycznej oceny stanu polskiej nauki, o tyle nie mogę się zgodzić z tym, że najlepszym i jedynym wyjściem z sytuacji ma być ocena wszystkich naukowców na podstawie tzw. indeksu Hirscha. Przede wszystkim z dwóch powodów:

1) indeks h niewiele jest w stanie powiedzieć na temat naukowców zajmujących się prawem

Prof. G. Gorze­lak jest profesorem nauk ekonomicznych. Być może w tych właśnie naukach indeks h jest rzeczywiście dobrym miernikiem. Błędem jest jednak rozciąganie pozytywnej oceny tego indeksu na wszystkie nauki społeczne i humanistyczne. W naukach prawnych (które zostały zakwalifikowane do nauk społecznych) nie ma baz danych, które zawierałyby informacje miarodajne dla obliczania indeksu h. Istniejące bazy danych, na podstawie których oblicza się ten indeks, nie zawierają nawet kilku procent polskich publikacji z zakresu nauk prawnych.

2) indeks h rośnie wraz z upływem czasu

Ponieważ indeks h rośnie wraz z upływem czasu, ten sam naukowiec będzie lepiej wypadał w wieku 100 lat, niż w wieku lat 40. Czy to jednak oznacza, że na uczelniach powinni pracować sami 90- i 100-latkowie?

Zaintersowanych dyskusją na temat omawianego artykułu odsyłam (po raz kolejny) na blog E. Kulczyckiego, który słusznie stwierdza m.in., że nie rozu­mie „jak można się wypo­wia­dać o jako­ści pol­skiej huma­ni­styki na pod­sta­wie źle obli­cza­nego publi­ka­cyj­nego dorobku ilo­ścio­wego (źle obli­cza­nego, bo przy zało­że­niu nie­omyl­no­ści i „peł­no­ści” bazy Google Scho­lar). To tak jak­by­śmy  nagle zaczęli liczyć lata w kilo­gra­mach, a kilo­gra­mami liczyć odle­głość z Lądku Zdrój do Warszawy”.

Na wszelki wypadek powtórzę jednak, że nie jestem przeciwnikiem indeksów cytowań. Podkreślam jedynie, że warunkiem poprawnego wyciągania wniosków na podstawie takich indeksów, jest stworzenie miarodajnej dla danej dyscypliny nauki bazy publikacji naukowych. W naukach prawnych póki co nie ma takiej bazy ani na poziomie naszego kraju, ani na poziomie ogólnoświatowym.

Piotr Stec

Nauka i prawo

Robię habilitację

blog o "perełkach" polskiej doktryny prawniczej

Warsztat badacza – Emanuel Kulczycki

blog o "perełkach" polskiej doktryny prawniczej