Mój wstępniak na You Tube

 

Po miesiącach przerwy wracam do pisania po polsku na moim blogu. Jak zwykle, piszę po to, żeby ułożyć myśli. Zaangażowałem się w projekt wdrożenia w praktyce tzw. rozporządzenia ewaluacyjnego, czyli Rozporządzenia Ministra Nauki i Szkolnictwa Wyższego z dnia 22 lutego 2019 roku w sprawie ewaluacji jakości działalności naukowej. Jak klikniecie w link, ściągniecie z archiwum mojego bloga tą wersję, z którą ja obecnie pracuję. Mam nadzieję zresztą, że ta wersja nie ulegnie jakimś znacznym zmianom. W każdym razie przydają się też okazjonalne odniesienia do ustawy 2.0 czyli tzw. Konstytucji dla Nauki. Moja praca z tym małym cudem legislacji polega na zaproponowaniu struktury logicznej dla narzędzia informatycznego, które z kolei pozwoli rejestrować dorobek naukowy na mojej macierzystej uczelni, Krakowskiej Akademii im. Andrzeja Frycza Modrzewskiego.

W tym wpisie staram się zrobić coś, co oburza moją żonę. Nie, nie to, co myślicie. Staram się przełożyć treść rozporządzenia na strukturę logiczną. Moja żona jest prawnikiem i uważa, że takie zabiegi podcinają gałąź, na której siedzi cała profesja. Co by to było, gdyby nagle ludzie rozumieli w intuicyjny i praktyczny sposób treść rozporządzeń? Zgroza, nie? Ano właśnie to robię. Zapuszczam się w krainę zgrozy.

Przekonałem się, że akty prawne warto czytać od końca. Tym razem też to się sprawdziło. Załącznik nr 2 do rozporządzenia określa „Algorytm porównania ocen przyznanych ewaluowanemu podmiotowi prowadzącemu działalność naukową w ramach danej dyscypliny naukowej albo artystycznej za spełnienie podstawowych kryteriów ewaluacji z wartościami referencyjnymi dla tych kryteriów”. Długa nazwa. Budzi respekt. Zobaczymy, co jest w środku. W środku jest mowa o tym, że kiedy ewaluowany podmiot X dostanie jakąś ocenę O_i(X) według i-tego kryterium ewaluacji, to porównujemy ją z wartością referencyjną O_i(R). Porównujemy w dwóch krokach. Najpierw patrzymy, co jest większe, a następnie robimy odejmowanie bez wyników ujemnych. Wyniki ujemne są kłopotliwe. Znak trzeba zmieniać albo określać wartość bezwzględną. W każdym razie, jeżeli O_i(X) ≥ O_i( R ), to wtedy robimy ∆O = O_i(X) – O_i( R ). Jeżeli jest wręcz przeciwnie, to znaczy kiedy „oj-iks!” jest mniejsze od „oj-er!” to wtedy ∆O = O_i( R ) – O_i(X).

Mamy deltę ∆O i ta delta też ma swoją wartość referencyjną G, zwaną progiem pełnego przewyższania i określaną przez Komisję. Jaką Komisję? No chyba jakąś ważną, nie? Jeżeli O_i(X) ≥ O_i( R ) i jednocześnie  ∆O = O_i(X) – O_i( R ) ≥ G, to wtedy wynik porównania ewaluowanego podmiotu z wartością referencyjną dla i-tego kryterium ewaluacji wynosi  P_i(X, R) = 1 i to jest najlepsza możliwa wiadomość. Jeżeli O_i(X) ≥ O_i( R ) ale jednak  ∆O = O_i(X) – O_i( R ) < G, to wtedy przykro nam, bracie, ale twój P_i(X, R) = ∆O/G. Może być jeszcze bardziej przykro, kiedy O_i(X) < O_i( R ), to wtedy robimy ∆O = O_i( R ) – O_i(X) i jeżeli na dodatek taka ∆O ≥ G, to wtedy P_i(X,R) = -1. Bagno. Może być trochę płytsze, w sensie to bagno. Jeżeli O_i(X) < O_i( R ) i ∆O = O_i( R ) – O_i(X) < G, to wtedy P_i(X,R) = -∆O/G.

Innymi słowy, wynik ewaluacji według i-tego kryterium może się zawierać w przedziale -1 ≤ P_i(X,R) ≤ 1. Każdy taki cząstkowy wynik ewaluacji wpisujemy do Matki Wszystkich Wzorów, czyli:

 

V(X,R) = W1*P1(X,R) + W2*P2(X,R) + W3*P3(X,R).

 

Czyli i-te kryterium ewaluacji to może być kryterium 1, 2 albo 3? No trzeba było tak od razu, zamiast komplikować z tym „i”. Kryterium P1 to poziom naukowy prowadzonej działalności, kryterium P2 to efekty finansowe badań naukowych lub prac rozwojowych, zaś kryterium P3 oznacza wpływ działalności naukowej na funkcjonowanie społeczeństwa i gospodarki. Za chwilę powiem więcej na temat treści tych kryteriów. Na razie w kwestii formalnej: W1, W2 oraz W3 to wagi kryteriów P1 ÷ P3 i wagi te są zróżnicowane w zależności od dziedziny nauki, jak w tabeli poniżej.

 

 

	Wartości W dla kryteriów ewaluacji
Kryteria ewaluacji	Nauki humanistyczne, nauki społeczne i nauki teologiczne	Nauki ścisłe i przyrodnicze, nauki medyczne i nauki o zdrowiu	Nauki inżynieryjne i techniczne oraz nauki rolnicze	Dyscypliny artystyczne
P1 – poziom naukowy działalności – W3	70	60	50	80
P2 – Efekty finansowe badań naukowych lub prac rozwojowych – W2	10	20	35	0
P3 – Wpływ działalności naukowej na funkcjonowanie społeczeństwa i gospodarki – W3	20	20	15	20

 

 

Teraz o kryteriach P1 ÷ P3. Poziom naukowy działalności, czyli P1, jest definiowany przez §8 rozporządzenia i jest oceniany na podstawie: monografii naukowych tudzież redakcji takowych monografii albo rozdziałów w nich, artykułów naukowych, patentów na wynalazki, praw ochronnych na wzory użytkowe oraz wyłącznych praw hodowców do odmian roślin. Znakomita większość ocen cząstkowych przyznawanych za poszczególne osiągnięcia naukowe to sztywne wartości punktowe.

Poziom naukowy działalności (P1) ma inną ważną cechę: jest w przeważającej mierze oceniany na podstawie indywidualnych osiągnięć naukowych poszczególnych osób, które spełniają przesłanki określone w §11 rozporządzenia. Tak jest dla artykułów, monografii, ich redakcji oraz rozdziałów w nich. W przypadku własności intelektualnej, czyli patentów, praw do wzorów użytkowych oraz do odmian roślin, bierzemy pod uwagę tylko własność intelektualną przysługującą ewaluowanemu podmiotowi. Jeżeli ja opublikuję artykuł, to jego wartość przelicza się na ocenę mojej macierzystej uczelni. Jednakowoż, jeżeli ja mam patent, to jego wartość naukowa nie przenosi się na moją uczelnię. To uczelnia musi być uprawniona z patentu, żeby mogła go wykorzystać w ewaluacji.

Szybki przegląd wartości punktowych określanych w §12 ÷ §19 rozporządzenia pokazuje, że kryterium P1 pompujemy przede wszystkim publikacjami: artykułami i monografiami. Patenty mogą być cenne, ale uczelnia musiałaby ich mieć naprawdę mnóstwo, żeby ich łączna punktacja była porównywalna z tym, co można udyndolić za spokojne pisanie. Jeżeli ewaluowany podmiot ma, powiedzmy, 30 pracowników naukowych, to w ciągu roku oni mogą natrzaskać nawet 6000 punktów P1. Tych samych 30 pracowników mogłoby w ciągu roku postarać się o 1 – 2 patenty, czyli maksimum 200 punktów, jeżeli są to patenty w trybie europejskim.

Nieco odrębną kategorię w ocenie P1 stanowią dyscypliny artystyczne. Punktacja osiągnięć artystycznych określona w §20 rozporządzenia odsyła do Załącznika nr 1 pt. „Rodzaje osiągnięć artystycznych uwzględnianych w ocenie poziomu artystycznego prowadzonej działalności naukowej w zakresie twórczości artystycznej i liczba przyznawanych za nie punktów”. Powiem szczerze: nie znam się na tym. Mogę sobie jedynie wyrobić ogólny pogląd na ten temat. Jeżeli widzę w tym załączniku 200 punktów za wybitne osiągnięcie w zakresie reżyserii realizacji telewizyjnej, a jednocześnie można uzyskać 200 punktów za porządną monografię na temat reżyserii filmowej, to intuicyjnie zgaduję, że te drugie 200 punktów znacznie łatwiej uzyskać niż te pierwsze 200 punktów.

Swoją odrębność w zakresie kryterium P1 mają również nauki humanistyczne, społeczne i teologiczne, a konkretnie monografie wydawane w tym obszarze. Po pierwsze, za pełne autorstwo monografii w tym obszarze, jeżeli została wydana we Właściwym Wydawnictwie, określonym przez Ministra na podstawie art. 267 ust. 2 pkt. 2 ustawy Konstytucja dla Nauki, można mieć nawet 300 punktów. W innych obszarach nauki maksimum to 200 za sztukę. Po drugie, istnieje tu pojęcie monografii z tzw. oceną ekspercką. Jeżeli ktoś coś zrobi z monografią naukową w dziedzinie nauk humanistycznych, społecznych lub teologicznych, w sensie napisze, zredaguje albo jakiś rozdzialik strzeli, ale monografia ukaże się w wydawnictwie pozbawionym Namaszczenia Ministerstwa, to wtedy można się zwrócić do Przewodniczącego Komisji (tej ważnej Komisji), żeby on się zwrócił do Ministra (no, wiecie, Ministra) żeby on wyznaczył panel ekspertów, którzy ocenią taką monografię. Wtedy jest więcej punktów.

Ogólnie, to z tym kryterium P1 jest tak, jak na obrazku poniżej.

 

Dobra, to teraz P2, czyli efekty finansowe badań naukowych lub prac rozwojowych.  O tym mówi §22 rozporządzenia ewaluacyjnego. Paragraf 22… Ciekawe… Czytał ktoś tą powieść? No, ale do adremu. Najkorzystniejsza punktacja – czyli 4 punkty ewaluacyjne za każde 12 500 zł wydanych na finansowanie badań naukowych i prac rozwojowych – pojawia się przy spełnieniu kilku przesłanek. Po pierwsze, projekt musi być finansowany przez Europejską Radę do Spraw Badań Naukowych (European Reseach Council), w trybie konkursowym. Po drugie, projekt musi być realizowany przez grupę podmiotów, do której należy ewaluowany podmiot i jednocześnie której liderem jest albo był podmiot nienależący do systemu szkolnictwa wyższego i nauki. W sensie jakaś firma albo rząd jakiś. Po trzecie, te 12 500 zł to musi być tylko w ramach zadań wykonywanych w takiej grupie przez ewaluowany podmiot. Mówiąc krótko, nawiązujemy kontakt z korporacją o ambicjach w zakresie rozwoju nowych technologii, robimy wspólnie projekt badawczo – rozwojowy finansowany przez Europejską Radę do Spraw Badań Naukowych i dbamy o to, żeby przypadkiem nie być liderem takiego projektu. Po czwarte, projekt powinien dotyczyć nauk społecznych, humanistycznych lub teologicznych. Czyli tak: namawiam dużą firmę do wspólnego projektu, w którym na pewno nie będziemy liderem i jednocześnie będziemy szukali dowodu na istnienie Boga. Aha, no i muszą być konkretne prace rozwojowe, np. detektor obecności Boga. Namawiamy Europejską Radę do Spraw Badań Naukowych do ogłoszenia konkursu na takie projekty i uzyskujemy dofinansowanie w ramach takiego konkursu. Dalej już z górki: 1 000 000 zł na takie coś i mamy 320 punktów ewaluacyjnych.

Najgorszym wyjściem jest zrobić samodzielnie (bez konsorcjum) projekt badawczy w zakresie nauk innych niż humanistyczne, społeczne i teologiczne, a projekt ten powinien być realizowany przez grupę podmiotów, której liderem jest ewaluowany podmiot albo inny podmiot należący do systemu szkolnictwa wyższego i nauki. Wtedy mamy 1 punkt ewaluacyjny za każde 50 000 zł wydane na projekt. Jeden milion złotych daje zaledwie 20 punktów.

No i wreszcie trzecie kryterium ewaluacji, czyli P3 „Wpływ działalności naukowej na funkcjonowanie społeczeństwa i gospodarki”, czyli §23 rozporządzenia ewaluacyjnego. Ewaluowany podmiot może przedstawić Komisji tzw. opisy wpływu, czyli co dobrego się wydarzyło pod wpływem badań naukowych prowadzonych i/lub popularyzowanych przez ten podmiot. Przedstawić można od 2 do 5 opisów wpływu, w zależności od liczby osób zaliczonych do tzw. liczby N. O liczbie N będę jeszcze pisał, ale na razie krótko. Zgodnie z § 7 rozporządzenia ewaluacyjnego liczba „N” to liczba pracowników ewaluowanego podmiotu, którzy prowadzą działalność naukową w danej dyscyplinie naukowej albo artystycznej oraz którzy złożyli dwa oświadczenia, opisane odpowiednio w art. 343 ust. 7 oraz art. 265 ust. 5 ustawy.

Typowy wydział na uczelni ma z reguły nie więcej niż 100 osób w liczbie N, a więc może przedstawić dwa opisy wpływu. W najbardziej optymistycznych układach, jeżeli uda się wykazać wpływ o międzynarodowym zasięgu i znaczeniu, można dostać 100 punktów za sztukę, czyli w sumie 200. Jednakowoż jeżeli posłużymy się bazą POL-on, wychodzi 164000 pracowników zatrudnionych w 656 podmiotach, czyli średnio 250 osób na podmiot. Taka średnia statystyczna może złożyć, zgodnie z rozporządzeniem, 4 opisy wpływu na funkcjonowanie społeczeństwa i gospodarki. Każdy z tych opisów może dostać od 20 do 100 punktów. Daje to w sumie przedział od 80 do 400 punktów.

Suma summarum rysują się dwie strategie dla uczelni, w perspektywie uzyskania jak najwyższej kategorii naukowej zgodnie z rozporządzeniem: strategia zorientowana na publikacje naukowe oraz ta zorientowana na współpracę z biznesem w zakresie rozwoju nowych technologii, przy finansowaniu środkami publicznymi przyznawanymi w drodze konkursów. Dla przykładu, budżet Narodowego Centrum Badań i Rozwoju na 2019 rok, w ramach Programu Operacyjnego Inteligentny Rozwój, wynosi 3,09 mld zł. W zależności od tego, jak inteligentnie jednostki naukowe wykorzystają ten łączny budżet, jest to „rynek” 61 800 ÷ 988 800 punktów P2 do podziału między zainteresowanych. Zgodnie z danymi systemu POL-on, w Polsce jest 396 uczelni oraz 260 jednostek naukowych, w sumie 656 graczy. Te punkty P2 rozkładają się więc średnio od 94 punktów rocznie na jeden podmiot aż do nieco ponad 1500 punktów rocznie. Zależy, jak mówiłem, od strategii pozyskiwania funduszy badawczych.

Porównajmy to teraz z punktami P1, za jakość działalności naukowej. W bazie POL-on jest 1 mln publikacji, a baza działa od 2011 roku. Do daje średnio po 125 000 publikacji rocznie, czyli w przeliczeniu średnio na jeden podmiot daje to ok. 190 publikacji. Przy optymistycznym wariancie publikacji wysoko punktowanych można liczyć średnio 65 punktów za jedną publikację. Przy nieco mniejszych sukcesach byłoby to średnio 20 punktów P1 za sztukę. W efekcie mamy roczny dorobek punktowy w średnim przedziale od 3800 do 12 350 punktów.

Pogrzebałem trochę w bazie POL-on w poszukiwaniu liczb. Liczby służą mi do zgadywania myśli, w sensie myśli Komisji (tej ważnej) w momencie kolejnej ewaluacji. Pokusiłem się o coś w rodzaju modelu ewaluacji, czyli o wyobrażenie sobie, jak liczby z POL-onu oraz liczby z rozporządzenia ewaluacyjnego mogą pracować w praktyce. W dwóch tabelach poniżej przedstawiam efekty tej symulacji. Policzyłem prawdopodobny przedział dorobku punktowego, jaki typowy ewaluowany podmiot może zrobić w ciągu roku i pomnożyłem to przez 3 lata. Potem podzieliłem ten dorobek punktowy przez średnią liczbę N, która mi wychodzi N = 250. Te wielkości wpuściłem do równania V(X,R) = W1*P1(X,R) + W2*P2(X,R) + W3*P3(X,R) i policzyłem coś w rodzaju przedziału ufności. Wyszedłem z założenia, że wartość referencyjna R będzie gdzieś w środku tego przedziału, a próg przewyższania G będzie liczony jako połowa tego przedziału. No i wyszło to co widzicie poniżej.

 

 

	Średni możliwy dorobek punktowy		W przeliczeniu na 1 osobę z liczby N
Kryterium ewaluacji	Od	Do	Od	Do
P1	11400	37 050	45,6	148,2
P2	282	4500	1,128	18
P3	240	1200	0,96	4,8

 

 

 

	Nauki humanistyczne, nauki społeczne i nauki teologiczne	Nauki ścisłe i przyrodnicze, nauki medyczne i nauki o zdrowiu	Nauki inżynieryjne i techniczne oraz nauki rolnicze	Dyscypliny artystyczne
Dolna granica przedziału referencyjnego	3 222,48	2 777,76	2 333,88	3 667,20
Górna granica przedziału referencyjnego	10 650,00	9 348,00	8 112,00	11 952,00
Prawdopodobna wartość referencyjna R	6 936,24	6 062,88	5 222,94	7 809,60
Prawdopodobny próg przewyższania G	3 713,76	3 285,12	2 889,06	4 142,40