Etuda k hodnocení vědecké práce
Tak nějak jsem se vlastní nešikovností (a doufám jen na přechodnou dobu) ocitl v situaci, že musím říkat, co považuji za dostatečnou nebo nedostatečnou práci od člověka, který je zaměstnán jako badatel. Při vědomí všech potíží, které to provázejí, to tedy zkouším napsat.
V zásadě si myslím, že je třeba pracovat tak, aby člověk mohl ročně publikovat jeden kvalitní článek. Kvalitním myslím článek publikovaný v dobrém časopise, i když výjimky mohou existovat (nejsou ale příliš pravděpodobné). Za kvalitní považuji časopisy s IF nad mediánem oboru, a nejlépe nad 25% kvantilem. (Jenom na okraj, pro botaniku byl v roce 2003 medián 0.9 a 25% kvantil 1.7, pro ekologii jsou tato čísla 1.2 a 2.1.) Podle mého soudu posílat články do jiných časopisů je vyjádření toho, že práci, na níž jsou postaveny, považuje její autor za podprůměrnou; a podprůměrnou práci nemá celkem cenu dělat, natož pak publikovat, ať už si člověk myslí o impact factorech cokoliv.
Rovněž si myslím, že (i když vedení Akademie i Ústavu tvrdí opak) není třeba publikovat mnoho; v tradeoffu mezi kvalitou a kvantitou se kloním jednoznačně na stranu kvality (popsány jsou stohy papíru a nikdo to nečte...). Samozřejmě, někdy člověk má nutkání říci více a jeden článek mu nestačí. To je samozřejmě v pořádku, nicméně nesmí se při tom zapomenout, že článek je primárně způsob sdělení něčeho zajímavého jiným lidem, nikoli věc sama o sobě sloužící byrokratům k hodnocení pracovníků - právě takové články zaplevelují literaturu. Proto taky považuju za velmi důležité, aby všechny ony dobré články v kvalitních časopisech měly tu vlastnost, aby jejich obsah šlo shrnout jednou větou, ze které vyplyne, proč by člověk měl mít radost, že to a co objevil.
Články se spoluautory: v typickém případě je třeba počet spoluautorů zohlednit, tj. příspěvek každého článku každému autorovi nechť je dělen počtem autorů onoho článku (bez ohledu na to, zda oni spoluautoři jsou z ústavu či ne), nebo možná naopak, onen jeden dobrý článek nechť připadá jen na jednoho člověka z autorského týmu. To není návod proti týmové práci; spíš si myslím, že autorství je málo dělitelné, asi podobně jako autorství symfonií, obrazů nebo třeba daňových podvodů. Nápad je holt nápad, a plnohodnotná spolupráce na nějaké věci se nemůže týkat třiceti lidí, a docela možná dokonce daleko menšího počtu. Spolupráce jako taková je samozřejmě moc dobrá, protože často stimuluje nápady, a vůbec práce ve skupině je obvykle zábavnější; na druhé straně není dobré, když vede k rozředění zodpovědnosti a devalvaci pojmu autorství.
Jiné věci než články: za důležité považuju pracovní kontakty se zahraničím a jinými institucemi, popularizaci a pedagogickou činnost, účast na konferencích, a vůbec všechny další aktivity, které informují o práci jinak nebo jiné lidi než ty, co si přečtou ony články v dobrých časopisech. (Nicméně napřed musí být ony hmatatelné zajímavé výsledky, aby bylo o čem vůbec informovat.) Omezit se na ony články v dobrých časopisech mj. znamená, že člověk přenechává někomu jinému péči o to, aby veřejnost věděla, nad čím, proč a s jakým výsledkem bádáme; to je minimálně škoda, ne-li přímo špatně. Samozřejmě vůbec nejlepší je napsat dobrou knihu, ale to se stává málokdy, takže nemá cenu o tom dělat nějaké obecné úvahy.
Hodně se v této souvislosti mluví také o grantech, nebo obecně o prostředcích na výzkum. Ovšemže granty jsou důležité, ale dokáže-li člověk dělat dobrou vědu bez nich, není to v žádném případě tragédie. Vedení ústavu si sice opět myslí opak, ale je třeba jej chápat; holt se musí starat o ty peníze. Nicméně o ty v první řadě skutečně nejde; jsou snad prostředkem, ale rozhodně nikoli cílem. Lidé musí být hodnoceni nikoli za svůj příspěvek na poli finančním, ale intelektuálním: za objev a dobrý nápad, a za jeho sdělení ostatním.
TH
(Rád uvítám jakýkoli komentář na této adrese. Prosím v tom případě napište také, zda souhlasíte s tím, abych jej zde vyvěsil.)
Petr Pyšek
Jan Kirschner
Hana Skálová
Miloš Krist
Tomáši,
Vedení ústavu bohužel musí tlačit na to, aby toho bylo hodně. Na druhou stranu, kdyby tady vznikaly opravdu významné články nebo objevy, nemusely by jich být asi přehršle - počítám že Holému asi nikdo nesčítá impakt faktory; nebo možná jo, nevím. Jenže my se tady všichni plácáme v nejlepším případě ve slušném mezinárodním nadprůměru.
Tomu Tvému postoji by nahrávalo, kdyby se hodnotilo podle citací a ne publikačního média. Taky by to nebylo ideální, ale asi by to bylo lepší. Napsal bys jednou za pár let geniální článek a mohl si dát nohy na stůl. Sundával bys je, jenom kdyby šel kolem ředitel.
Tak úplně nesouhlasím s tím, že nemá cenu publikovat články, které nedostaneš do lepších časopisu (než jsou třeba Folia, abych si rejpnul v mantinelech Tebou uvedených mediánu) - přece jen nejsme chemici a i takový články mají svou cenu a má je cenu je dělat. Nehledě na to, že málokdy píšeš článek s tím, že půjde do slabšího časopisu, prostě to tak někdy dopadne. Ale souhlasím, že je rozumné vyžadovat od každého ročně jeden článek v časopise s dobrým IF.
Spolautorstvi je problém. Mne připadá ten systém odmocniny z počtu autorů, který jsi kdysi navrhl do bodování, jako velmi rozumný; pokud zavedeme důraz na prvního autora nebo budeme dělit počtem, budeme tím nutné působit PROTI spolupráci. Já mám tendenci lidí spíš zahrnovat jako spoluautory a změna hodnocení by mě těžko přiměla dělat to jinak, ale dovedu si představit, že by to mohlo leckde vyvolat pnutí a opačné tendence.
Obzvlášť komplikované je to u spoluatorstvi se studenty, co si budeme povídat. Já mám články, kde jsem druhej, třetí nebo ctvrtej autor a do značně míry jsem je vymyslel a všechny finální formulace jsou moje; fakt žádný pripisovacky. Nevadí mi to, ale připadá mi spravedlivější, že za to mám stejný kredit jako dotyčný student.
Jinak ale naprosto souhlasím s tím, že pokud pět lidí publikuje všechno spolu, měli by vyprodukovat za rok pět článku (rozuměj v kvalitním časopise).
K financím - já si taky myslím, že v našem oboru se dá naštěstí dělat dobrá věda bez velkých peněz. Možná jsem naivní, ale že by granty byly cíl a nikoli prostředek k práci, publikování, rozvíjení kontaktu, vzdělávání elévů a chodu instituce, to si někdo myslí, myslíš?
Petr
Petre a Tome,
celkem mi nepripada, ze bychom v nejake velke mire byli vepri ohledne hodnoceni. Dokonce si myslim, ze hodnoceni publikacni cinnosti, jak je mame zavedeno (i, nebo hlavne diky vam), vetsinu aspektu zminenych Tomem postihuje. Par poznamek:
Hodnoceni, ktere zasadnim zpusobem ovlivnuje existenci i zdravi (zvl. financni) naseho ustavu, prichazi z venku a prinasi s sebou i kriteria (nekdy nepsana, ale drive nebo pozdeji vyrcena). Kriteria jsou nasim systemem jen zmekcena, ne naopak. Byt nebo nebyt ve skupine A ci B nebo dokonce C znamena 4,5% inst. rozpoctu mezi A-B ci B-C (cili rozdil 9% mezi A a C, tj. pro nas asi 8 M korun). Dale nekomentuji.
Druha vec je spoluautorstvi. Zde souhlasim s Petrem a dodavam, ze nektere obory lze delat jako individualita (popr. jako 1. autor, pokud nekdo najde nejake otroky jako nevalne cenene spoluautory), jine proste vyzaduji tymy - a jejich clenove casto jsou celkem rovnocennymi partnery tomu, kdo neco vymysli (ale sam to nemuze realizovat).
Treti vec jsou granty, jinak tez prachy. Vsude ve svete (mineno civilizovanem) institucionalni financovani (a v tom zejmena platy) tvori mnohem nizsi procento nez je tomu v BU. Vyvoj, a to zvlaste v podminkach VVI, urcite pujde smerem ke zvyseni podilu uceloveho financovani (lidi i vyzkumu). Predstava, ze bychom ted mohli omezit ucelove financovani ve prospech dobre vedy bez grantu, je (kdyz pouziji eufemismus) zcela mylna. (Petr nekde ma papir, kde jsou napsana kriteria pro ruzne vysoke kategorie vedcu v GB - to je dost poucne).
Zdravim
Honza
Naprosto souhlasím s Tomášem, že je třeba publikovat v kvalitních časopisech. Proto je třeba zaměřit se na zajímavá témata, která jsou v těchto časopisech potencionálně umístitelná. Je dlouho diskutovanou otázkou, zda lze kvalitu časopisu soudit výhradně podle impact factoru. Já myslím, že se na IF zcela spoléhat nedá, byť mu jistou a poměrně značnou výpovědní neodpírám. Do diskuse na toto téma se ale na tomto místě pouštět nechci. Na téma IF již bylo napsáno hodně, napovídáno ještě víc a k žádnému jasnému výsledku se beztak nedospělo. Je to zkrátka věcí názoru každého. Při rozhodování, kde článek publikovat, by se podle mě měly brát v úvahu i další faktory, např. to, komu je článek určen. Mělo by se tudíž alespoň částečně rezignovat na výšku IF a spíš publikovat v médiu příslušné čtenářské obce. Naprosto očividná mi přijde situace u článků s vazbou na ochranu životního prostředí. Zde lze jistě najít prostor pro publikování jednodušší prakticky zaměřené mutace těžké vědy. Domnívám se též, že daňoví poplatníci mají právo vědět alespoň rámcově a přímo od zdroje, na co jsou jejich ne úplně malé peníze vynakládány.
Jisté je, že nemá cenu dělat práci, o které se již předem ví, že je podprůměrná. Ale na světě a i v biologii to tak holt často chodí, že ze slibného tématu nevyjde to, co se od něj očekávalo, a na druhou stranu se stává, že vedlejší produkt nějaké práce je nakonec zajímavější než původní záměr. Co pak v případě nesplněných očekávání? Vyhodit docela zajímavá data? Myslím, že je podstatně lepší napsat článek do méně prestižního časopisu s IF pod mediánem a doufat, že alespoň někomu, kdo hledá na Web of Science, přijdou výsledky zajímavé. Navíc cesta k publikování ve vysoce prestižních časopisech je dlouhá a jen málokdo hned na začátku vysekne článek, který by tam byli ochotni akceptovat. Takže jest na místě začít u těch méně prestižních. Prestižní časopisy otisknou též pouze články zajímavé pro širokou čtenářskou obec (mimo jiné i proto, že musí dbát na udržení svého vysokého IF, ale to jistě není jediný důvod). Mnoho docela dobré vědy se alespoň na počátku kariéry dělá doma za humny (těmi humny myslím Českou republiku) a má proto velmi často více či méně silnou regionální vazbu. To též snižuje šance příslušného rukopisu na publikaci v "prestižním" časopise.
Jsem zastáncem kvality před kvantitou. Z tohoto hlediska jest otázkou, zda se mají uvádět vůbec nějaké minimální počty článků, které je třeba opublikovat, byť se jedná jen o články v prestižních IF časopisech. Poměrně podstatným činitelem v posuzování výkonnosti badatelů ze strany instituce je hodnocení té instituce ze strany jejích nadřízených orgánů. V praxi tedy BÚ musí na hodnocení svých pracovníků aplikovat podobná kritéria, jako AV aplikuje na něj. Tedy, pokud nechce vedení ústavu přivést tento na pokraj záhuby tím, že si vytvoří odlišná kritéria pro hodnocení vlastních pracovníků a bude riskovat, že následně bude ústav hodnocen špatně, bude mu krácen rozpočet a v konečném důsledku může být i jako málo výkonný zrušen. Jsem hluboce přesvědčena, že je přímo povinností těch, kteří mají na hodnocení pracovníků odlišný názor a přitom zastávají jakékoli funkce v nadřízených orgánech, grantových agenturách, na školách, v poradních výborech apod. i těch, jejichž hlasu je na rozhodujících místech nasloucháno s respektem, aby se všude a neúnavně snažili tento svůj názor prosazovat do systému hodnocení práce vědeckých institucí. Těm to pak umožní odpovídajícím způsobem hodnotit vlastní pracovníky.
Domnívám se, že současný systém publikačního bodování v BU, který vznikl za vydatného přispění Tomáše a jehož aplikace i změny podléhají souhlasu vědecké rady, celkem dobře váží přínos jednotlivých autorů i kvalitu publikačního média; snad jen kapitoly v knihách všech relativně prestižních nakladatelství a jejich editorství by mohly být hodnoceny lépe. Pro hrubou představu - za 3 stránkový anglicky psaný článek v časopise s IF faktorem 1,2 se získá 3,81 bodu, vědeckém cizojazyčném časopise bez IF 0,87 b. a v ostatních časopisech 0,35, za 30 (ano třiceti) stránkovou kapitolu v knize či sborníku prestižního zahraničního nakladatelství 2,74 b., méně prestižního (např. Academie) 1,1 b., v ostatních 0,55 b., v případě editorství 300 stránkové knihy pak 2,6 b. resp. 1,04 a 0,52 b. Pokud je příspěvek napsán česky je získaných bodů přesně polovina.
Další poměrně zajímavou kapitolkou je financování. Myslím, že botanicko-ekologická věda se bez peněz dlouhodobě dělat nedá. Tím nechci říci, že nelze překlepat pár hubených let, žít dílem ze zásob z dob hojnosti, část peněz na výzkum získat z vlastních příbuzných projektů, od kolegů či mateřské instituce. Pokud však budou jediným zdrojem peněz na provozování vědeckého bádání (nikoli platy) granty, nezbývá zkrátka než o ně žádat. Samozřejmě, jedincům, kteří jsou ochotni tyto náklady hradit z vlastních prostředků a přitom produkovat kvalitní vědu by se v jejich činnosti nemělo zabraňovat ani je za nezískávání grantů nikterak hanobit.
Z důvodů, které celkem dobře shrnuje Tomáš, patřím mezi zastánce spolupráce. Považuji ji za dlouhodobě osvědčený a progresivní, nikoli však povinný, systém práce. Otázkou je dělení výsledku takové spolupráce. Typickým výsledkem vědecké práce je publikace - nechť je tedy spoluautorská. Pokud má někdo výborný nápad a je sám schopen zajistit jeho realizaci, nic proti tomu. Autoři výborných nápadů, jejichž realizace si z různých důvodů žádá součinnosti většího počtu lidí, by měli velmi dobře uvážit, jak hodlají takové lidi k práci motivovat. Pokud tak nechtějí učinit formou spoluauorství, mají podle mě za současného stavu poměrně těžkou situaci. Každopádně se domnívám, že by bylo nanejvýš férové, aby takto uvažující autoři dobrých nápadů ještě před započetím prací na projektu nebo ještě lépe před podáním grantové přihlášky svým potencionálním spolupracovníkům naprosto otevřeně řekli: "Zvu Vás k práci na svém projektu", nebo "Můžete mi s realizací mého dobrého nápadu pomáhat", ale rozhodně by neměl zapomenout zdůraznit: "Článek z tohoto nápadu (potažmo projektu) budu psát sám za sebe a rozhodně nepočítejte s tím, že vás uvedu jako jeho spoluautory". Oslovení nechť zváží, zda se hodlají takového podniku účastnit. Možná, že se takovému nositeli nápadu nabídky na výpomoc jen pohrnou a on si pak bude moci vybrat jen ty nejschopnější jedince. Kdo ví. Nepopírám, že pro někoho již prostá výpomoc na takovém projektu může být přínosnou. Každopádně by to ti, kteří pomýšlejí na dlouhodobější vědeckou kariéru, neměli s takovou "výpomocí" přehánět. Měli by se soustředit na publikování vlastních prací (včetně spoluautorských), potažmo na podávání vlastních projektů. V opačném případě by se velmi snadno mohli dočkat toho, že před atestacemi vedoucí jejich oddělení zcela podle pravdy napíše, že jejich publikační aktivita je nedostatečná a grantovou aktivitu je též třeba zvýšit. V takovém případě teď dotyčným jedincům hrozí nebezpečí, že jim pan ředitel či paní ředitelka nepodepíše prodloužení pracovní smlouvy nebo s prodloužením bude alespoň váhat.
H.
Ahoj Tomáši,
Měl bych poznámku k tvé Etudě. Myslím si (a jsem tomu rád), že při hodnocení vědecké práce se její kvalita začíná prosazovat i na úkor kvantity. Například u nás na PřF UP v Olomouci byly asi před dvěma roky zavedeny tzv. Ceny děkana, což je vlastně finanční odměna z centrálních zdrojů fakulty, která se uděluje autorům vědeckých publikací, které mají IF vyšší než je horní 20% percentil pro daný obor. Cena za daný článek se udělí jen jednomu autorovi z PřF UP a to tomu, který je nejvýše v pořadí autorů. To asi není ke zbytku spoluautorů zcela spravedlivé, i když by se dalo namítnout, že se prostě musí snažit aby příště byli právě oni těmi prvními, kteří budou odměněni. Spravedlivý by ovšem nebyl ani systém, kdyby se cena rozdělila mezi autory rovnoměrně, protože jejich příspěvek ke vzniku práce může být a často jistě bývá nerovnoměrný. Myslím si, že ideální řešení by bylo, kdyby se všichni spoluautoři dané práce byli schopni domluvit na tom, jaký byl vlastně podíl toho kterého na vzniku práce. Taková domluva by mohla stát na, v podstatě známé, časové a intelektuální náročnosti jednotlivých dílčích prací, které bylo pro dosažení konečného výsledku nutno provést. Teprve, kdyby se spoluautoři nebyli schopni domluvit (což by byl podle mého názoru spíš ojedinělý případ), otevřel by se prostor pro jiný způsob hodnocení (důraz na prvního autora, dělení počtem, odmocnina z počtu atp.).
Zdraví
Miloš
PS Jestli chceš, můžeš tento názor vyvěsit na webu.
Miloš Krist
Museum of Natural History
Nám. Republiky 5
771 73 Olomouc
Czech Republic
e-mails: krist@vmo.cz
krist@prfnw.upol.cz
tel.: +420-585515128