„Vláda čísiel“ (numerokracia) ako megatrend súčasnosti: príklady, výhody a nevýhody

Hlavne v západných štátoch je čoraz populárnejšie spravovanie a riadenie spoločnosti na základe kvantitatívnych metrík a indikátorov, čo sa nazýva aj numerokracia. Jej zástancovia si od jej zavádzania sľubujú zvyšovanie efektivity práce, zefektívňovanie rôznych procesov a postupov, spravodlivé odmeňovanie schopnejších jednotlivcov a inštitúcií, ako aj znižovanie priestoru pre korupciu a klientelizmus. Jej kritici poukazujú na to, že komplexné fenomény redukuje, zväčša na ich ekonomickú rovinu, a vedie k nezdravému tlaku a súťaživosti namiesto spolupráce.

V tomto článku si zhrnieme, čo to numerokracia je, uvedieme niekoľko príkladov jej aplikácie zo súčasnosti a zhodnotíme si jej výhody a nevýhody.

1 Čo je to numerokracia?

Technologický pokrok, prudko urýchlený nástupom informačných technológií v posledných desaťročiach, umožňujevý čoraz viac javov vyjadriť kvantitatívne, teda formou štatistiky alebo metriky. Príklady takých ukazovateľov sú hrubý domáci produkt, uhlíková stopa, index ľudského rozvoja, výsledky testovania PISA (OECD, 2020) alebo scientometrické ukazovatele ako Q index (Todeschini, Baccini, 2016) či h-index (Hirsch, 2005).

Je pochopiteľné, že vláda aj súkromné spoločnosti vo svojom riadení musia vychádzať z konkrétnych empirických faktov a teda metriky používajú. Práve pojem „numerokracia“ (z lat. numero – číslo a gréc. kratéō – vládnuť) vyjadruje takýto spôsob riadenia. Ako uvádzajú Angermuller a van Leeuwen (2018, s. 95):

„Numerokracia zrodila paletu praktík, ktoré majú za cieľ riadiť veľké spoločnosti uplatňovaním čísiel a iných štandardizovaných kódov na spoločenskú rôznorodosť. Numerokratické riadenia podrobili viaceré spoločenské oblasti praktikám prepočítavania, kvantifikácie a štandardizácie.“

Pojem „numerokracia“ zatiaľ nie je v spoločenskom a vedeckom diskurze veľmi etablovaný (ani Wikipédia o ňom nemá žiadny záznam), niektorí vedci ho však používajú (Davis, 2009; Messerschmidt, 2016; Angermuller, van Leuween, 2018; Sampaio, Leite, 2018).

Hoci slovo „numerokracia“ nemá implicitne negatívny nádych, ľudia, ktorí používajú tento výraz, sú zväčša voči numerokracii kritickí (Davis, 2009; Angermuller, van Leuween, 2018). Numerokracia tak môže označovať aj prehnané, redukcionistické dbanie na metriky. Vzhľadom na relatívne malé rozšírenie pojmu však táto negatívna asociácia bežne nie je silne pociťovaná. Budem preto pojem „numerokracia“ používať ako neutrálne označenie a jeho význam tak, ako uvádzam vyššie.

2 Príklady numerokracie

V stručnosti uvediem niekoľko príkladov numerokracie z rôznych oblastí života.

2.1 Veda

Vo vede je na vzostupe scientometria. Rôznymi indexmi, zväčša založenými na počte publikácií a citovanosti, si pomáha pri určovaní relatívneho významu vedcov, publikácií, časopisov či aj inštitúcií. Asi najznámejším ukazovateľom je impact factor (Garfield, 2006), ktorý existuje už od roku 1975. Vypočítava sa pre časopis ako priemerný počet citácií na článok uverejnený v časopise za články v posledných dvoch ročníkov časopisu.

Pri hodnotení konkrétnych výskumníkov je populárny h-index (Hirsch, 2005). h-index o hodnote X znamená, že aspoň X článkov výskumníka má aspoň X citácií. Medzi „rekordérov“ podľa Google scholar patria filozof Michele Foucault (h-index = 290), epidemiológ Graham Colditz (h-index = 285) či psychológ Sigmund Freud (h-index = 278).

Scientometrické indexy tohto typu sú často používané pri prijímaní zamestnancov, rozdeľovaní verejných financií, akreditáciách, hodnotení univerzít či udeľovaní grantov.

2.2 Vzdelávanie

Na poli vzdelávania existuje viacero medzinárodných meraní, ktoré porovnávajú výsledky z rôznych krajín. Medzi najznámejšie patria: PISA, TIMSS či PIRLS. Od výsledkov krajiny v týchto testovaniach sa často odvíja koncepcia vzdelávacej politiky, keďže v médiách a verejnosti vzniká tlak na zlepšovanie výsledkov. O medzinárodnej štúdii PISA píšem v samostatnom článku, kde zhodnocujem aj niektoré jej dopady na vzdelávacie systémy.

2.3 Ekonomika

Ekonomika je vo svojej podstate úzko spojená s meraniami a číslami. Druhá vec je, aké metriky sa vyberú a akým spôsobom sa použijú pri verejných rozhodnutiach. Asi najznámejším ekonomickým ukazovateľom je hrubý domáci produkt, ktorý predstavuje hodnotu všetkých finálnych výrobkov a služieb vyrobených a poskytnutých rezidentskými jednotkami štátu, zväčša za rok. Práve na rast HDP sa často odvolávajú politici a pokles rastu HDP, či celej ekonomiky, môže mať veľký dopad na voličské preferencie. Politici sú tak (hlavne v západnom svete) motivovaní udržiavať neustály rast HDP.

Príkladom odlišného prístupu je napríklad Bhután, ktorý si priamo v ústave ako cieľ štátnej politiky stanovil hrubé národné šťastie (Karma, Alkire, Zangmo a kol., 2012). Táto metrika zohľadňuje okrem ekonomického rozvoja aj kritériá ako zdravé životné prostredie, voľný čas a čas na odpočinok, zdravie či kultúra. Bhután si do ústavy zakotvil povinnosť štátu vytvárať podmienky na rozvoj národného šťastia. Hoci ide technicky o metriku s prísnou metodológiou výpočtu, rozdielom oproti HDP je to, že zohľadňuje rozličné kvalitatívne oblasti (ktoré sú však kvantifikované) a je tak menej jednostranne orientovaný na ekonomiku.

Ďalším typom ekonomických metrík sú kvantifikácie korupcie, resp. jej vnímania. Najznámejším je Index vnímania korupcie (Corruption Perceptions Index), ktorý vyhotovuje Transparency International na základe hodnotení odborníkov z rôznych inštitúcií (Transparency International, 2018). Ďalším je Globálny barometer korupcie, ktorý je založený na prieskumoch medzi bežnými ľuďmi.

2.4 Riadenie firiem

Pri riadení firiem sa, pochopiteľne, často zohľadňujú ekonomické výsledky. Najznámejšími ukazovateľmi v tomto smere sú tržby, zisk pred zdanením (EBITDA, earnings before interest, taxes, depreciation, and amortization) a výsledný čistý zisk (net income).

Pomerne novým fenoménom je tzv. riadenie diverzity. Aj v tomto smere sa používa numerokracia. S cieľom dosiahnuť čo najželanejšie pomery mužov a žien v manažmente, či čo najvyššiu zamestnanosť rôznych menšín sa firmy ako napr. Intel verejne prezentujú štatistikami ukazujúcimi na „plnú reprezentáciu“ menšín (Jurášek, 2019). Nezriedka sa v tomto procese používajú aj kvóty a dochádza k priamej preferencii ľudí istej rasy alebo pohlavia pri prijímaní do zamestnania.

3 Výhody numerokracie

Riadenie pomocou metrík má mnoho výhod, ale aj nevýhody, pričom v praxi ich pomer závisí od miery a konkrétnej implementácie riadenia metrikami.

3.1 Racionálne jadro

Prakticky každá metrika vzniká ako kvantifikácia žiadaného javu alebo naopak javu, ktorého výskyt sa má v spoločnosti zredukovať. V istom zmysle je požadované kritérium vždy želané, dobré a prínosné. Publikačná činnosť vedcov je žiadaná, lebo rozširuje vedecké poznanie a pomáha nachádzať užitočné vynálezy, lieky či inovácie. Väčšia produktivita ekonomiky (vyjadrená napríklad HDP) spravidla znamená, že ľudia si toho môžu viac dovoliť, teda majú viac naplnené potreby a lepší život. Vo všeobecnosti platí, že bohatšie krajiny vykazujú vyššiu úroveň subjektívne hláseného šťastia obyvateľmi (Borrero a kol., 2013; Proto, Rustichini, 2013; pre prehľad relevantnej literatúry pozri Jurášek, 2020).

3.2 Objektivita, spravodlivosť, jednoduchosť

Aj keď je otázne, ako nastaviť metodiku výpočtu určitej metriky, akonáhle je určená, nemožno o jej výsledku, v drvivej väčšine prípadov, špekulovať. Práve táto objektivita je cieľom numerokracie. Keďže postup výpočtu metriky je jasne daný a známy (teda transparentný), každý, kto s ňou pracuje alebo je podľa nej posudzovaný, si môže nastaviť ciele a začať ich napĺňať.

Ak napríklad zamestnanec výskumnej inštitúcie vie, že sa od neho očakávajú aspoň dva články ročne, môže začať robiť konkrétne kroky k tomu smerujúce. V tomto zmysle je numerokratické kritérium spravodlivejšie ako požiadavka „kvalitnej publikačnej činnosti reprezentatívnej kvality“, keďže táto môže byť posúdená subjektívne. Vďaka numerokracii a presnému stanoveniu požiadaviek je tak zamestnanec chránený napr. voči nepriazni vedenia, ktoré by mohlo kritérium „kvalitnej publikačnej činnosti reprezentatívnej kvality“ subjektívne interpretovať v neprospech zamestnanca.

Zároveň ale dobre nastavená numerokracia chráni aj pred nenáležitým zvýhodňovaním. Ak by sa pozície vo firmách či štátne zákazky obsadzovali na základe presne definovaných, objektívnych ukazovateľov, prispelo by to k zníženiu možností korupcie a klientelizmu.

Vyhodnocovanie podľa vopred stanovených metrík býva často tiež jednoduchšie a rýchlejšie ako kvalitatívne posudzovanie.

3.3 Porovnateľnosť

Keďže spôsob výpočtu metriky je presne daný, možno ju merať u rôznych subjektov, v rôznych časoch a kontextoch. Vďaka tomu môžeme porovnávať jednotlivcov, organizácie či celé krajiny, prípadne ten istý subjekt v rôznom čase. Vďaka tomu je možné na merateľnom základe testovať účinky rôznych opatrení alebo sa inšpirovať subjektmi, ktoré dosiahli v hodnotení dobré výsledky.

3.4 Zvyšovanie efektivity a motivácia

S porovnateľnosťou súvisí zvyšovanie efektivity. Je možné testovať rôzne opatrenia a ich dopad na vývoj metriky. Vďaka tomu možno vybrať tie, ktoré vedú k najžiadanejšiemu výsledku. Spôsobov je mnoho. Možno napr. viac odmeňovať zamestnancov, ktorí prispievajú k cieľovej hodnote metriky, a tým ich motivovať. Možno porovnávať rôzne obchodné stratégie firmy alebo opatrenia verejnej politiky. Aj keď interpretácia je zložitá, jednotný systém metrík dodáva solídnejší základ ako len čisto kvalitatívny spôsob vyhodnocovania.

4 Nevýhody numerokracie

4.1 Obmedzenia merania

Metriky možno použiť len tam, kde je skúmaná veličina merateľná. Mnohé javy však merateľné nie sú, resp. len v obmedzenej miere. Je napríklad veľký problém merať presne ľudské šťastie, kvalitu vzťahov alebo pocit naplnenosti. Túto námietku výstižne formuluje Muller (2018) v knihe Tyrania metrík: „Nie všetko, čo je dôležité, je merateľné a mnohé z toho, čo je merateľné, je nedôležité.“

4.2 Výber metrík a falošná legitimita

Aj keď sú metriky samé o sebe zväčša dostatočne presné, v praxi sa nikdy nemôžu uplatniť všetky. Sú zvolené iba niektoré, je však otázka, ktoré to majú byť. Má o ekonomike vypovedať hrubý domáci produkt, hrubý národný produkt alebo hrubý národný dôchodok? Prečo nie index ľudského šťastia?

Ako uvádza Sjøberg (2019): „Dobré a spoľahlivé štatistiky sú, samozrejme, dôležité. Ale štatistiky a indikátory realitu nielen popisujú, ale zároveň ju aj vytvárajú a tvarujú. Ak si zvolíte, že budete niečo merať, definujete tým aj to, čo je vnímané ako dôležité. To, ako skonštruujete indikátor, je založené na predpokladoch a hodnotových prioritách, na ktoré sa čoskoro zabudne, keď sú zostavované a prezentované poradovníky.“

Inak povedané, pri prezentácii exaktných čisiel a tabuliek sa môže zdať, že ide o akési objektívne vyhodnotenie reality. Ak by niekto argumentoval proti rozhodnutiam prijatých na základe týchto „objektívnych“ čísiel, vyznel by zrejme neodborne.

Zabúda sa však pritom na to, že „objektívne“ čísla a štatistiky sú odvodené z určitých metrík, ktoré prezentujú len určitý uhol pohľadu. Podobne by sme mohli vybrať iné metriky, ktoré by o skúmanom jave prezentovali úplne iný obraz a vyplývala by z nich potreba iných opatrení.

4.3 Prílišná fixácia na meraný jav, pokles tvorivosti

Keď sú pre organizáciu či spoločnosť nastavené jasné kvantitatívne ciele, zamestnanci aj vedenie sa zväčša snažia ich čo najlepšie naplniť. To ale môže viesť k poklesu tvorivosti. Inštitúcie sa môžu začať fixovať na maximalizáciu hodnoteného parametra, zanedbávať tie, ktoré nie sú hodnotené a zároveň stratiť motiváciu rozvíjať nové aktivity. Ak je napr. vysoká škola hodnotená podľa publikácií a financovaná podľa počtu študentov, výsledkom môže byť nízka kvalita vzdelávania. Bude prijatých veľa študentov, na ktorých budú mať pedagógovia málo času a nízke nároky, pretože budú musieť vytvárať čo najviac výstupov.

Špeciálne negatívne tento jav pôsobí vtedy, pokiaľ je vo vede etablovaná určitá paradigma. Články vychádzajúce z iných predpokladov ako dominantná paradigma sa ťažšie presadia na „trhu“ publikácií a budú menej citované. Vedci budú teda mať tendenciu replikovať myšlienky spadajúce len do paradigmy, čo vedie k poklesu vedeckej tvorivosti.

4.4 Cieľ namiesto prostriedku, resp. účelové plnenie cieľa

Pôvodným cieľom metrík je zvýšiť výskyt želaného javu. Namiesto toho však môže dôjsť k opačnému dôsledku, kedy ľudia budú len simulovať presne definovaný prejav, čo vedie k zníženiu kvality (alebo aj výskytu) želaného javu.

Až humorným príkladom zo života je prípad nemeckého antropológia Gustav Heinrich Ralph von Koenigswalda, ktorý skúmal kosti prvotných vývojových fáz človeka na ostrove Jáva. Miestnym ponúkol odmenu za každý kúsok lebky, ktorý mu doniesli. Neskôr vyšlo najavo, že domorodci trieštili lebky na menšie kúsky, aby maximalizovali svoje zisky (Swisher, Curtis, 2001).

Takéto správanie vysvetľuje Campbellov zákon (Campbell, 1979): „Čím viac je nejaký kvantitatívny spoločenský indikátor používaný na rozhodovanie v spoločenských záležitostiach, tým viac bude vystavený korupčným tlakom a tým viac bude mať tendenciu skresľovať spoločenské procesy, ktoré má monitorovať.“

Campbell ďalej uvádza konkrétne prípady zo Spojených štátov, kde zmena spôsobu merania úspechu boja s kriminalitou menila správanie polície. Ak boli napr. policajti odmeňovaní podľa percenta objasnených trestných činov, mnohé trestné oznámenia neboli zaznamenané, resp. boli zaznamenané až po vyriešení prípadu.

Situácia, kedy navrhnuté riešenie určitého problému ho ešte zhorší, sa nazýva tiež kobrí efekt.

Podobné Campbellovmu zákonu je tzv. Goodhartovo pravidlo, ktoré antropologička Marilyn Strathernová (2018) zhrnula nasledovne: „Keď sa ukazovateľ stane cieľom, prestáva byť dobrým ukazovateľom.“

Baskin (2014) uvádza ďalší príklad. Americkí vojaci vo vietnamskej vojne boli povyšovaní podľa toho, koľko nepriateľov zabili. Preto mnohí velitelia umelo nafukovali počty zabitých nepriateľov.

Príkladom z nášho prostredia je uvádzanie slovensko-českých konferencií za „zahraničné“ alebo organizovanie „účelových“ konferencií, kde napr. trojstranový výstup bez empirického výskumu, ktorý prejde recenziou 2 odborníkov a je publikovaný online, je vyhodnotený ako kategória AFD „Publikované príspevky na domácich vedeckých konferenciách“, čím je z bodového hľadiska ekvivalentný 20-stranovej empirickej štúdii publikovanej v domácom nekarentovanom časopise.

Zámerom pritom v týchto prípadoch nemusí byť obídenie kritérií, ale to, aby si výskumníci vybavili svoju povinnosť – „dali cisárovi, čo je cisárovo“ – a mohli sa tak sústrediť na skutočnú prácu bez zbytočného tlaku. Výsledkom však môže v krajnom prípade byť až to, že takáto „simulovaná“ činnosť je kontraproduktívna a vedcom ostáva na skutočnú tvorivú prácu, paradoxne, času menej.

4.5 Pokles vnútornej motivácie

Numerokracia kladie tlak na výkon. Ak je ale človek pod tlakom, primárnou potrebou sa stáva uvoľnenie tlaku. Ako uvádza Neill (2008): „Pod tlakom na vykázanie veľkého množstva výstupov vedci často podľahnú pokušeniu uchýliť sa k dvojitému publikovaniu, auto-plagiátorstvu či publikovaniu ,najmenšieho publikovateľného výstupu‘.“

Zásadné námietky prináša aj Kohn (2018), ktorý mnohými výskumami dokladá, že pokiaľ je človek hodnotený podľa naplnenia nejakého vonkajšieho kritéria, vnútorná motivácia a tvorivosť klesajú. Človek ma zníženú tendenciu robiť danú aktivitu sám od seba a hľadať nové cesty riešenia problémov.

Vonkajšia motivácia síce môže viesť k dočasnému zvýšeniu žiadaného správania, podstatné sú však príčiny správania. Ako však píše Kohn, pokiaľ je príčinou správania vonkajšia odmena, nedochádza k zvnútorneniu. Keď odmena zmizne, vytratí sa spravidla aj požadované správanie, ktoré mala odmena vyvolávať.

V duchu aforizmu experta na motiváciu Johna Nichollsa, ak budete deti motivovať k čítaniu tak, že za prečítané knihy dostanú poukazy na pizzu zdarma (ako to spravil reťazec Pizza Hut), výsledkom zrejme budú tučné detí, ktoré bez radosti čítajú čo najviac krátkych kníh (Kohn, 2007).

5 Záver

Numerokracia ako spôsob riadenia je trend, ktorý je na vzostupe vo verejnej i súkromnej sfére. Jej uplatňovanie má svoje výhody i nevýhody, ktoré sú vždy v nejakom pomere, a preto ich nemožno absolutizovať. Ide o to, aké riadiace procesy nastavíme pre konkrétnu situáciu a ako ich vyvážime.

Celkovo však možno povedať, že riadenie metrikami a indikátormi má svoje opodstatnenie a informačná spoločnosť sa bez niektorých z jeho aspektov nezaobíde. Ak sú používané správnym spôsobom, dokážu výrazne rozšíriť naše poznanie, pomôcť nám robiť informované rozhodnutia a zvýšiť efektivitu našej práce.

Je však dôležité, aby sme metrikám dali primerané miesto v živote spoločnosti. Majú byť spätnou väzbou našej práce, nie jej hlavným cieľom.

Mali by sme si byť tiež vedomí toho, že dokážu exaktne popísať iba časť reality – spravidla tú viac materiálnu a ekonomickú. Nemenej dôležitá časť skutočnosti, vyjadrená zväčša v kategóriách ako osobnostný rozvoj, morálka, osobná pohoda či dobré vzťahy, je z pohľadu čísiel viac skrytá, no rozvíjať ju je v dlhodobom horizonte zásadné.

Zdroj obrázku: Ranjan et al., 2016

Použité zdroje

Angermuller, J., & van Leeuwen, T. (2018). On the Social Uses of Scientometrics: The Quantification of Academic Evaluation and the Rise of Numerocracy in Higher Education. In R. Scholz (ed.), Quantifying approaches to discourse for social scientists (s. 89-119). Londýn: Palgrave Macmillan.

Baskin, J. S. (2014). According to U.S. big data, we won the Vietnam war. Forber. Dostupné na: https://www.forbes.com/sites/jonathansalembaskin/2014/07/25/according-to-big-data-we-won-the-vietnam-war/#4dc6309c3f21 [citované 2020-01-29]

Borrero, S., Escobar, A. B., Cortés, A. M., & Maya, L. C. (2013). Poor and distressed, but happy: situational and cultural moderators of the relationship between wealth and happiness. Estudios Gerenciales, 29, 2-11.

Campbell, D. T. (1979). Assessing the impact of planned social change. Evaluation and Program Planning, 2(1), 67-90.

Davis, P. J. (2009). New Winds in Applied Mathematics: The Road to Numerocracy. Siam.org. Dostupné na: https://archive.siam.org/news/news.php?id=1538 [citované 2020-01-29]

Garfield, E. (2006). The history and meaning of the journal impact factor. The Journal of the American Medical Association, 295(1), 90-93.

Hirsch, J. E. (2005). An index to quantify an individual’s scientific research output. Proceedings of the National Academy of Sciences of the United States of America, 102(46), 16569–16572.

Jurášek, D. (2019). „Inkluzívne“ politiky firiem: absurdné pretláčanie multikulturalizmu. Hrot.info. Dostupné na: https://hrot.info/udalosti/2595-inkluzivne-politiky-firiem-absurdne-pretlacanie-multikulturalizmu [citované 2020-01-27]

Jurášek, D. (2020). Nehmotné šťastie v dobe hmotného blahobytu. In: Kallová, N., & Lukšík, I. (eds.): Kvalita života & kvalita vzťahov. Zborník z konferencie „Potrebujeme pozitívne myslieť, cítiť a konať?“ Bratislava: Ústav výskumu sociálnej komunikácie SAV, s. 25 – 44. Dostupné na: http://www.kvsbk.sav.sk/wp-content/uploads/Zbornik_v1-9_compressed.pdf?fbclid=IwAR2H9fZKJOJGTmqwgQTZheyJl68mRiBCM1Nx8RekhuuZsfGsWSMI4iEqFcA

Karma, U., Alkire, S., Zangmo, T., & Karma. W. (2012). A short guide to gross national happiness index. Thimpu: The Centre for Bhutan Studies.

Kohn, A. (2007). Close the book on ‘Book It!’. Dostupné na: https://www.alfiekohn.org/blogs/close-book-book/ [citované 2020-01-29]

Kohn, A. (2018). Punished by Rewards: The Trouble with Gold Stars, Incentive Plans, A’s, Praise, and Other Bribes. Boston: Houghton Mifflin.

Messerschmidt, R. (2016). Revealing the governmentality of demographic change in Germany with the manifold discourse-analytical ‘toolbox’ of Foucault. In P. McIlvenny, J. Zhukova Klausen, & L. Bang Lindegaard (eds.), Studies of Discourse and Governmentality: New perspectives and methods (s. 353-386). Amsterdam: John Benjamins Publishing Company.

Muller, J. Z. (2018). The Tyranny of Metrics. Princeton, NJ: Princeton University Press.

Neill, U. S. (2008). Publish or perish, but at what cost? The Journal of Clinical Investigation, 118(7), 2368.

OECD. (2020). Programme for international student assessment. Dostupné na: http://www.oecd.org/pisa/ [citované 2020-01-22]

Ranjan, A., Kumar, R., Sinha, A., Nanda, S., Dave, K., Collette, M., Papadimos, T. J., & Stawicki, S. P. (2016). Competing for impact and prestige: Deciphering the "alphabet soup" of academic publications and faculty productivity metrics. International Journal of Academic Medicine, 2(2), 187-202.

Proto, E., & Rustichini, A. (2013). A reassessment of the relationship between GDP and life satisfaction. PLoS ONE, 8(11), e79358.

Sampaio, M., & Leite, C. (2018). Mapping social justice perspectives and their relationship with curricular and schools' evaluation practices: Looking at scientific publications. Education as Change, 22(1).

Sjøberg, S. (2019). The PISA-syndrome – How the OECD has hijacked the way we perceive pupils, schools and education. Confero, 7(1), 12-65.

Strathern, M. (1997). Improving ratings: audit in the British university system. European Review, 5(3), 305-321.

Swisher, C. C., Curtis, G. H., & Lewin, R. (2001). Java Man: How Two Geologists Changed Our Understanding of Human Evolution. Chicago: Chicago University Press.

Todeschini, R., & Baccini, A. (2016). Handbook of bibliometric indicators: Quantitative tools for studying and evaluating research. Weinheim: Wiley-VCH.

Transparency International. (2018). Corruption perceptions index 2018. Berlín: Transparency International. Dostupné na: https://www.transparency.org/files/content/pages/CPI_2018_Executive_Summary_EN.pdf [citované 2020-01-29]




Podporiť naše združenie môžete na náš bankový účet:

IBAN: SK0683300000002101694717 s poznámkou "ippr".

Viac informácií o finančnej podpore.

Ďakujeme.