SDE je civilna platforma neodvisnih strokovnjakov in strokovnjakinj s širokim profilom za doseganje sinergijskih ucinkov vrednotenja za trajnostni napredek skupnosti.
Poročilo z delavnice SDE o rezultatih vrednotenja PRP/MKGP.V priponki je aktualna verzija evalvacijskega poročila. Prosojnice in dodatni materiali.
Delavnica Slovenskega društva evalvatorjev Predstavitev rezultatov vmesnega vrednotenja Programa razvoja podeželja 2007-2013 Velika dvorana Vlade, Gregorčičeva 27, Ljubljana, petek, 4. februar 2011 ob 13h-15,45h
Na delavnici SDE se je od 64 prijavljenih udeležilo 51 oseb. Na delavnici smo obravnavali rezultate vmesnega vrednotenja PRP 2007-13, katerega naročnik je Ministrstvo za kmetijstvo, gozdarstvo in prehrano (MKGP), izvajalec pa OIKOS iz Domžal. Na začetku se je sklicatelj delavnice zahvalil: – MKGP, g. Cör in dr. Markeš ter go. Mojci Hrabar z kot nosilki študije, da so s svojim sodelovanjem omogočili izvedbo delavnice, – Generalnemu sekretariatu vlade in mag. Barbari Peternelj za možnost brezplačne uporabe opremljene dvorane in go. Metodi Jelen za operativno podporo; Zahvaljujem se tudi vabljenim uvodničarjem: – dr. Luki Juvančiču z BF – g. Andrej Bibič z MOP – g. Goran Šoster, direktor PRA – dr. Maji Černič-Istenič, BF – udeležbo je najavilo tudi Računsko sodišče (go. Mateja Lušin-Zobec), vendar jo je zaradi bolezni odpovedalo tri ure pred začetkom dogodka, nadomestne udeležbe pa niso zagotovili. SDE delavnico je bila izvedena izvaja v okviru svojega rednega programa, ki med drugim zajema tudi predstavitev rezultatov vladnih evalvacijskih študij. S tem želi SDE prispevati k: – Opozarjanju na sistemske probleme vrednotenja politik in – Uveljavitvi prakse, da se vladne politike vrednotijo javno. To je tretja predstavitev takšne vrste. Najprej je SDE lani predstavil rezultate svoje evalvacije programa Mreža za prostor. Nato je konec leta 2010 skupaj z Inštitutom za varovanje zdravja RS (IVZ) pripravil predstavitev rezultatov vrednotenja Politike prehranske varnosti. Tokratna delavnica je nadaljevala z obravnavo zelo sorodne problematike, ki pa je v evalvacijskem smislu, s stališča problemov vrednotenja povsem drugačen izziv. V primeru IVZ je bil glavni izziv kako vrednotiti politiko tako rekoč po pravilu Naredi-Si-Sam (v okviru mednarodnih standardov vendar le z lastnimi močmi, brez obsežne zunanje podpore). Pri vrednotenju PRP/MKGP imamo opravka s zelo razdelanim formalnim postopkom vrednotenja in izjemno bogatimi podatkovnimi podlagami vrednotenja. Tako se vprašamo ali je vrednotenje v primeru bogatih podatkovnih podlag in predpisanega postopka vrednotenja kaj lažja naloga? Ali zagotavlja uporabnost evalvacijske študije za naročnika? Mnenje SDE je da vrednotenje ni lahko naloge v nobenem primeru in da v obeh primerih potrebujemo vrednotenje, ki je široko odprto v javni in strokovni prostor.
1. Predstavitev podlag vrednotenja PRP: g. Tomaž Cör 2. Predstavitev študije in rezultatov vrednotenja: go. Mojca Hrabar 3. Prispevki uvodničarjev: Radej B.: Sinteza rezultatov vrednotenja PRP. V 300 strani dolgem poročilu o vmesnem vrednotenju je sintezno o vplivu PRP je napisana manj kot 1 stran, povzetka pa sploh ni, ni odgovorov na osnovna vprašanja vrednotenja: o vplivu PRP na razvoj podeželja, na učinkovitost, produktivnost in trajnost (stabilnost), na uspešnost in ustreznost programa! Sinteza rezultatov PRP se po navodilih za vrednotenje obravnava na treh ravneh: pri vrednotenju horizontalnih vprašanj, sinergij oziroma povezanosti ukrepov in notranje skladnosti. V bistvu gre za eno in isto, ločevanje je nepotrebno in komplicira problem preden ga sploh razreši. – Horizontalna vprašanja zajema sinergijo med osmi in med ukrepi). Vendar horizontalna vprašanja niso zajeta navzkrižno ampak tako kot se zahteva, ločeno v posebnem poglavju, kot da gre za od drugih poglavij ločeno vsebino. Že po priročniku: »Koliko je program vključil okoljske cilje?« Količinsko vprašanje o zadevi kakovostnega pomena. – Sinergija (povezanost ukrepov): Poročilo ne pove, kako se ujemajo učinki »na izhodu«. Zlasti v sinteznih vsebinah je zapostavljen pogled na kmetijstvo kot večnamensko dejavnost – večnamenskost kmetijstva je vodilni koncept EU, za katerega ima Slovenija strateški interes. – Vrednotenje koherence oz »notranje skladnosti« PRP: “Notranjo skladnost programa smo preverili tako, da smo proučili logiko intervencije oz. medsebojno skladnost kazalnikov s cilji programa ter poskusili ugotoviti morebitne sinergije med posameznimi ukrepi programa. V primeru, da določenih učinkov programa ni bilo mogoče zaznati z analizo kazalnikov in doseganja ciljev, smo s pregledom notranje skladnosti poskusili ugotoviti ustreznost postavljenih kazalnikov in ciljev«. Komentar: o Logika intervence ni skladnost med kazalniki in cilji ampak med (definicijo problema in definicijo rešitve. o Notranja skladnost je skladnost med ukrepi, ne med kazalniki in cilji (primerjava ciljev in kazalnikov učinkov imenujemo »uspešnost« programa) ;
4. Ugotovitve razprave: a) Že navodila za predpisana navodila za vrednotenje dopuščajo veliko možnosti za izboljšanje vrednotenja: – Izboljšati je treba način izbire izvajalcev vrednotenja tako, da bo večja teža na njihovi kakovosti (referencah) in manjša na ceni; – Navodila so pogosto napisana narobe zaradi nekakovostnih prevodov. Osnovna terminologija je zdaj uporabljena v najbolj milem izrazu povedano nenatančno, pogosto pa povsem dosledno narobe. Ne gre le za formalistično pripombo ampak sindrom, ki je posledica nedopustnega načina priprave navodil za vrednotenje, ki ni povezan z evalvatorsko stroko ampak se neposredno rešuje pri prevajanju tekstov iz angleščine s strani oseb, ki ne poznajo tehnične terminologije (učinek, izdelek, rezultat, učinkovitost, uspešnost, logika intervence…). – Izrabiti je treba možnosti za poenostavitev postopkov vrednotenja – tako administrativnih kot metodoloških (kot npr. omenjeno zgoraj pri sintezi rezultatov). – Nesmiselnost vrednotenja s pomočjo kontrolne skupine! – Vrednotenju večnamenskosti kmetijstva je namenjena premajhna pozornost glede na pomen tega koncepta za razvoj podeželja. – Navodila za vrednotenje so posebej skopa pri vrednotenju povezav med kmetijstvom in ostalimi politikami ter pri oceni pozitivnih zunanjih učinkov kmetijstva na »širšo družbo«. – Izražena je potreba po sistemskih izboljšavah v organiziranosti vrednotenja politike razvoja podeželja na ravni EU. b) Vrednotenje je posebej oteženo z dejstvom, da se v Sloveniji še nismo poenotili v oceni stanja problemov v razvoju podeželja. c) Avtorji študije naj v poročilo, zlasti v njegovem sinteznem delu poudarijo podatkovne težave (verodostojnost podatkov za izračun kazalnikov, verodostojnost kazalnikov in verodostojnost končnih ugotovitev in priporočil) ter metodološke težave, ki so spremljale vrednotenje. Podati bi bilo smiselno tudi oceno o »ekonomiki podatkov«, kako dobro (učinkovito) so izrabljeni informacijski viri. d) Horizontalni pogled na PRP je šibek, ocena notranje skladnosti ukrepov in skladnosti ukrepov z osmi je prešibka. Okrepiti sintezo rezultatov za potrebe strateškega vodenja PRP. e) Vrednotenje naj zajame tudi zaznave, izkušnje, pričakovanja in uspešnosti učenja vseh vpletenih akterjev v procesu izvajanja programa, zlasti lokalno podeželsko prebivalstvo. f) Vrednotenje je pokazalo na potrebo po novi kulturi vrednotenje, da bi olajšali sodelovanje, odstranili strah pred vrednotenjem in odprli pot za usklajevanje nasprotnih pogledov. To je nujno za program na področju, ki je izrazito presečno in se mora obravnavati horizontalno (razvoj podeželja). Povečati je treba občutek »lastništva« sodelujočih pri vrednotenju nad rezultati raziskave, za to je treba zagotoviti, da bo vrednotenje verodostojno, odprto in učljivo. g) Pri tokratnem vrednotenju močno prevladujejo kvantitativne metode vrednotenja, ki pa so se pokazale zaradi svoje delne medsebojne neskladnosti, pogojene z različnimi nameni, za katere so bili informacijski sistemi kmetijstva vzpostavljeni, izkazali za dejavnik, ki ovira nepristransko vrednotenje. Slabo pa so bile uporabljene kvalitativne metode vrednotenja. Posledica tega je, da so bili nekateri vidiki PRP, ki so po svoji naravi »mehki«, ovrednoteni slabo, zlasti na makro ravni – posebej to velja za 4. os PRP (Leader). h) Vrednotenje PRP ima opraviti s kompleksnim problemom, ki ima več smotrov (stebrov) in se odvija na več nivojih (raven kmetije/podjetja, raven programa razvoja podeželja, raven države (politike), raven EU). Potrebno je uvesti več-nivojski pristop k vrednotenju. i) Časovni horizont (vrednotenja) razvoja podeželja zaradi njegove dolgoročne in presečne narave ne sme biti omejen na leto 2013 ampak mora biti dolgoročen, vsaj do leta 2020. j) Nadaljevati diskusijo o rezultatih PRP in problematiki, ki jo izpostavlja vrednotenje PRP na Mreži za podeželje. k) Ministrstvo naj se posebej potrudi zagotoviti, da se bo po dokončanju študije nadaljevalo delo na metodoloških vprašanjih vrednotenja, zlasti pa na programski strukturi (optimizacija ciljev, kazalnikov, implementacijske logike, postopki sinteze podrobnih ugotovitev študije v jasna strateška priporočila). Evropske zahteve vrednotenja so minimalne, na to osnovo je treba dograditi vsebine, ki so pomembne za vodenje politik v Sloveniji. l) Rezultate bi bilo nujno treba predstaviti Svetu za trajnostni razvoj, kot osrednji razvojno usklajevalni ustanovi.
