Samoevalvacija upravnih organov (CAF) – Kriticne pripombe

Ceprav je mnenje pripravljeno s kriticnih izhodišc, so CAF smernice z naše strani sprejete kot relevanten inštrument javnega upravljanja tako zaradi osnovnega namena (samo-evalvacija kakovosti javne uprave, krepitev socialnega kapitala organizacije; Pretnar) kot zaradi predlaganega postopka izvedbe (enostaven, podpora, primerjava z drugimi). Ker je CAF model splošen, ima v sebi veliko priložnosti za specifike oziroma interpretacije. To je prednost, saj ga lahko uporablja širok krog organizacij v javnem sektorju (Pretnar).

Po izkušnjah UE Krško, ki je uporabila CAF že trikrat (za leta 2003, 2006 in 2008) med ugodnimi ucinki CAF izpostavlja »možnost ugotavljanja trendov poslovanja ter kot vir idej za prepoznavanje priložnosti za izboljšave«. V UE Celje, kjer so se že dvakrat izvedli samo-presojo s CAF, je samo-presoja privedla do tega, da so se »priceli spraševati o zadevah, za katere do takrat nismo vedeli, da so pomembne, za izboljševanje poslovanja in kakovosti.«

S primerjavo CAF smernic z drugimi evalvacijskimi pristopi, ki se vecinoma že uporabljajo v javni upravi (gl. tc. 3) lahko pridemo do predlogov za možno izboljšavo CAF smernic:

1. CAF je orodje, ki je bilo razvito za zasebni sektor (CAF2006, str. 3)

Težava: Organizacijska funkcija zasebnih sistemov je razmeroma ‘enostavna‘, ker služi poslovnemu cilju dobicka, ki so mu vsi ostali hierarhicno podrejeni. Kljub njihovi enostavnosti je uspešnost organizacijskih sprememb v gospodarstvu, kakor navaja Arzenškova (2009) nizka in propade od 50%, pa tudi do 80% poskusov organizacijskih sprememb (Arzenšek, 2009).

Organizacije javnega sektorja nimajo tako jasnega cilja kot komercialna podjetja, saj delujejo v razmerah, ki jih doloca konflikt enako pomembnih, ne-hierarhicno urejenih interesov (npr. konkurencnost podjetij : socialni mir : ekološka kakovost; državna raven : lokalna skupnost); javno upravljanje išce ravnovesje med legitimno nasprotnimi cilji in si prizadeva za dosežke, ki si v nekaterih pogledih vedno nasprotujejo. Javne organizacije delujejo v ‘kompleksnih‘ razmerah oziroma so to ‘vecnamenski’ sistemi v pomenu, da morajo biti funkcionalni za razlicne namene, ki so med sabo enako pomembni: za državljane, za partnerje, za višje cilje narodnega interesa. Skratka, javne ustanove so formalno hierarhicni sistemi z nehierarhicnimi (kompleksnimi) ciljnimi funkcijami; ravno obratno pa so podjetja lahko kompleksni organizacijski sistemi s hierarhicno (enostavno) ciljno funkcijo. Zato metode samo-evalvacije javnih organov ne smejo biti zamišljene ‘prevec poenostavljene’ (gl. tc. 6), da ne banalizirajo organizacijskega problema ampak morajo same biti ‘kompleksne’ (logicno paralelne).

Predlog: Kljub njihovi posebnosti se od vladnih služb zahteva menedžersko delovanje (Pretnar). Razmerja med zasebnim in javnim sektorjev se temeljito spreminjajo tudi v skladu s težnjo poslovnih sistemov k vecji družbeni odgovornosti, ekološki prijaznosti in poudarjanju pomena cloveških virov za uspeh organizacije. Zato se njihove samo-evalvacije vec ne vrtijo le okoli financnih meril ampak postajajo enako pomembna tudi nedenarna in neposlovna merila (Arzenšek, 2009). Zato je razlike med poslovnimi in javnimi sistemi težko zagovarjati kot nepremostljive. »Mehanizmi vodenja in obvladovanja organizacij so v obeh zelo podobni. V dolocenih primerih celo identicni, saj se od javnega sektorja že dalj casa zahteva izdelano strategijo, kjer so opredeljeni poslanstvo, strateški cilji, merila za doseganje ciljev, aktivnosti, odgovornosti in roki za uresnicitev ciljev ter tveganja in ukrepi za njihovo obvladovanje. Tukaj se tudi zbližujeta javni in zasebni sektor in si izmenjujeta pristope« (Pretnar).

Pri razmejevanju med javnim in zasebnim moramo biti sicer interdisciplinarni in upoštevati poglede razlicnih disciplin, v konkretnem primeru predvsem organizacijske in evalvatorske stroke. Samo-evalvacije so pri locevanju med zasebnim in javnim primerljive z racunovodstvom ali revizijo, ki striktno in nacelno razlocujeta med obema ‘sektorjema’, medtem ko je organizacijska teorija zaradi zgoraj omenjenih razlogov lahko nagnjena k ravno obratnemu enacenju obeh. Tako se postavi vprašanje ali je CAF evalvacijski inštrument ali organizacijski inštrument. Odgovor na to vprašanje bi razjasnil kako locevati med zasebnim in javnim.

Do medsebojno koristnih pretokov mora med zasebnim in javnim sektorjem prihajati v obe smeri: zasebni sektor se enako lahko uci od javne uprave kot obratno. Vendar to na podrocju samo-evalvacij ni mogoce, dokler javna uprava ne razvije svojih pristopov k presoji svojih posebnosti. CAF bi bilo smotrno adaptirati za potrebe samo-evalvacij organizacij v javnem sektorju po kriterijih in nacinu razmišljanja, ki je bližnji njihovim posebnostim. Da merila CAF ne ustrezajo povsem odkrivanju slabosti organizacije menijo v UE Celje. UE Krško pa meni, da bi pri CAF potrebovali ocenjevalno lestvico, »ki bi bila konkretna in bi izkljucevala subjektivnost«.

2. Model CAF je bolj osredotocen na upravljanje organizacij v javnem sektorju kot na »kakovost« javnih politik, ki je politicna odgovornost (CAF-2006, str. 12)

Težava: Zapisano je posledica ugotovljenega v tc. 1 in je v opreki s progresivnimi naceli javnega upravljanja. Eticni kodeksi in drugi okviri delovanja javne uprave neposredno zavezujejo k ravnanju v javno dobro vse uradnike, ki za svoje delovanje ne nosijo politicne odgovornosti. Ni jasno, kako je mogoce (totalno) obvladovati kakovost javne organizacije brez tega, da izhajamo iz javnega smotra javnih organov.

Predlog: Navedena trditev zoži uporabnost rezultatov samo-evalvacije, ce so njeni rezultati zoženi na notranja vprašanja upravljanja organizacije in jih ne bi mogli uporabljati, v primeru da bi bile ocene ugodne, za dokazovanje vpliva organizacij na »kakovost javnih politik«. Ali je potem treba bo vpliv na kakovost javnih politik presojati loceno in dodatno poleg CAF? Težko se je sprijazniti z mislijo, da kakovostno javno upravljanje nima vpliva na kakovost javnih politik.

3. CAF smernice so zamišljene izolirano od drugih primerov evalvacij v javni upravi kot so regulativne presoje vplivov – RIA; strateške okoljske presoje – SEA; teritorialne presoje – TIA, mezo-matricne presoje – MIA.

Težava: Ce so razlicni postopki presoj za razlicne namene med seboj nepovezani, bodo evalvacije organizacijam povzrocile vec dela, kot ce bi bile dejavnosti vrednotenja povezane – na primer podatkovno in metodološko.

Predlog: Prouciti, kako samo-evalvacije v javni upravi povezati v sistem evalviranja v javni upravi (za presojo priprave predpisov, programov in proracuna). Uporabljati je treba pristope, ki vsaki organizaciji omogoci ohraniti njene posebnosti, ki so posledica njene specializacije, vendar pa obenem zagotoviti, da vse organizacije samo-evalvacijo opravijo po postopku, ki je enovito zamišljen (glej tc. 9).

4. Smernice hocejo biti splošno uporabne za razlicne vrste organizacij zato se skušajo izogniti predpostavkam o organizacijskem okolju (CAF-2002, str. 1).

Težava: CAF kot postopek je v sedanji obliki primernejši za uporabo v javnih ustanovah izven javne uprave CAF ni enako uporaben za samo-evalvacijo vzemimo komunalnega podjetja v javni lasti, ki je relativno samostojna organizacija in vladne služba, ki je del upravne hierarhije. Vladne službe so zelo posebne organizacije javnega sektorja, , urejene v strogi hierarhiji pristojnosti, imajo razmeroma nizko stopnjo avtonomije, so tako specializirane, da pogosto sploh ne pokrivajo vseh organizacijskih funkcij oz. je veliko njihovih funkcij pred-dolocenih s skupno ureditvijo, ki velja za celotno javno upravo.

Predlog: Za nadaljnjo uporabo CAF za upravne organe je treba pretehtati primernost meril CAF s stališca njihove ustreznosti, da odsevajo posebnosti teh organizacij (enako meni UE Krško). Zato bi MJU skupaj z upravno stroko in dosedanjimi uporabniki CAF lahko zacelo pripravljati prilagojen okvir meril za javno upravo. Obstojeci sistem meril CAF je nedvomno zelo dobro dodelan in bo verjetno uporaben kot ena od osnov za prilagojen sistem meril.

5. Presojevalska skupina naj bi bila pomanjšana kopija organizacijske strukture in naj bi bila cim manjša (CAF-2002, str. 3; CAF-2006, str. 41). Ocenjevalna skupina se mora uskladiti glede svojih ocen (CAF-2002, str. 6; CAF-2006, str. 42).

Težava: Ce bo ocenjevalna skupina pomanjšana kopija formalne strukture organizacije utegne proizvesti zožen pogled, ki bo otežil presojo, ker samo-evalvacijo izpostavi vplivu ‘uradnih stališc’ organizacije, kar v presojo vnese pristranskost. Kot ugotavlja Arzenškova (2009) je svojevrsten paradoks organizacijskega življenja v tem, da so situacije in problemi, ki najbolj klicejo po spremembi, tudi problemi, ki se spremembam najbolj trdovratno upirajo. Zahteva po uskladitvi njihovih morebiti neujemajocih ocen to nevarnost še poudari. Potreba po usklajevanju ocen je vprašljiva, ce ima vsak sodelujoci ocenjevalec za svoje ocene dokaze, ki so sicer enako veljavni.

Po mnenju UE Krško je doseganje soglasja ocen zamudno in zahteva veliko usklajevanja, k cemur dodatno prispeva dejstvo, da merila CAF niso najbolje prilagojena potrebam organizacij v javni upravi. Vprašalnik dopušca veliko možnosti za subjektivna mnenja ocenjevalcev in ocenjevalk.

Predlog: V evalvacijski teoriji se nagibamo k nasprotni rešitvi: v presoji naj sodeluje cim vec ocenjevalcev, seveda bi bilo neprakticno to pravilo vzeti dobesedno ampak ga uveljavimo vsaj tako, da v presoji sodelujejo zagovorniki vseh najbolj izraženih nasprotujocih mnenj. V isto smer gre mnenje UE Krško in Ministrstva za pravosodje (Marolt Vajda). Zato je treba pretehtati možnost, da naj bo ocenjevalna skupina kopija notranjih nasprotij organizacije ne njene formalne strukture – cetudi pa je pogosto to dvoje isto in se notranje napetosti kažejo ravno skozi formalno strukturo.

6. Seštevanje tockovnih ocene meril CAF v skupno oceno za celotno organizacijo.

Težava: Takšni postopki ocenjevanja kakovosti procesov v organizacijah so pogosti pri evalviranju enostavnih, tj. poslovnih sistemov. Eno-funkcionalni sistemi (maksimiranja dobicka) še dokaj dobro prenesejo predpostavko, da je organizacijo mogoce razstaviti na množico elementarnih delcev, kot npr. na 28 pod-meril CAF, ki jih lahko proucimo medsebojno loceno, nato pa fragmentarne ugotovitve (za vsako pod/merilo posebej) preprosto seštejemo v koncno oceno presoje za organizacijo.

Javnega sistema ali organizacije ni mogoce presoditi tako, da jo razstavimo na elementarne dele, jih proucimo loceno in na koncu delne ocene seštejemo ravno zaradi njihove vec-namenskosti – delnih rezultatov nikakor ni dovoljeno sešteti, kot da bi bili temeljni cilji organizacije in njene operativne funkcije medsebojno zamenljive. Ni mogoce na primer zaradi izboljšav v odnosih z javnostmi odpraviti kadrovske politike organizacije ali vzemimo poslabšanje indikatorjev rezultatov do državljanov kompenzirati z izboljšanjem indikatorjev rezultatov pri nacionalnem interesu.

(Razen tega obstajajo metodološki razlogi, ki dajejo prednost izracunu povprecne ocene iz delnih ocen pred seštevkom delnih ocen kot navaja CAF. Na primer, seštevanje v primerjavi s povprecenjem ne kaznuje tako strogo primerov, ko bi bila ocena nekega merila enaka 0; ta nevarnost se je s preureditvijo lestvice v CAF smernicah 2006 sicer precej zmanjšala).

Predlog: Glej tc. 9.

7 Preverjanje povezav med vzroki in posledicami je bistvenega pomena pri samoocenjevanju, kjer mora ocenjevalec vedno preverjati skladnost med dolocenim rezultatom (ali nizom istovrstnih rezultatov) in “dokazi”, ki jih je za ustrezna merila in podmerila zbral na strani dejavnikov. Zaradi celovitosti organizacije je tako skladnost vcasih težko preverjati, saj pri ustvarjanju rezultatov medsebojno delujejo razlicni vzroki (dejavniki).

Težava: Ta ugotovitev je pravilna, ne pove pa, da je smernica CAF sama odgovorna, da je zaradi medsebojnega delovanja razlicnih vzrokov skladnost ‘težko primerjati’ – zlasti dokler vztraja na samo-evalvaciji po metodi tockovanja seznama meril, ki so medsebojno zamenljiva (slaba ocena pri enem merilu se ‘odkupi’ z boljo oceno pri drugem – to pa kot receno nasprotuje kompleksni naravi organizacijskega problema v javni upravi (gl. tc. 1 in 6).

Predlog: Mezo-matricna predelava CAF (glej tc. 9).

8. Tockovanje “dejavnikov” predvideva, da organizacija napreduje od nacrtovanja, k izvajanju, preverjanju in ukrepanju (PDCA).

Težava: Takšno zaporedje je znacilno le za del problemov, s katerim se ukvarjajo organizacije javne uprave. Zaporedje je vcasih obrnjeno: najprej ukrepamo, nato izvajamo, nato preverjamo in na koncu nacrtujemo izboljšave. Vzemimo, enostavne rešitve, ne zahtevajo veliko nacrtovanja in preverjanja ampak samo odlocno ukrepanje. S tem ne želimo zanikati uporabnosti koncepta »PDCA cikla«, ki je odlicno orodje, ker nas usmerja v preverjanje svojih dejanj in evalvacijo vsakega pristopa oziroma ukrepa, obenem pa služi tudi kot ocenjevalna lestvica. Gre le za to, da idealni koncepti lahko odstopajo od prakticnih izzivov, zaradi katerega se vcasih zgodi, da je od celotnega PDCA cikla uporaben le del, npr le DA (Pretnar).

Predlog: Prouciti ali naslanjanje na koncept PDCA vpliva na korektnost ocenjevanja »dejavnikov« organizacije.

9. CAF temelji na evropskem modelu zagotavljanja kakovosti EFQM (CAF2006, str. 7), ki “procese” obravnava kot sestavino “dejavnikov” (CAF 2006, 2002).

Težava: Procesi so trd oreh – gre poenostavljeno predvsem za vecjo odgovornost (posameznika, oddelka, službe) za izvedbo, ki se mora izogibati hierarhicnim oviram (Pretnar). V pojmih CAF bi lahko rekli, da so »procesi« tisto, kar »dejavnike« preoblikuje v »rezultate«; v modelu EFQM »procesi« stojijo na sredini med »dejavniki« in »rezultati« in jih ne bi smeli enaciti niti z »dejavniki« niti z »rezultati«. Ta rešitev je teoreticno (logicno) najbolj sporna podlaga CAF (in EFQM) in njena napacna zastavitev preprecuje, da bi se vodstvo organizacije lahko polno okoristilo z rezultati samo-evalvacije.

Predlog: Ocenjevanje vsega trojega v CAF, procesov, dejavnikov in rezultatov je nepotrebno, ker podvaja delo. Ce poznamo dejavnike in rezultate kot organizacijski input in organizacijski output, lahko procese ocenimo iz razmerij med oceno dejavnikov in oceno rezultatov. Tako bi lahko CAF skrcili s sedanjih devet na samo osem skupin podmeril in obenem pridobili vpogled, ki ga klasicna izvedba CAF ne daje.

Organizacije v javni upravi imajo zelo poseben položaj glede svojih dejavnikov in rezultatov. Javna uprava pogosto ne morejo samostojno dolocati svojih vhodnih dejavnikih (omejitev zaposlovanja, plac, proracuna…), niti nalog oz. rezultatov, ki so jim pogosto v naprej predpisani (s strani zakonodajne ter sodne veje oblasti) ampak samo o procesu pretvorbe prvih, kakršni že so, v druge, kakršni že morajo biti. Zato predlagam predelavo CAF v metodo za evalvacijo »procesa« pretvorbe dejavnikovrezultate. Po CAF pridobljene ocene iz tockovanj dejavnikov (d) so indikatorji vzrokov sprememb v organizaciji; ocene rezultatov (r) so indikatorji posledic sprememb v organizaciji. S primerjavo tockovanj pridobljenih na vzrocni strani (dejavniki) in posledicni strani (rezultati) evalviramo vzrocno-posledicna razmerja v procesu pretvorbe (d) v (r). Tako so ocene dejavnikov in rezultatov samo vhodni podatek za celostno evalvacijo procesov v organizaciji. Vodstvo organizacije bi po taki predelavi CAF (imenujem jo »matricni CAF«) dobilo vpogled v procese organizacije, to je pogled ravno v to, kar je težišce naporov vodstva.

Tabela 1: Matricni CAF*: samo-evalvacija »procesa« pretvorbe »dejavnikov« (d) organizacije v njene »rezultate« (r) –

Opomba: *Za sintezo ugotovitev presoj je treba matriko nadalje predelati v korelacijsko matriko. Tega ne razlagam, ker je tehnicno metodološka podrobnost, ki že presega namen tega pisanja. V osnovi gre za to, da rezultate preberemo tako, da primerjamo glede na diagonalo simetricne pare ocen (npr. oceno za podproces₍₁₂₎ primerjamo z oceno za podproces_(21); itn). ** Razvrstitev meril po kategorijah matrike je provizoricna in bi jo bilo treba strokovno preveriti.

Kako matricno urejene rezultate razložiti? Organizacija je tem uspešnejša, cim vecja je pozitivna razlika med oceno rezultatov in oceno dejavnikov, posebej takrat, ko uspe doseci dobre rezultate kljub slabostim na strani dejavnikov, ker so ti, kot receno, v veliki meri zanjo dani. Ce dobimo oceno za d₍₁₎ ugodnejšo kot za r₍₁₎ so procesi ocenjeni negativno in obratno, ce pa sta oceni enaki so procesi ocenjeni nevtralno, niso niti posebej uspešni, niti neuspešni. Vecja kot je razlika ocen tem vecje so ‘zasluge’ »procesov« oz. delovanja organizacije. Matricni CAF torej ne daje posebne teže organizacijam, ki uspejo z odlicnimi dejavniki dosegati odlicne rezultate. To niti ni umetnost, problem vecine organizacij v javni upravi je prav drugje, kako dosegati rezultate kljub slabostim vhodnih dejavnikov. Zato ocenjujemo, da s pomocjo matricno preurejenega CAF vodstvo lahko bolje sledi svojim uspehom in procesnim ozkim grlom organizacije.

Pripravil:

Bojan Radej, KV/SDE

Uporabljeno gradivo:

– CAF smernice 2002, CAF – Common Assessment Framework. Ljubljana: Ministrstvo za javno upravo, 2002, 10 str. – CAF-2002.

– Skupni ocenjevalni okvir za organizacije v javnem Sektorju (CAF): Kako s samoocenjevanjem izboljšati organizacijo. CAF 2006. Ljubljana: Ministrstvo za javno upravo, 2007, 62 str. – CAF-2006.

– Korespondenca z mag. Vitomirjem Pretnarjem, Generalnim sekretarjem Ministrstva za finance (e-pošta: 13. in 25. maj 2009)

– Korespondenca z go. Petra Marolt Vajda, Generalno sekretarko Ministrstva za pravosodje (e-pošta: 2. junij 2009)

– Mnenje UE Krško, (e-pošta št. (010 – 2 / 2009, 29); Odgovor na dopis – SDE); mag. Jožica Volcanjk, voditeljica Oddelka za prostor in obco upravo.

– Mnenje UE Celje, mag. Jožica Tamše, Vodja službe za skupne zadeve, e-pošta 11. in 12. maj 2009.

– Mnenje UE Murska Sobota, Breda Nedeljkovic, višja svetovalka II, e-pošta 11. maj 2009.

– Arzenšek A. Odpori: gordijski vozel organizacijskih sprememb. AirBeletrina, 10. maj 2009, [18. maj 2009]