Poročilo Fokusne skupine za CAF
Fakulteta za uporabne družbene študije in Slovensko društvo evalvatorjev
Poročilo Fokusne skupine za CAF
Dan in lokacija: 17. XI. 2011, od 14h-16h, FUDŠ, Leskoškova 9d, Ljubljana
Organizatorja: SDE (Bojan Radej), FUDŠ (doc. dr. Mirna Macur)
Pripravil: Bojan Radej, 24. XI. 2011
Fokusne skupine se je udeležilo 15 oseb od 20 prijavljenih, tri prijavljene so svojo odsotnost opravičile (seznam prijavljenih je v Prilogi 1). Na začetku sta sklicatelja fokusne skupine (FS) predstavila ozadje svoje pobude. Slovensko društvo evalvatorjev razvija novo kulturo vrednotenja in jo preizkuša na različnih področjih vrednotenja, od vrednotenja predpisov, programov, proračunov, planov in tudi organizacij (z orodjem CAF – Common Assessment Framework).
Leta 2009 je SDE objavil delovni zvezek z naslovom »Presoje javnih učinkov vladnih politik«, ki je bil podlaga pobude za strokovno razpravo o metodoloških vprašanjih samoovrednotenja nasploh in s CAF posebej, ki se ga je udeležilo dvajset uporabnikov CAF iz javne uprave. Eden od povodov za zanimanje civilne in strokovne javnosti za samoovrednotenje po modelu CAF je opažanje, da je v Sloveniji s sistemskimi nosilci zelo težko razviti pogovor o morebitnih slabostih CAF. To se je potrdilo tudi pri izvedbi prve delavnice, saj se je predstavniki MJU in pristojnega Odbora za kakovost niso želeli udeležiti. Zaprtost prizadevanj za upravljanje kakovosti v javnem upravljanju je razvidna tudi v evropskem okviru. EIPA oziroma v njenem imenu CAF/RC na primer priznava, da jim ni znano, da bi bila v zadnjem desetletju pripravljena eksterna evalvacija CAF, v katero ne bi bili vpleteni predvsem uporabniki CAF in bi bila pripravljena z namenom nepristranske zunanje ocene.
Po dosedanjih izkušnjah je v Sloveniji s sistemskimi nosilci zelo težko razviti kakovosten pogovor o morebitnih slabostih CAF, po dosedanjih izkušnjah prevladuje leporečje, zlasti na ravni nacionalnega organa. Takšno ravnanje po našem mnenju razvrednoti prizadevanja za samoovrednotenje po CAF v javni upravi, ker jih osvetljuje kot zaprta sama vase in v dobršni meri razumljena kot samozadostna in namenjena le ozkemu krogu upravljavcev kakovosti. Prizadevanja za upravljanje kakovosti se pogosto razumejo (zlorabljajo) v vlogi inštrumenta nadzora nad podrejenimi in ne kot vodilo in načelo ravnanja vseh, predvsem pa hierarhično nadrejenih, saj je javna uprava od zgoraj voden hierarhičen sistem.
Tudi na povsem načelni ravni zaznavamo resne probleme s pravilnim razumevanjem upravljanja kakovosti v organizacijah javne uprave (s CAF ali katerimkoli drugim orodjem). Nadzor kakovosti poslovanja se danes večinoma razume le razvrednoteno in omejeno kot skrb organizacije za ohranjanje standardnih lastnosti procesov in njihovih produktov – a to je ozko in togo razumevanje, ki bi ga bilo pravilneje poimenovati nadzor standardov poslovanja in proizvodov/storitev, ne upravljanje kakovosti. Smisel kakovosti v poslovanju je drugačen in bistveno globlji – gre za vprašanje ali se skozi poslovni proces porodi novo kakovost, ali ustvari »dodano kakovost«, ne le »dodano vrednost«. V tem smislu ima kakovost opraviti z omogočanjem nestandardnega delovanja, ker kreativnosti ni moč standardizirati ampak je konicidenca inovacijskih dejavnikov organizacije.
V okviru teh motivacij sta SDE in Fakulteta za uporabne družbene študije (FUDŠ) poleti 2009 skupaj že izvedla delavnico CAF, kjer sta predstavila svoje poglede na CAF kot potencialno orodje presečnega vrednotenja, ki popisovalni metodi CAF doda bolj procesen pristop. Razlika je v tem, da tak pristop proizvede vpoglede, ki so posebej pomembni za srednje vodstvo v organizacijah javne uprave. Po mnenju sodelujočih so danes potrebe srednjega vodstva najbolj »deficitarne« in najslabše zaposleni element javnoupravne strukture, kar ima negativne posledice za celoten javnoupravni sistem (ker srednje vodstvo premošča vrzel med tistimi v javni upravi, ki se menjajo ob volitvah z ostalimi, ki ostajajo v njej ne glede na volilni ciklus).
Zavzemanje za bolj domišljeno in odprto samoovrednotenje po CAF je razen z metodološkimi razlogi pogojeno tudi z ambicijo izboljšanja razmerja med naporom, ki je potreben za izvedbo CAF in konkretnimi rezultati samoovrednotenja za organizacijo – saj je predlagani alternativni postopek krajši in ima jasnejša sporočila od klasično izvedenega.
Aktualno poročilo o dosedanji uporabi CAF v EU in širše (EIPA, 2011) sporoča veliko razlogov za to, da smo za uspešnost izvajanja CAF zaskrbljeni nič manj kot za ustreznost javnega upravljanja v obče. Povprečno zadovoljstvo uporabnikov s CAF je le, če se izrazimo osnovnošolsko »minus dobro« (-3) oz. ocena 6,7 od 10 možnih. Delež tistih, ki so testno uporabili CAF in se odločili, da ga ne uporabljajo več, se v zadnjih letih povečuje in dosega 14%. 40% odstotkov opravljenih načrtov izboljšav nima nikakršnega učinka na izboljšano upravljanje organizacij, večinoma zato (75%), ker so zanje spoznanja, ki jih prinese CAF, glede na napor, ki je za pridobitev teh spoznanj potreben, preveč splošna in neoprijemljiva (Norveška v EIPA, 2011). CAF ponuja standardizirano orodje vrednotenja, medtem ko razvite organizacije bolj potrebujejo specifična, prilagodljiva orodja, ki odsevajo predvsem posebnosti organizacije (Nemčija). Izvedba CAF tudi ni poceni, četudi večinoma organizacije bremeni le kot oportunitetni (neplačani) strošek – po parametrih podanih v omenjenem poročilu EIPA je ena povprečna izvedba CAF stala več kot 20 tisoč € (tretjina delavnika v trajanju treh mesecev osmih sodelujočih). Dve tretjini organizacij, ki sodelujeta pri pripravi poročila EIPA je iz Vzhodne Evropa (prevladujejo Poljska, Madžarska in Slovenija); zahodnoevropske ustanove javne uprave v večji meri uporabljajo drugačna orodja samoovrednotenja, kar potrjuje večkrat deklarirano resnico, da je CAF najbolj primeren za organizacije, ki so na začetku prizadevanj za obvladovanje kakovosti – namreč kar 40% organizacij, zajetih v poročilo, pred začetkom uporabe CAF ni uporabljalo nobenega orodja upravljanja kakovosti. Dokaj lepo razvidno je tudi, da CAF večinoma uporabljajo organizacije javne uprave na nižjih ravneh upravne hierarhije, kjer so administrativno upravne zmogljivosti pogosto slabše (ali jih je vsaj težje vzpostaviti) in zunanje omejitve bistveno ostrejše kot za organizacije, ki delujejo na centralni ravni. Poročilo EIPA tudi potrjuje opažanje iz Slovenije, da je CAF proces zaprt sam vase, saj kot kritično ugotavlja, da je eksterno komuniciranje (na primer s civilno družbo) največji problem sedanje prakse CAF. Tudi sami z zgoraj navedenimi primeri lahko to potrdimo na svojih izkušnjah.
Zadnji razlog za sklic fokusne skupine je predpriprava sklicateljev in zbiranje gradiva o praksi vrednotenja s CAF za potrebe priprave članka, ki bo uvrščen v knjigo o »Sredinsko presečnem vrednotenju«, ki jo avtorja pripravljata za izid jeseni 2012.
Fokusne skupine so se udeležili večinoma že izkušeni evalvatorji in uporabnice CAF, med katerimi so nekateri postopek izvedli tudi že več kot trikrat (Upravna enota Piran, Škofja loka, Logatec, Krško, Metlika). Na splošno so uporabniki CAF v Sloveniji, ki je ena propulzivnejših držav glede uveljavljanja CAF v celi EU, pozitivni do doslej pridobljenih izkušenj s CAF in dajejo podlago za oceno, da se je tak pristop k samoovrednotnju organizacij javne uprave dokaj dobro prijel in tudi v prihodnje ostaja perspektiven alternativen način izboljševanja javnega upravljanja v Sloveniji. Seznam okvirnih vprašanj, ki so bile obravnavane na fokusni skupini je predstavljen v Prilogi 2.
Kot najbolj pomemben pozitiven dosežek uporabe CAF je po mnenju več udeleženk to, da na sistematičen način odpira ključna vprašanja o dejavnikih upravljanja kakovosti v organizacijah. Samoovrednotenje je sodelujoče organizacije pripravilo do tega, da so osvetlile svoje prednosti in slabosti in se začele pogovarjati o dilemah svoje notranje organizacije ter načinov delovanja na celem spektru standardnih vprašanj, ki jih to izpostavlja. V perspektivi CAF se organizacije javne uprave posebej celovito soočijo z zahtevami svoje družbene odgovornosti, ki so širše od zahtev izpolnjevanja formalnih zahtev njihovega delovanja. CAF je spodbudil primerjanje med organizacijami (odprto ostane vprašanje ali so takšne primerjave, t.im. bench learning, lahko objektivizirane).
Večina sodelujočih je poudarila pomen povezave med CAF in drugimi orodji upravljanja kakovosti kot so standard ISO 9001, letni pogovor z zaposlenimi, slovenski model poslovne odličnosti (PRSPO), sistem reševanja pritožb itn.
Po mnenju nekaterih sodelujočih je sintezna faza povzemanja rezultatov ocen dejavnikov vsebinsko najpomembnejši del vrednotenja s CAF. Razlog za to je v dejstvu, da se v fazi obravnave ocen posameznih kriterijev CAF soočijo razlike ocen med sodelujočimi ocenjevalkami, saj sodelujoči organizacijo ocenjujejo z različnih zornih kotov. Razlike sprožijo primerjavo argumentov za različne ocene, to pa sproži usklajevanje pogledov in pogovor o zadevah organizacije. Večina uporabnic CAF ta pogovor smatra za najpomembnejši dosežek vrednotenja. Predvsem je notranje komuniciranje pomembnejše od golega ocenjevanja dejavnikov CAF, ki ga razpravljavci večinoma razumejo zgolj kot sprožilec pogovora in ne kot glavni cilj samoocenjevanja. S stališča upravljanja kakovosti v organizaciji ostaja dvom ali o slabostih organizacije na koncu koncev zadošča zagotavljati pogovor – čeprav je nedvomno to eden od pogojev kasnejšega kakovostnega delovanja. Na primer, nogomet je igra, namenjena doseganju golov, ne celostnem razgibavanju organizma; brez slednjega seveda ne gre ampak tega gledalci ne bi prišli gledat v množičnem številu in igralci ne bi nikoli postali popularni zaradi odlične razgibanosti. Merjenje in kvantitativno ocenjevanje rezultatov organizacije (»scoring«) je namenjeno ravno temu, da pomaga preseči nenatančnost in težjo sledljivost pogovora, kar je v pomoč vzemimo pri snovanju načrta aktivnosti, na primer pri določanju prioritet organizacije. CAF je orodje »na rezultatih temelječega vrednotenja« in metoda bi morala biti skladno s tem dosledno izvedena kot merski in ocenjevalni inštrument (zavedajoč se, obratno, tudi vseh slabosti kvantitativne obravnave kakovostnih procesov). Metodološki odgovor na težave merjenja in ocenjevanja torej ne sme biti metodološko polovičarstvo ampak naj bo posledica zgolj omejitev uporabnosti in relevantnosti rezultatov in ugotovitev. Prej gre tukaj za potrebo po večji zadržanosti pri razumevanju CAF/EFQM kot generičnega orodja univerzalne uporabnosti; pri CAF bi se kazalo izogibati izvajanju sklepov o odličnosti organizacije pri »upravljanju kakovosti« procesov zgolj na podlagi pridobljenih kvantitativnih meril in ocen CAF ipd.
Udeleženci fokusne skupine so bili spodbujeni osvetliti tudi morebitne težave samoocenjevanja po CAF. Med kritičnimi navedbami so se pojavila opažanja, da ostaja jezik, s katerim CAF nagovarja uporabnike še vedno dokaj težaven, četudi so se razmere z novim priročnikom leta 2006 dokaj izboljšale. Naslednji problem je v dejstvu, da uvajanje CAF zahteva določene predpriprave, ta pa finančna sredstva, na primer za izobraževanje in usposabljanje, ki pa so v zaostrenih razmerah gospodarske krize še težje dosegljiva. Oportunitetni strošek samoocenjevanja po CAF tudi ni nezanemarljiv in je vprašanja, če si ga lahko manjše organizacije sploh privoščijo.
Samoovrednotenje po CAF zahteva celostni vpogled v vse vidike delovanja organizacij. Na drugi strani pa imajo javne organizacije v upravni hierarhiji dokaj omejeno možnost ukrepanja za odpravo slabosti, ki jih odkrijejo s CAF. Tako se zgodi, da CAF lahko organizacijo privede pred zid njenih zmožnosti izboljševanja. To pomeni, da je prodornost CAF na ravni organizacije zelo povezana z uspešnostjo naporov za izboljšanje sistema javnega upravljanja tudi na vseh višjih ravneh. Brez ugodne širše klime sprememb v celem javno-upravnem okolju, so posamične organizacije, zlasti če se nahajajo na spodnjem delu upravne hierarhije, od neke dosežene osnovne ravni »kakovosti« vse bolj omejene v možnosti lastnega izboljševanja. Tako na primer bi izboljšanje neke konkretne organizacije zahtevalo sistemske spremembe, ki pa te potrebe niti ne zaznava, ker kakovost prevečkrat obravnava le pri podrejenih organih, pri sebi pa ne.
Težava obstoječe prakse CAF je tudi v tem, da kvantitativno ocenjevanje dejavnikov CAF zavzame največ časa in zahteva dokajšen napor sodelujočih pri zbiranju ocen z odgovori na vprašalnik CAF (in poleg tega vsebuje tudi povezovanje različnih evidenc organizacije – finančnih podatkov, kadrovskih evidenc, evidence pritožb, opravljenega dela…). Na drugi strani pa večina sodelujočih ocenjuje, da kvantitativni rezultati ocenjevanja niso najpomembnejši vidik samoovrednotenja. Tako pri CAF morda način uporabe vhodnih dejavnikov samoocenjevanja ni najbolje domišljen glede na način uporabe rezultatov, to pa nakazuje možnost, da je notranja logika CAF metodološko šibka. Nabor ocenjenih dejavnikov in kriterijev CAF je linearen seznam in kot tak nezmožen na sintezni ravni podati oceno kompleksnih procesov organizacije; ni torej nujno res, da ocene dejavnikov CAF niso uporabne kot vodilo ravnanj ampak le, da je model ocenjevanja zamišljen linearno, kar pa je preveč enostavno zlasti za potrebe vodenja kompleksnih organizacij. Od tod vprašanje ali ne bi z nekom bolj domišljenim načinom organiziranja s samoevalvacijo zbranih ocen dosegli povečanje njegove uporabnosti na strateški in srednji vodstveni ravni.
Na koncu srečanja fokusne skupine je bilo ugotovljeno, da so pogovori med uporabniki CAF in civilno družbo ter stroko vrednotenja potrebni in jih večina sodelujočih danes pogreša. Zato je bilo dogovorjeno, da bo fokusna skupina za CAF sklicana ponovno. Srečanje bo organizirano, ko bo dokončan Delovni zvezek SDE o samoocenjevanju s CAF, predvidoma aprila 2012. Za gostitelja srečanja se je prijazno javila Upravna enota Laško, za kar se SDE in FUDŠ posebej zahvaljujeta sodelujoči načelnici upravne enote. Zamišljeno je, da bi fokusna skupina CAF lahko služila kot eden izmed ukrepov uporabnikov CAF za izboljšanje eksternega komuniciranja, s katerimi Slovenija odgovarja na opažanje iz poročila CAF 2011 (EIPA), da je eksterno komuniciranje CAF, še zlasti v fazi uveljavljanja izboljševalnih ukrepov, danes ena najšibkejših točk uporabe CAF.
Poročilo je usklajeno med soorganizatorjema dogodka, z njim so seznanjeni tudi udeleženci in udeleženke fokusne skupine, ki so bili povabljeni nanj podati svoje pripombe.
Poročilo Fokusne skupine za CAF
Dan in lokacija: 17. XI. 2011, od 14h-16h, FUDŠ, Leskoškova 9d, Ljubljana
Organizatorja: SDE (Bojan Radej), FUDŠ (doc. dr. Mirna Macur)
Pripravil: Bojan Radej, 24. XI. 2011
Fokusne skupine se je udeležilo 15 oseb od 20 prijavljenih, tri prijavljene so svojo odsotnost opravičile (seznam prijavljenih je v Prilogi 1). Na začetku sta sklicatelja fokusne skupine (FS) predstavila ozadje svoje pobude. Slovensko društvo evalvatorjev razvija novo kulturo vrednotenja in jo preizkuša na različnih področjih vrednotenja, od vrednotenja predpisov, programov, proračunov, planov in tudi organizacij (z orodjem CAF – Common Assessment Framework).
Leta 2009 je SDE objavil delovni zvezek z naslovom »Presoje javnih učinkov vladnih politik«, ki je bil podlaga pobude za strokovno razpravo o metodoloških vprašanjih samoovrednotenja nasploh in s CAF posebej, ki se ga je udeležilo dvajset uporabnikov CAF iz javne uprave. Eden od povodov za zanimanje civilne in strokovne javnosti za samoovrednotenje po modelu CAF je opažanje, da je v Sloveniji s sistemskimi nosilci zelo težko razviti pogovor o morebitnih slabostih CAF. To se je potrdilo tudi pri izvedbi prve delavnice, saj se je predstavniki MJU in pristojnega Odbora za kakovost niso želeli udeležiti. Zaprtost prizadevanj za upravljanje kakovosti v javnem upravljanju je razvidna tudi v evropskem okviru. EIPA oziroma v njenem imenu CAF/RC na primer priznava, da jim ni znano, da bi bila v zadnjem desetletju pripravljena eksterna evalvacija CAF, v katero ne bi bili vpleteni predvsem uporabniki CAF in bi bila pripravljena z namenom nepristranske zunanje ocene.
Po dosedanjih izkušnjah je v Sloveniji s sistemskimi nosilci zelo težko razviti kakovosten pogovor o morebitnih slabostih CAF, po dosedanjih izkušnjah prevladuje leporečje, zlasti na ravni nacionalnega organa. Takšno ravnanje po našem mnenju razvrednoti prizadevanja za samoovrednotenje po CAF v javni upravi, ker jih osvetljuje kot zaprta sama vase in v dobršni meri razumljena kot samozadostna in namenjena le ozkemu krogu upravljavcev kakovosti. Prizadevanja za upravljanje kakovosti se pogosto razumejo (zlorabljajo) v vlogi inštrumenta nadzora nad podrejenimi in ne kot vodilo in načelo ravnanja vseh, predvsem pa hierarhično nadrejenih, saj je javna uprava od zgoraj voden hierarhičen sistem.
Tudi na povsem načelni ravni zaznavamo resne probleme s pravilnim razumevanjem upravljanja kakovosti v organizacijah javne uprave (s CAF ali katerimkoli drugim orodjem). Nadzor kakovosti poslovanja se danes večinoma razume le razvrednoteno in omejeno kot skrb organizacije za ohranjanje standardnih lastnosti procesov in njihovih produktov – a to je ozko in togo razumevanje, ki bi ga bilo pravilneje poimenovati nadzor standardov poslovanja in proizvodov/storitev, ne upravljanje kakovosti. Smisel kakovosti v poslovanju je drugačen in bistveno globlji – gre za vprašanje ali se skozi poslovni proces porodi novo kakovost, ali ustvari »dodano kakovost«, ne le »dodano vrednost«. V tem smislu ima kakovost opraviti z omogočanjem nestandardnega delovanja, ker kreativnosti ni moč standardizirati ampak je konicidenca inovacijskih dejavnikov organizacije.
V okviru teh motivacij sta SDE in Fakulteta za uporabne družbene študije (FUDŠ) poleti 2009 skupaj že izvedla delavnico CAF, kjer sta predstavila svoje poglede na CAF kot potencialno orodje presečnega vrednotenja, ki popisovalni metodi CAF doda bolj procesen pristop. Razlika je v tem, da tak pristop proizvede vpoglede, ki so posebej pomembni za srednje vodstvo v organizacijah javne uprave. Po mnenju sodelujočih so danes potrebe srednjega vodstva najbolj »deficitarne« in najslabše zaposleni element javnoupravne strukture, kar ima negativne posledice za celoten javnoupravni sistem (ker srednje vodstvo premošča vrzel med tistimi v javni upravi, ki se menjajo ob volitvah z ostalimi, ki ostajajo v njej ne glede na volilni ciklus).
Zavzemanje za bolj domišljeno in odprto samoovrednotenje po CAF je razen z metodološkimi razlogi pogojeno tudi z ambicijo izboljšanja razmerja med naporom, ki je potreben za izvedbo CAF in konkretnimi rezultati samoovrednotenja za organizacijo – saj je predlagani alternativni postopek krajši in ima jasnejša sporočila od klasično izvedenega.
Aktualno poročilo o dosedanji uporabi CAF v EU in širše (EIPA, 2011) sporoča veliko razlogov za to, da smo za uspešnost izvajanja CAF zaskrbljeni nič manj kot za ustreznost javnega upravljanja v obče. Povprečno zadovoljstvo uporabnikov s CAF je le, če se izrazimo osnovnošolsko »minus dobro« (-3) oz. ocena 6,7 od 10 možnih. Delež tistih, ki so testno uporabili CAF in se odločili, da ga ne uporabljajo več, se v zadnjih letih povečuje in dosega 14%. 40% odstotkov opravljenih načrtov izboljšav nima nikakršnega učinka na izboljšano upravljanje organizacij, večinoma zato (75%), ker so zanje spoznanja, ki jih prinese CAF, glede na napor, ki je za pridobitev teh spoznanj potreben, preveč splošna in neoprijemljiva (Norveška v EIPA, 2011). CAF ponuja standardizirano orodje vrednotenja, medtem ko razvite organizacije bolj potrebujejo specifična, prilagodljiva orodja, ki odsevajo predvsem posebnosti organizacije (Nemčija). Izvedba CAF tudi ni poceni, četudi večinoma organizacije bremeni le kot oportunitetni (neplačani) strošek – po parametrih podanih v omenjenem poročilu EIPA je ena povprečna izvedba CAF stala več kot 20 tisoč € (tretjina delavnika v trajanju treh mesecev osmih sodelujočih). Dve tretjini organizacij, ki sodelujeta pri pripravi poročila EIPA je iz Vzhodne Evropa (prevladujejo Poljska, Madžarska in Slovenija); zahodnoevropske ustanove javne uprave v večji meri uporabljajo drugačna orodja samoovrednotenja, kar potrjuje večkrat deklarirano resnico, da je CAF najbolj primeren za organizacije, ki so na začetku prizadevanj za obvladovanje kakovosti – namreč kar 40% organizacij, zajetih v poročilo, pred začetkom uporabe CAF ni uporabljalo nobenega orodja upravljanja kakovosti. Dokaj lepo razvidno je tudi, da CAF večinoma uporabljajo organizacije javne uprave na nižjih ravneh upravne hierarhije, kjer so administrativno upravne zmogljivosti pogosto slabše (ali jih je vsaj težje vzpostaviti) in zunanje omejitve bistveno ostrejše kot za organizacije, ki delujejo na centralni ravni. Poročilo EIPA tudi potrjuje opažanje iz Slovenije, da je CAF proces zaprt sam vase, saj kot kritično ugotavlja, da je eksterno komuniciranje (na primer s civilno družbo) največji problem sedanje prakse CAF. Tudi sami z zgoraj navedenimi primeri lahko to potrdimo na svojih izkušnjah.
Zadnji razlog za sklic fokusne skupine je predpriprava sklicateljev in zbiranje gradiva o praksi vrednotenja s CAF za potrebe priprave članka, ki bo uvrščen v knjigo o »Sredinsko presečnem vrednotenju«, ki jo avtorja pripravljata za izid jeseni 2012.
Fokusne skupine so se udeležili večinoma že izkušeni evalvatorji in uporabnice CAF, med katerimi so nekateri postopek izvedli tudi že več kot trikrat (Upravna enota Piran, Škofja loka, Logatec, Krško, Metlika). Na splošno so uporabniki CAF v Sloveniji, ki je ena propulzivnejših držav glede uveljavljanja CAF v celi EU, pozitivni do doslej pridobljenih izkušenj s CAF in dajejo podlago za oceno, da se je tak pristop k samoovrednotnju organizacij javne uprave dokaj dobro prijel in tudi v prihodnje ostaja perspektiven alternativen način izboljševanja javnega upravljanja v Sloveniji. Seznam okvirnih vprašanj, ki so bile obravnavane na fokusni skupini je predstavljen v Prilogi 2.
Kot najbolj pomemben pozitiven dosežek uporabe CAF je po mnenju več udeleženk to, da na sistematičen način odpira ključna vprašanja o dejavnikih upravljanja kakovosti v organizacijah. Samoovrednotenje je sodelujoče organizacije pripravilo do tega, da so osvetlile svoje prednosti in slabosti in se začele pogovarjati o dilemah svoje notranje organizacije ter načinov delovanja na celem spektru standardnih vprašanj, ki jih to izpostavlja. V perspektivi CAF se organizacije javne uprave posebej celovito soočijo z zahtevami svoje družbene odgovornosti, ki so širše od zahtev izpolnjevanja formalnih zahtev njihovega delovanja. CAF je spodbudil primerjanje med organizacijami (odprto ostane vprašanje ali so takšne primerjave, t.im. bench learning, lahko objektivizirane).
Večina sodelujočih je poudarila pomen povezave med CAF in drugimi orodji upravljanja kakovosti kot so standard ISO 9001, letni pogovor z zaposlenimi, slovenski model poslovne odličnosti (PRSPO), sistem reševanja pritožb itn.
Po mnenju nekaterih sodelujočih je sintezna faza povzemanja rezultatov ocen dejavnikov vsebinsko najpomembnejši del vrednotenja s CAF. Razlog za to je v dejstvu, da se v fazi obravnave ocen posameznih kriterijev CAF soočijo razlike ocen med sodelujočimi ocenjevalkami, saj sodelujoči organizacijo ocenjujejo z različnih zornih kotov. Razlike sprožijo primerjavo argumentov za različne ocene, to pa sproži usklajevanje pogledov in pogovor o zadevah organizacije. Večina uporabnic CAF ta pogovor smatra za najpomembnejši dosežek vrednotenja. Predvsem je notranje komuniciranje pomembnejše od golega ocenjevanja dejavnikov CAF, ki ga razpravljavci večinoma razumejo zgolj kot sprožilec pogovora in ne kot glavni cilj samoocenjevanja. S stališča upravljanja kakovosti v organizaciji ostaja dvom ali o slabostih organizacije na koncu koncev zadošča zagotavljati pogovor – čeprav je nedvomno to eden od pogojev kasnejšega kakovostnega delovanja. Na primer, nogomet je igra, namenjena doseganju golov, ne celostnem razgibavanju organizma; brez slednjega seveda ne gre ampak tega gledalci ne bi prišli gledat v množičnem številu in igralci ne bi nikoli postali popularni zaradi odlične razgibanosti. Merjenje in kvantitativno ocenjevanje rezultatov organizacije (»scoring«) je namenjeno ravno temu, da pomaga preseči nenatančnost in težjo sledljivost pogovora, kar je v pomoč vzemimo pri snovanju načrta aktivnosti, na primer pri določanju prioritet organizacije. CAF je orodje »na rezultatih temelječega vrednotenja« in metoda bi morala biti skladno s tem dosledno izvedena kot merski in ocenjevalni inštrument (zavedajoč se, obratno, tudi vseh slabosti kvantitativne obravnave kakovostnih procesov). Metodološki odgovor na težave merjenja in ocenjevanja torej ne sme biti metodološko polovičarstvo ampak naj bo posledica zgolj omejitev uporabnosti in relevantnosti rezultatov in ugotovitev. Prej gre tukaj za potrebo po večji zadržanosti pri razumevanju CAF/EFQM kot generičnega orodja univerzalne uporabnosti; pri CAF bi se kazalo izogibati izvajanju sklepov o odličnosti organizacije pri »upravljanju kakovosti« procesov zgolj na podlagi pridobljenih kvantitativnih meril in ocen CAF ipd.
Udeleženci fokusne skupine so bili spodbujeni osvetliti tudi morebitne težave samoocenjevanja po CAF. Med kritičnimi navedbami so se pojavila opažanja, da ostaja jezik, s katerim CAF nagovarja uporabnike še vedno dokaj težaven, četudi so se razmere z novim priročnikom leta 2006 dokaj izboljšale. Naslednji problem je v dejstvu, da uvajanje CAF zahteva določene predpriprave, ta pa finančna sredstva, na primer za izobraževanje in usposabljanje, ki pa so v zaostrenih razmerah gospodarske krize še težje dosegljiva. Oportunitetni strošek samoocenjevanja po CAF tudi ni nezanemarljiv in je vprašanja, če si ga lahko manjše organizacije sploh privoščijo.
Samoovrednotenje po CAF zahteva celostni vpogled v vse vidike delovanja organizacij. Na drugi strani pa imajo javne organizacije v upravni hierarhiji dokaj omejeno možnost ukrepanja za odpravo slabosti, ki jih odkrijejo s CAF. Tako se zgodi, da CAF lahko organizacijo privede pred zid njenih zmožnosti izboljševanja. To pomeni, da je prodornost CAF na ravni organizacije zelo povezana z uspešnostjo naporov za izboljšanje sistema javnega upravljanja tudi na vseh višjih ravneh. Brez ugodne širše klime sprememb v celem javno-upravnem okolju, so posamične organizacije, zlasti če se nahajajo na spodnjem delu upravne hierarhije, od neke dosežene osnovne ravni »kakovosti« vse bolj omejene v možnosti lastnega izboljševanja. Tako na primer bi izboljšanje neke konkretne organizacije zahtevalo sistemske spremembe, ki pa te potrebe niti ne zaznava, ker kakovost prevečkrat obravnava le pri podrejenih organih, pri sebi pa ne.
Težava obstoječe prakse CAF je tudi v tem, da kvantitativno ocenjevanje dejavnikov CAF zavzame največ časa in zahteva dokajšen napor sodelujočih pri zbiranju ocen z odgovori na vprašalnik CAF (in poleg tega vsebuje tudi povezovanje različnih evidenc organizacije – finančnih podatkov, kadrovskih evidenc, evidence pritožb, opravljenega dela…). Na drugi strani pa večina sodelujočih ocenjuje, da kvantitativni rezultati ocenjevanja niso najpomembnejši vidik samoovrednotenja. Tako pri CAF morda način uporabe vhodnih dejavnikov samoocenjevanja ni najbolje domišljen glede na način uporabe rezultatov, to pa nakazuje možnost, da je notranja logika CAF metodološko šibka. Nabor ocenjenih dejavnikov in kriterijev CAF je linearen seznam in kot tak nezmožen na sintezni ravni podati oceno kompleksnih procesov organizacije; ni torej nujno res, da ocene dejavnikov CAF niso uporabne kot vodilo ravnanj ampak le, da je model ocenjevanja zamišljen linearno, kar pa je preveč enostavno zlasti za potrebe vodenja kompleksnih organizacij. Od tod vprašanje ali ne bi z nekom bolj domišljenim načinom organiziranja s samoevalvacijo zbranih ocen dosegli povečanje njegove uporabnosti na strateški in srednji vodstveni ravni.
Na koncu srečanja fokusne skupine je bilo ugotovljeno, da so pogovori med uporabniki CAF in civilno družbo ter stroko vrednotenja potrebni in jih večina sodelujočih danes pogreša. Zato je bilo dogovorjeno, da bo fokusna skupina za CAF sklicana ponovno. Srečanje bo organizirano, ko bo dokončan Delovni zvezek SDE o samoocenjevanju s CAF, predvidoma aprila 2012. Za gostitelja srečanja se je prijazno javila Upravna enota Laško, za kar se SDE in FUDŠ posebej zahvaljujeta sodelujoči načelnici upravne enote. Zamišljeno je, da bi fokusna skupina CAF lahko služila kot eden izmed ukrepov uporabnikov CAF za izboljšanje eksternega komuniciranja, s katerimi Slovenija odgovarja na opažanje iz poročila CAF 2011 (EIPA), da je eksterno komuniciranje CAF, še zlasti v fazi uveljavljanja izboljševalnih ukrepov, danes ena najšibkejših točk uporabe CAF.
Poročilo je usklajeno med soorganizatorjema dogodka, z njim so seznanjeni tudi udeleženci in udeleženke fokusne skupine, ki so bili povabljeni nanj podati svoje pripombe.
Uporabljena literatura:
Radej B. 2009. Presoje javnih učinkov vladnih politik. Ljubljana, Slovensko društvo evalvatorjev, let. 2, št. 4(2009), 18 str., http://www.sdeval.si/Publikacije-za-komisijo-za-kodekse-in-standarde/Delovni-zvezek-4/2009.html
Radej B. 2011. Presečno določanje razvojnih prioritet. Ljubljana: Slovensko društvo evalvatorjev, Delovni zvezki SDE št. 1/2011, 32 str., http://www.sdeval.si/, [VII/2011].
Radej B. 2010. Več-nivojski vidik družbene kompleksnosti in njen pomen za metodologijo družbenega raziskovanja – primer vrednotenja učinkov politik. Ljubljana: Slovensko društvo evalvatorjev, Delovni zvezki SDE št. 3/2010, 59 str., http://www.sdeval.si/Publikacije-za-komisijo-za-kodekse-in-standarde/Vec-nivojski-vidik-druzbene-kompleksnosti.html
Radej B., M. Golobič, M. Macur, S. Dragoš. 2011. Vrednotenje politik Ljubljana: Vega, 247 str.
Staes P., N. Thijs, A. Stoffels, S. Geldof. 2011. Five Years of CAF 2006: From Adolescence to Maturity -What Next? A study on the use, the support and the future of the Common Assessment Framework. EIPA, CAF Resource Centre, 160 str.
Priloga 1: Prijavljeni na Fokusno skupino CAF
1. Bogataj Černigoj Damjana , UE Logatec
2. Jamer Danilo, (mag.), vodja Službe direktorja PU Slovenj Gradec, danilo.jamer@policija.si
3. Jelušič Suzana, UE Piran
4. Kopcavar Gucek Nena, (dr. med., specialistka splošne medicine), Zdravstveni dom Ljubljana , (opravičila odsotnost)
5. Koželj Bernardka, (mag.), svetovalka I., UE Kamnik, (opravičila odsotnost)
6. Lavrič Heda, Služba vlade RS za razvoj in evropske zadeve, Svetovalka v sektorju za razvojne politike in strukturne reforme
7. Mikunovič Gordana (mag.), višja svetovalka III, UE Črnomelj
8. Mohorčič Špolar Vida A. (doc. dr.), Filozofska fakulteta (opravičila odsotnost)
9. Odar Špela, UE Škofja Loka
10. Ogorelec Breda, MOP
11. Pegam Janja, (mag.), UE Metlika
12. Pretnar Vitomir, (mag.), generalni sekretar, Ministrstvo za finance, Generalni sekretariat
13. Rebov Janja, UE Laško
14. Simončič Karmen, UE Krško
15. Sotler Nataša, UE Metlika
5. Koželj Bernardka, (mag.), svetovalka I., UE Kamnik, (opravičila odsotnost)
6. Lavrič Heda, Služba vlade RS za razvoj in evropske zadeve, Svetovalka v sektorju za razvojne politike in strukturne reforme
7. Mikunovič Gordana (mag.), višja svetovalka III, UE Črnomelj
8. Mohorčič Špolar Vida A. (doc. dr.), Filozofska fakulteta (opravičila odsotnost)
9. Odar Špela, UE Škofja Loka
10. Ogorelec Breda, MOP
11. Pegam Janja, (mag.), UE Metlika
12. Pretnar Vitomir, (mag.), generalni sekretar, Ministrstvo za finance, Generalni sekretariat
13. Rebov Janja, UE Laško
14. Simončič Karmen, UE Krško
15. Sotler Nataša, UE Metlika
16. Stopar Andreja, Načelnica UE Laško
17. Urleb Tomaž, (mag.), Policijska uprava Maribor
18. Volčanjk Jožica, (mag. sc.), UE Krško
19. Zver Darja, Škofijska Karitas Koper, Center Karitas Bertoki, Program pomoč brezdomcem
20. Žust Jasna, UE Logatec
17. Urleb Tomaž, (mag.), Policijska uprava Maribor
18. Volčanjk Jožica, (mag. sc.), UE Krško
19. Zver Darja, Škofijska Karitas Koper, Center Karitas Bertoki, Program pomoč brezdomcem
20. Žust Jasna, UE Logatec
Priloga 2: Nekatera izpostavljena vprašanja uporabe CAF:
1. CAF je postopek vrednotenja s standardnimi vprašanji in kriteriji vrednotenja. Je kot tak uspel dobro »posneti« posebnosti vaše organizacije? Bi moral biti sistem kriterijev bolj specifičen ali je bolje, da je standardiziran za vse organizacije enako?
2. Glede na to, da je CAF oblika internega vrednotenja, se vprašamo ali je CAF nevtralen inštrument ocenjevanja uspešnosti procesov/organizacije?
3. Kako reševati nasprotja pri ocenjevanju dejavnikov, so iskali konsenz pri ocenjevanju dejavnikov?
4. Kako se CAF povezuje z drugimi oblikami notranjega nadzora in vrednotenja uspešnosti, učinkovitosti v javni upravi, kot: ankete o zadovoljstvu med zaposlenimi ali med dobavitelji ali med uporabniki javnih storitev; kompetenčni upravljavski model; upravljanje pritožb; interni nadzor; interni benchmarking, SWOT…? Kakšno je razmerje med predhodno pridobljenimi podatki in podatki, ki jih proizvede šele CAF (z ocenjevanjem dejavnikov)?
5. Ocena CAF v primerjavi z drugimi pristopi k samoovrednotenju, zlasti s stališča uporabnosti rezultatov za spremembe v organizaciji.
6. Se CAF obnese kot celovit seznam nalog organizacije ali tudi kot merski inštrument za njihovo samoovrednotenje?
7. Ali CAF dobro služi potrebam prakse in uvajanja sprememb v organizaciji ali je le »zdravstveni pregled« stanja organizacije?
8. Koliko časa zavzame ocenjevanje v primerjavi z vsem ostalim delom pri CAF (predprirpava, ocenjevanje, usklajevanje, komentarji, ugotovitve ocenjevanja)?
9. Izvedba CAF v povprečju zahteva sodelovanje 8 oseb, tri mesece, ena tretjina delovnika. Ali CAF s svojimi rezultati upraviči tak vložek, napor?
10. Vrednotenje dejavnikov je v CAF ločeno od sinteze rezultatov. Zato se sprašujemo ali je kdaj prišlo do odstopanja med opažanjem sodelujočih pri vrednotenju in vodilnih, ki so povzemali ključno sporočilo vrednotenja?
Oznake: slo