Finansminister Sigbjørn Johnsen fremhever på DN.no at offentlige tiltak evalueres i stor stil. Myndighetene vet mye om virkningen av tiltak som settes i gang. Han viser til de over tusen evalueringene som ligger på evalueringsportalen.no.
Les artikkelen det refereres til: Sigbjørn Johnsen:- Helt feil
Ja, det evalueres mye i Norge. Etter et dypdykk på evalueringsportalen.no er vi fortsatt i tvil om mange av evalueringene forteller oss mye om tiltakenes virkninger.
Offentlige tiltak bør ikke evalueres mer, men smartere.
Gullstandarden for evaluering av offentlige tiltak (og andre intervensjoner) er enkel nok. Den består av tre elementer. Man må ha en eksperimentgruppe som utsettes for tiltaket, og en kontrollgruppe som slipper. Eksperimentgruppen må ikke ha adgang til selv å påvirke tiltaket. Hvem som velges til eksperiment- og kontrollgruppe må være tilfeldig. Enhetene må ikke selv få velge seg inn i gruppene. Med et slikt opplegg kan vi være ganske sikre på å avdekke om tiltaket har effekt.
Offentlige tiltak bør ikke evalueres mer, men smartere. Myndighetene bør i større grad teste ut reformer i liten skala ved randomiserte eksperimenter, før de gjennomføres i hele landet. Slik kan vi sikre oss kunnskap før skattepengene virkelig ruller unna.
Søk på ordet ”randomisert” på evalueringsportalen.no gir 11 treff. Ingen av disse 11 evalueringene benytter randomiserte eksperimenter (men noen av dem viser til slike eksperimenter gjennomført av andre). Søk på ordet ”kontrollgruppe” gir 48 treff. Tre av evalueringene som dukker opp er randomiserte eksperimenter i egentlig forstand. Disse ser ut til å være de eneste på portalen. Situasjonen er radikalt forskjellig i England, der en egen enhet under statsministerens kontor arbeider spesielt med policy eksperimenter. Norske myndigheter ligger håpløst bak.
Mange av rapportene på portalen evaluerer tiltak etter at de er gjennomført over det ganske land (f eks sykehusreformen og kontantstøtteordningen). Her skjer det ingen kontrollert testing før reform settes i gang. Noen evalueringer benytter riktignok ”pilotprosjekter” i liten skala. I slike tilfeller er det vanlige å la forsøksenhetene selv få velge om de vil delta eller ikke. Dette er det motsatte av randomisering. En må mistenke at de som selv velger å være med er spesielt motiverte. Da blir det vanskelig å si noe som helst om effekter.
Vi håper eksemplene vil anspore Finansministeren til å innta en mer eksperimentell holdning.
Et typisk eksempel er evalueringen av forsøk med alternative pedagogiske modeller i skolen (”LP-modeller”). Her fikk skolene selv bestemme om de ville være med, og det heter i rapporten: ”I prinsippet kunne skolene vært randomisert ved at vi trakk et vist antall skoler for å arbeide med LP-modellen. Dette er i praksis ikke mulig fordi skolene har meldt seg på ut fra egeninteresse i prosjektet.” Nok et eksempel er evalueringen av tiltak mot rusmisbruk ved kriminalomsorg i frihet og i anstalt. Her heter det at: ”Den foreliggende evaluering vil ikke kunne si noe eksakt om programmets effekt, da det ikke foreligger noen kontrollgruppe¿”.
Et tredje eksempel er ”positivitetsagentene”. I mars 1999 sendte Kommunal- og regionaldepartementet ut en pressemelding om at ungdom i 62 utkantkommuner skulle tilbys agentopplæring. Formålet var å bidra til et levende lokalmiljø i distriktsnorge. I evalueringen fra 2002 undersøkte man hvor mange agenter som var tilbake (noe som ble ansett som en god suksessindikator). I rapporten viste det seg at av 66 kommuner hadde 14 fortsatt en agent, for 10 kommuner var situasjonen uklar, mens 42 ikke lenger hadde noen agent. Forkl#229en var at agentene i stor grad hadde forlatt kommunen (i følge rapporten var dette som forventet). Nytilsetting av agenter var ikke blitt foretatt som følge av manglende forankring i kommunene, konkurranse fra andre prosjekter og at det ikke ble opprettet et eget ”Positivitetsagentsekretariat”.
Er det fornuftig å revitalisere prosjektet som permanent distriktspolitisk virkemiddel? Vi anbefaler i alle fall at en først gjennomfører et randomisert forsøk med en eksperiment- og kontrollgruppe: Den ene er kommuner får et ”øremerket” statlig støtte til positivitetsagenter. Den andre gruppen mottar en tilsvarende økning i rammetilskuddet i inntektssystemet. Deretter trekker vi tilfeldig ut hvilke utkantkommuner som skal være i den ene og den andre gruppen. Med et slikt opplegg kan vi evaluere om dette er effektiv distriktspolitikk – eller om midlene bør brukes på annen måte. Da har vi lært noe.
Vi håper eksemplene vil anspore Finansministeren til å innta en mer eksperimentell holdning.
Leif Helland & Rune Sørensen
Professorer, Handelshøyskolen BI
Les flere saker i serien "Det store pengesluket": - Vi aner ikke hva vi bruker pengene på
Overmannes av reformkåte politikere
- Vi har råd til å slenge på litt ekstra