evalueringskonferansen 2013: hans henrik bull

Kommunal- og regionaldepartementet

Prioriteringer av virkemidler med størst effekt - enkel logikk og

kompleks virkelighet

Hans Henrik Bull, KRD

Evalueringskonferansen 18. sept. 2013

Kommunal- og regionaldepartementet

Obama 2009 “The question we ask today is not whether our government is too big or too small, but whether it works, (…) Where the answer is yes, we intend to move forward. Where the answer is no, programs will end.”

2

Kommunal- og regionaldepartementet

3

Kommunal- og regionaldepartementet

Eksempel 1 • Evaluering av fylkeskommunenes

regionale utviklingsmidler

• Utvikling av et effektindikatorsystem – Bedret lønnsomhet :

• INs støtte direkte til bedrifter: 45 % (andel bedrifter) • Annen indirekte støtte: 19 % (andel prosjekter)

– Mye enklere å måle resultater og effekter av midler som går direkte til bedrifter

– Ingen klare svar på hva man skal prioritere

4

Kommunal- og regionaldepartementet

Eksempel 2 - • Evaluering av kommunale næringsfond (KNF)

• Problemstilling: Både Innovasjon Norge og

KNF kan gi midler direkte til bedrifter. Hva gir mest effekt?

• Førundersøkelse som undersøkte om det var mulig å bruke – Samme type data (survey) – Samme metode – Samme målevariable

5

Kommunal- og regionaldepartementet

Hvor viktig har tilskuddet/prosjektet vært for…

6

Kommunal- og regionaldepartementet

Eksempel 3 • INs kundeeffektundersøkelser

• Hvor mye koster hver enkelt arbeidsplass

i offentlige midler?

7

Kommunal- og regionaldepartementet

Skapte og sikrede arbeidsplasser etter virkemiddel Ordning Arbeidsplassar

per prosjekt Totalt Kostnad per arbeidsplass

Distriktsrettet risikolån 1,8 287 187 095 kr

Distriktsutviklings-tilskudd 1,4 1 535 258 362 kr

OFU/IFU 2,2 288 625 797 kr

Etablererstipend 0,6 350 280 993 kr

Totalt 1,2 2 460

8

Kjelde: Oxford Research (2012). I pose og sekk? Utredning om hensiktsmessigheten ved et høyere innovasjonsinnhold i de distrikts- og regionalpolitiske virkemidlene.

Kommunal- og regionaldepartementet

Erkjennelser • Effektmåling ≠ effektevaluering

• Vi har i for stor grad bedt om ett svar; hva er

effekten av virkemiddelet – Dekker kontrollbehovet

• Vi må i mye større grad etterspørre en vurdering av virkemiddelet etter flere evalueringskriterier: – Relevans, gjennomførbarhet, effektivitet,

nytte, bærekraft, komplementaritet, sammenheng

9

Kommunal- og regionaldepartementet

Erkjennelser • Effektmåling er veldig krevende.

– Data, metode og analyseramme må stå til hverandre.

• Eks. Survey eller økonometriske analyser krever ulike typer data

– Dette må være på plass før man setter ut selve effektevalueringen

• Programteori: Hvilke resultater eller effekter man skal se etter

• Data må samles inn underveis

10

Kommunal- og regionaldepartementet

Hva gjør vi nå? • Plan for evaluering

– Hva trenger vi å vite? – Hva må utvikles for å kunne gjennomføre en god

evaluering?

• Programteori: – Eks: attraktivitet og nettverk

• Data: – Eks: rapportering og monitorering

• Metode: – Eks: Utvikle nytt MRS-system med effektindikatorer

for SIVA og IN

11

Kommunal- og regionaldepartementet 12

• Kan vi bruke effektevalueringer til å prioritere mellom virkemidler?

• ”Yes, we can”

Kommunal- og regionaldepartementet 13