Den andra delfrågan handlar om i vilken utsträckning regeringen har verkat för att nya reformer utvärderas, och den tredje delfrågan om huruvida effekt- och kostnadsberäkningar har genomförts med hög precision.
Riksrevisionen bedömer att fler av de stora reformer som ingår i urvalet borde ha utvärderats avseende deras effekt och kostnadsutveckling. Regeringen eller regeringens myndigheter har utvärderat 11 av de 25 reformer som ingår i urvalet. Bedömningskriteriet för delfråga två, att regeringen verkat för att en klar majoritet av reformerna utvärderas, är således inte uppfyllt. Vidare är det vanligt att uppföljningarna fokuserar på uppnådda mål eller effekter. Det förekommer sällan att reformens kostnadsutfall beskrivs. Det är även ovanligt att effektutvärderingar genomförs.
När den tredje delfrågan ska undersökas minskar urvalet i omfattning eftersom det av olika anledningar saknas uppföljningar av vissa reformer. För det begränsade antal där det varit möjligt är resultatet att i hälften av fallen har effekt och kostnad varit någorlunda i linje med de ursprungliga beräkningarna. Svaret på vår tredje delfråga blir därför att precisionen i beräkningarna kan vara hög men i vartannat fall brister precisionen, vilket understryker behovet av att följa upp och korrigera reformer.
Avsnitt
5.1 Regeringen har initierat utvärderingar för mindre än hälften av reformerna
Regeringen har initierat en uppföljning eller en utvärdering gällande 11 av de 25 reformförslag som vi har granskat. I några fall har detta meddelats redan i propositionen, och i andra fall har regeringen återkommit i ett senare skede med ett uppdrag till framför allt berörda myndigheter om att en uppföljning ska ske. Därtill har andra aktörer, främst Riksrevisionen inom ramen för sin effektivitetsrevision, granskat 8 av de reformer som inte utvärderats genom regeringens försorg. Sammantaget har således 19 av de 25 reformerna utvärderats eller följts upp i något sammanhang. Vidare framkommer att det är vanligast att det är reformernas mål eller effekter som följs upp. I 6 fall finns det uppgifter om reformens kostnader eller effekt på statens budget i de utvärderingar som gjorts.
Diagram 9
Regeringen har initierat utvärderingar i mindre än hälften av fallen
Källa: Riksrevisionen
Riksrevisionen har tidigare granskat 10 av de reformer som ingår i den här granskningen. Vi har även utnyttjat utvärderingar från Konjunkturinstitutet och Institutet för arbetsmarknads- och utbildningspolitisk utvärdering (IFAU) samt akademiska studier. Därtill har vi använt oss av utvärderingar som är genomförda inom Regeringskansliet och myndighetssfären.[60] Riksdagens utvärderings- och forskningssekretariat har inte utvärderat någon av de reformer som vi granskat.[61] Utvärderingar som genomförts av intresseorganisationer har vi inte använt.
I en intervju framkom att det vanligen är upp till tjänstemannakåren på Regeringskansliet att påpeka att reformer borde utvärderas.[62] En annan synpunkt som framfördes var att effektutvärderingar av hög kvalitet borde föregås av datainsamling av relevanta variabler, redan innan reformen införs, men det påpekades också att detta sällan genomförs.[63] Det konstaterades vidare att effektutvärderingar inte är vanliga utan att det oftast handlar om uppföljningar. Flera intervjupersoner framförde att utvärderingar borde göras vid fler tillfällen.[64]
Frågan om behovet av utvärderingar av stora reformer är inte ny. I ett betänkande från Analys- och utvärderingsutredningen 2018 framhålls att ”regeringen får i för liten utsträckning underlag för att kunna bedöma effekter av olika insatser, kostnadseffektivitet eller hur den samlade måluppfyllelsen ser ut inom ett område”.[65]
5.2 Mål eller förväntad effekt uppnås i hälften av fallen
När det gäller att utvärdera reformernas mål och effekter har vi bedömt att det inte varit möjligt i 10 fall. Orsaken är två olika omständigheter: det finns ingen utvärdering eller målformuleringen är så otydlig att reformen är svår att utvärdera.
Vårt resultat bygger sålunda på 15 reformer där vi betygsatt uppnådda mål eller effekter utifrån olika aktörers utvärderingar.[66] I hälften av dessa fall bedömer vi att den förväntade effekten eller målet har uppnåtts, förvisso med oväntade bieffekter i några fall. I en relativt stor utsträckning, i 8 fall av 15, bedöms effekten ha varit svagare än väntat. I 4 av dessa var effekten klart svagare och/eller hade fått oväntade bieffekter.
Diagram 10
Effekten av genomförd reform lägre än väntat i hälften av fallen
Källa: Riksrevisionen
5.3 Reformers kostnadsutfall avviker ofta från beräknad kostnad
Vi har granskat hur en reforms kostnad utvecklats efter införandet. Kostnaden avser effekten på statens budget och fokus ligger på tre år eftersom budgeten alltid utgår ifrån ett treårigt perspektiv. Därutöver har vi försökt uppskatta en långsiktig kostnad, antingen genom att använda uppgifter från olika utvärderingar eller genom att göra en uppskattning själva. Den ska redovisa läget efter fem år eller mer.
De reformer där aktörer kan söka bidrag upp till ett förbestämt takbelopp är inte inkluderade i vår undersökning. Skälet är att beloppen inte baseras på beräkningar av förväntade kostnader utan utgörs av ett i förväg fastslaget belopp. Denna grupp inkluderar bland annat bidrag i olika former för att stimulera byggande av hyres- och studentbostäder och den så kallade kömiljarden. Vårt förhållningssätt har medfört att 6 reformer exkluderats.
Av de kvarvarande 19 reformerna bedömer vi att kostnadsutvecklingen för 6 av reformerna efter tre år var relativt nära den beräknade kostnaden i propositionen, se diagram 11. I dessa fall var avvikelsen som mest 25 procent, och i 4 fall var avvikelsen högst 10 procent. För 7 reformer var avvikelsen mellan utfall och beräknad kostnad större än 25 procent. För 6 reformer var reformens kostnader inte möjliga att utvärdera eller så har reformen aldrig utvärderats.
Diagram 11
Reformens kostnad avviker ofta från den beräknade kostnaden
Källa: Riksrevisionen
När vi granskar hur den långsiktiga kostnaden utvecklats, det vill säga kostnadsläget fem år eller mer efter att reformen lanserades, har vi färre observationer. Utöver de 6 reformer vi exkluderade ovan faller 10 till bort, vanligen för att riksdagen valt att avveckla reformen. Andra orsaker är att fem år ännu inte förflutit eller att fler förändringar av reformen genomförts så att den ursprungliga kostnadsberäkningen inte bedömts vara en relevant jämförelse.
Av de återstående 9 reformerna har inte någon erhållit de två högsta omdömena, nämligen att den långsiktiga kostnaden har avvikit med mindre än 25 procent. För 5 av reformerna var kostnadsavvikelsen större än 25 procent och för 4 reformer var kostnaderna inte möjliga att utvärdera eller så har reformen inte utvärderats över huvud taget.
Det kan finnas betydande svårigheter med att analysera reformers långsiktiga kostnader då många omvärldsfaktorer förändras över tiden. Icke desto mindre är det besvärande ur ett utvärderingsperspektiv att vi funnit så få försök till att utvärdera reformers kostnadsutveckling över ett lite längre tidsperspektiv.
Vi har undersökt om det finns något samband mellan de omdömen som vi satt på beskrivningarna i enskilda reformer och de omdömen som dessa erhållit i utvärderingarna. Möjligheten att göra jämförelser begränsas av att det är så få observationer. Det är bara i 10 fall det finns en utvärdering av både effekter och kostnader. Vi kan emellertid inte se något tydligt samband mellan våra omdömen av beslutsunderlaget och betygen på kostnader och effekter i utvärderingarna.