Uppföljning

Granskningens bidrag till resultatet

Granskningen har haft direkt påverkan på regeringens styrning av Almi och i övrigt varit ett viktigt underlag i regeringens arbete med effektutvärderingar, internt och i styrningen av myndigheterna. Det är dock svårt att koppla enskilda åtgärder till granskningen. Tillväxtanalys har haft stor nytta av granskningen och har bland annat använt den som underlag i rapporter och i myndighetens arbete för att öka kvaliteten i arbetet med effektutvärderingar. Vinnova uppger att de tagit hänsyn till granskningen medan Tillväxtverket menar att granskningen redan var i linje med myndighetens eget utvecklingsarbete.

Uppföljning av granskningen

Uppföljningen avser perioden från riksrevisorns beslut att inleda granskningen i februari 2019 till och med oktober 2025, då uppföljningen påbörjades. För att genomföra uppföljningen har vi gått igenom relevanta riksdagstryck och ställt frågor till alla granskningsobjekt som fick rekommendationer. Frågorna har besvarats skriftligen och i intervjuer.

Riksrevisionens granskning från 2020 i korthet

Riksrevisionen har granskat tillförlitligheten i näringspolitiska utvärderingar publicerade mellan 2015 och 2018 som uttalar sig om effekter, och hur regeringen använt genomförda utvärderingar i rapporteringen till riksdagen. Granskningsobjekt var regeringen, Myndigheten för tillväxtpolitiska utvärderingar och analyser (Tillväxtanalys), Tillväxtverket och Verket för innovationssystem (Vinnova). Även Statistiska centralbyrån (SCB) ingick i granskningen eftersom SCB utfört årliga effektmätningar åt Almi Företagspartner AB (Almi). Almi var också granskningsobjekt, i egenskap av beställare av effektmätningarna. Granskningen motiverades bland annat av att riksdagen betonat att näringspolitiken i högre grad bör effektutvärderas. För att bedöma tillförlitligheten i utvärderingarna använde Riksrevisionen tre kriterier: huruvida utvärderingen använder en kontrafaktisk ansats, huruvida statistiska antaganden motiveras och huruvida metodval och nödvändiga antaganden dessutom är tillfredsställande motiverade.

Granskningens övergripande slutsats var att det fanns betydande brister i den effektutvärdering av näringspolitiken som genomförts av myndigheterna. Endast 2 av de 37 granskade utvärderingarna uppfyllde alla tre grundläggande krav som Riksrevisionen ställt upp på en trovärdig effektutvärdering. Sammantaget bedömde Riksrevisionen att utvärderingar som gjorde uttalanden om effekter och var utförda eller beställda av Almi/SCB, Tillväxtverket och Vinnova endast i liten utsträckning uppnådde de mest grundläggande kraven som kan ställas på en effektutvärdering. Effektutvärderingar från Tillväxtanalys uppfyllde i regel två av de tre krav som Riksrevisionen ställde upp, men hade i flera fall brister i analysen.

Riksrevisionen bedömde också att regeringen i låg utsträckning använde effektutvärderingar i sin återrapportering till riksdagen. När regeringen refererade till utvärderingar var man ibland otydlig med vilken källan var, och regeringen drog ibland mer anspråksfulla slutsatser än vad det fanns täckning för i utvärderingarna.

Riksrevisionen rekommenderade regeringen att säkerställa att Tillväxtanalys i större utsträckning används för att utvärdera effekter av näringspolitiska insatser, i högre grad återrapportera resultaten av väl genomförda effektutvärderingar till riksdagen, förtydliga syftet med uppföljningar av näringspolitiska insatser och att i Almis ägaranvisning tydliggöra syftet med att använda jämförelsegrupper.

Riksrevisionen rekommenderade Tillväxtanalys att ytterligare höja kvaliteten i myndighetens effektutvärderingar, Almi att vara tydligare i återrapporteringen och Tillväxtverket och Vinnova att anlita eller samarbeta med Tillväxtanalys för effektutvärderingar och att tydligt kommunicera syften och begränsningar i andra typer av utvärderingar och uppföljningar.

Revisionens iakttagelser och rekommendationer är delvis hanterade

I det här avsnittet redovisar vi information från uppföljningen. Fokus ligger på de rekommendationer som lämnades i granskningsrapporten, och om de granskade har vidtagit åtgärder. Vi redovisar också bedömningar av om granskningen ledde till att åtgärder vidtogs.

Regeringen använder i högre utsträckning Tillväxtanalys för att utvärdera effekter av näringspolitiska insatser

Regeringen har tagit flera initiativ för att stärka arbetet med näringspolitiska utvärderingar och Tillväxtanalys roll i genomförandet av dessa, genom

• ökade anslag till Tillväxtanalys för att mer systematiskt utvärdera företagsfrämjande insatser[1]
• ökade anslag till Tillväxtanalys för effektutvärderingar[2]
• pågående uppdrag till Tillväxtanalys om bättre överblick över det företagsfrämjande systemet och förbättrade förutsättningar för mer systematiska utvärderingar[3]
• pågående uppdrag till fem myndigheter om utvecklade system för att dela data kring företagsstöd med syfte att få bättre underlag till utvärderingar och skapa samsyn hos myndigheter kring hur olika begrepp ska användas i utvärderingsarbetet[4]
• tilläggsdirektiv till utredningen om en översyn av mindre myndigheters uppgifter och organisering. Tilläggsdirektiven rör bland annat behovet av fristående analyser.[5]

I regleringsbrev för 2024 tog regeringen bort Vinnovas uppdrag att ta fram effektutvärderingar. Förändringen är ett sätt att tydliggöra inriktningen att effektutvärderingar inte bör göras av genomförandemyndigheter.[6] Det pågår alltså ett utvecklingsarbete avseende utvärderingar av näringspolitiska insatser, där Tillväxtanalys fått en mer central roll. Det är i linje med rekommendationen. Enligt Regeringskansliet är det svårt att säga vilken roll Riksrevisionens granskning haft, utöver att granskningen är ett viktigt underlag för att driva frågorna.[7]

Regeringen återrapporterar inte i högre grad resultaten av väl genomförda effektutvärderingar till riksdagen

Regeringen uppger att de arbetar kontinuerligt med att utveckla resultatredovisningen inom utgiftsområde 24 Näringsliv.[8] Enligt regeringen är Riksrevisionens kriterier för effektutvärderingar inte det enda sättet bedöma huruvida effektutvärderingar av näringspolitiken kan anses adekvata. Regeringen ser behov av olika typer uppföljningar och utvärderingar. Syftet med dessa kan enligt regeringen variera, och regeringen instämmer i att det är centralt att vara tydlig med vilken typ av resultat som en utvärdering visar.[9] Enligt Regeringskansliet finns utmaningar i att redovisa resultatet av väl utförda effektutvärderingar till riksdagen. Det finns inga sammanhang där sådana effektutvärderingar sammanställs till riksdagen. Resultatredovisningen i budgetpropositioner avser resultat under föregående år, medan utvärderingar av genomförda insatser ofta kommer med betydande tidsfördröjning. Många uppföljningar och utvärderingar uppfyller inte strikta kriterier för effektutvärderingar men måste ändå kunna användas.[10] Granskningen har inte lett till åtgärder på denna punkt.

Osäkert om regeringen blivit tydligare avseende syftet med uppföljningar

Myndigheterna har enligt Regeringskansliet fått ökad förståelse för skillnaden mellan utfall och effekter och det finns ett pågående arbete att öka tydligheten, bland annat i arbete med program/interventionslogik.[11] Vilka förändringar som skett avseende tydligheten i syftet med uppföljningar som regeringen beställer är osäkert.

Regeringen har förtydligat Almis ägaranvisning

Regeringen har ändrat Almis ägaranvisning så att det inte längre finns krav på att använda jämförelsegrupper. Förändringen aviserades av regeringen i Årsredovisning för staten 2021 och beslutades i april 2022.[12] Riksrevisionens rekommendation var att förtydliga syftet med att använda jämförelsegrupper. Att ta bort kravet på jämförelsegrupper är ändå i linje med rekommendationen och berodde på granskningen.

Tillväxtanalys har vidtagit åtgärder för att höja kvaliteten i myndighetens effektutvärderingar

Tillväxtanalys har stärkt kvaliteten i myndighetens effektutvärderingsarbete genom att

• rekrytera för att stärka myndighetens metodkunskap inom relevanta ekonometriska metoder
• införa högre krav på kvalitetssäkring av effektutvärderingar, bland annat extern granskning och införande av en ny roll som ansvarar för kvalitetssäkring
• ta initiativ till överenskommelser med genomförandemyndigheterna Vinnova och Tillväxtverket, eftersom Tillväxtanalys är beroende av genomförandemyndigheternas dokumentation och data[13]
• genomföra fler effektutvärderingar, vilket utvecklat myndighetens kompetens och lett till publiceringar i internationella tidskrifter.[14]

Förändringarna är i linje med Riksrevisionens rekommendation och beror åtminstone delvis på Riksrevisionens granskning. Tillväxtanalys uppger att de har haft stor användning av Riksrevisionens granskning och att de ofta hänvisar till den i egna rapporter och föredragningar.[15] I ett särskilt beslut från 2021 framgår att Riksrevisionens krav för tillförlitlighet i effektutvärderingar ska beaktas vid utformande av effektutvärderingsstudier.[16] Granskningen har haft betydelse för Tillväxtanalys överenskommelser med Vinnova och Tillväxtverket.[17]

Almi har förtydligat återrapporteringen

Almi har förtydligat redovisningen av uppdragsmålen i års- och hållbarhetsredovisningen, genom att för varje uppdragsmål tydligt redovisa vad som står i ägaranvisningen och utfall för detta. Almi kommunicerar inte något om effekter av Almis insatser, endast statistik enligt statens uppdragsmål.[18] Förändringarna är i linje med Riksrevisionens rekommendation och bör ses tillsammans med förändringarna i regeringens styrning.

Vinnova har utvecklat samarbetet med Tillväxtanalys och eftersträvar ökad tydlighet om när utvärderingar kan uttala sig om effekter

Vinnova har flera samarbeten med Tillväxtanalys, i regeringsuppdrag och i överenskommelsen. Som en del av överenskommelsen genomför Tillväxtanalys flera effektutvärderingar åt Vinnova. Vinnova uppger att de i pågående arbete med uppföljning och utvärderingar tar hänsyn till Riksrevisionens rekommendationer genom att tydligt definiera och operationalisera vad som krävs för att uttala sig om effekter.[19] Förändringarna är i linje med Riksrevisionens rekommendationer och beror delvis på Riksrevisionens granskning.

Tillväxtverket har utvecklat samarbetet med Tillväxtanalys och eftersträvar ökad tydlighet om när utvärderingar kan uttala sig om effekter

Tillväxtverket har också ingått en överenskommelse med Tillväxtanalys. Överenskommelsen innebär bland annat att Tillväxtanalys ska genomföra effektutvärderingar av vissa insatser och program som genomförts av Tillväxtverket. Tillväxtverket uppger att de redan innan Riksrevisionens granskning initierat ett internt arbete med att utveckla en utvärderingsfunktion, arbetssätt och former för utvärdering och lärande. Riksrevisionens rekommendationer låg enligt Tillväxtverket i linje med pågående arbete och togs om hand inom ramen för detta. Tillväxtverket uppger att de är noga med att beskriva vilka begränsningar och utmaningar som finns att studera effekter och att det ofta handlar om att de studerar resultat som uppstått precis i slutet av ett genomfört projekt, vilket gör att de inte kan uttala sig om de långsiktiga effekterna.[20] Förändringarna är i linje med Riksrevisionens rekommendationer men det är osäkert om de beror på granskningen.

Referenslista

Almi, Års- och hållbarhetsredovisning 2023, 2024.

Dir. 2024:23. Tilläggsdirektiv till utredningen om en översyn av mindre myndigheters uppgifter och organisering.

Myndigheten för tillväxtpolitiska utvärderingar, Juridiska förutsättningar för att spara dokumentation och dela uppgifter mellan myndigheter – Återrapportering av regeringsuppdrag om kartläggning och effektutvärdering av det företagsfrämjande systemet, PM 2024:05:03, 2024.

Myndigheten för tillväxtpolitiska utvärderingar, Process för framtagande av AU-plan 2022–2024, 2021, dnr 2021/28.

Myndigheten för tillväxtpolitiska utvärderingar, Årsredovisning för 2023, 2024.

Myndigheten för tillväxtpolitiska utvärderingar, Överenskommelse om utveckling av förutsättningar för utvärdering 2023–2026, 2023-09-26, dnr 2023/95.

Myndigheten för tillväxtpolitiska utvärderingar, Överenskommelse om samverkan mellan Tillväxtverket och Tillväxtanalys 2024 och 2026, 2024-04-19, dnr 2024/111.

Prop. 2023/24:1, Budgetpropositionen för 2024, bet. 2023/24:NU1, rskr 2023/24:109.

Regeringsbeslut KN2024/0136, Uppdrag att se över hur det statligt finansierade företagsfrämjandet kan bli så effektivt och ändamålsenligt som möjligt.

Regeringsbeslut KN2024/01748, Uppdrag om gemensam datainsamling och datadelning av statlig finansiering till företag och företagsfrämjande aktörer.

Skr. 2021/22:101, Årsredovisning för staten 2021, bet 2021/22:FiU30, rskr 2021/22:404.

Skr. 2020/21:178, Riksrevisionens rapport om effektutvärderingar av näringspolitiken – bristande tillförlitlighet, bet. 2020/21:NU26, rskr 2020/21:382.