Utvärderingspolicyn syftar till att ge ramarna för SADEV:s utvärderingsverksamhet. Policyn uppdateras vid behov och den senaste versionen finns på SADEV:s hemsida www.sadev.se. Utöver policyn finns andra styrdokument som ger information om utvärderingsverksamheten vid SADEV. Pågående och planerade utvärderingar beskrivs i ett rullande utvärderingsprogram som finns tillgängligt på SADEV:s hemsida.

Mandat

SADEV har enligt instruktion att självständigt eller i samarbete med andra aktörer genomföra utvärderingar av det svenska internationella utvecklingssamarbetet samt reformsamarbetet med Östeuropa. SADEV ska också främja utvecklingen av utvärderingskapacitet i samarbetsländerna inom ramen för den ordinarie verksamheten. SADEV:s utvärderingar ska avse såväl resultat och effekter av utvecklingssamarbetet som effektiviteten i användningen av biståndsmedel.

I ljuset av detta har SADEV att:

• genomföra högkvalitativa utvärderingar i lärande, utvecklande och kontrollerande syfte,
• genomföra utvärderingar av både bi- och multilateralt utvecklingssamarbete,
• bidra till ökad kännedom och sprida information om resultat och effekter av det svenska utvecklingssamarbetet, för regering och riksdag, UD, andra beslutsfat­tare på området, andra myndigheter, samarbetsländer samt allmänheten,  
• genom rekommendationer föreslå hur svenskt bistånd kan förbättras.

Vad är en utvärdering?

SADEV har, liksom många andra utvärderingsinstitutioner, valt att använda OECD/DAC:s definition av utvärdering, då definitionen återspeglar en gemensam förståelse för utvärdering med brett stöd i det internationella samfundet. OECD/DAC beskriver en utvärdering som:

”Den systematiska och objektiva bedömningen av ett pågående eller av­slutat projekt, program eller policyinsats, dess utformning, genomfö­rande och resultat. Syftet med den är att fastställa målens relevans, mål­uppfyllelse, utvecklingseffektivitet, kostnadseffektivitet och bärkraft. En utvärdering bör tillhandahålla trovärdig och användbar information som gör det möjligt att införliva lärdomar i såväl mottagares som givares be­slutsfattande. Termen avser också processen att bedöma värdet eller vikten av en aktivitet, policyinsats eller program. Bedömningen är så systematisk och objektiv som möjligt och avser en utvecklingsinterven­tion som är planerad, pågående eller avslutad.”

En utvärdering inbegriper således en väl underbyggd, oberoende bedömning och värdering av det som utvär­deras. Det ställer krav på systematik, liksom på att värderingen sker mot någon form av uttalade kriterier. En utvärdering förvän­tas vara analyserande och förklarande. Vad som är föremål för utvärdering – utvärderingsobjektet – kan variera. Det ska vara ett pågående eller avslutat projekt, program eller policy och kan avse såväl design, genomförande som resultat och effekter. 

I alla utvärderingar behöver utvärderingskriterier tillämpas på ett otvetydigt och transparent sätt.

De flesta utvärderingsinstitutioner som är medlemmar i OECD/DAC:s utvärderingsnätverk har valt att förhålla sig till fem standardkriterier:

• Kostnadseffektivitet (Efficiency): ett mått på hur ekonomiskt resurser/inputs (kapital, sakkunskap, tid etc.) omvandlas till resultat.

• Effektivitet/Måluppfyllelse (Effectiveness): den omfattning i vilken utvecklingsin­satsens mål har uppnåtts, eller förväntas uppnås, med beaktande av deras relativa betydelse.

• Effekter på lång sikt (Impact): positiva och negativa, primära och sekundära, långsiktiga effekter av en utvecklingsinsats, direkta eller indirekta, avsedda eller oavsiktliga.

• Relevans (Relevance): den utsträckning i vilken en utvecklingsinsats är förenlig med målgruppernas krav, landets behov, globala prioriteringar samt partners och givares policyinsatser.

• Bärkraft/hållbarhet (Sustainability): en utvecklingsinsats förmåga att fortsätta att producera nyttigheter sedan utvecklingsstödet avslutats. Sannolikheten för fort­satta positiva effekter i ett längre tidsperspektiv. Riskkänsligheten i nettoflödet av nyttigheter över tid.

De gemensamma kriterierna och förhållningssätten underlättar bl.a. samutvärderingar och jämförelser med andra utförares utvärderingar. SADEV relaterar till kriterierna som samtliga ska övervägas men alla behöver inte tillämpas. Ytterligare kriterier kan tillämpas och läggas till t.ex. utifrån etablerade standards för en viss verksamhet, upplevd nytta av brukarna eller vissa andra önskemål. 

Val av utvärderingsobjekt

SADEV väljer själv vilka utvärderingar som ska genomföras. Förslag genereras löpande. Myndigheten genomför också utvärderingar på uppdrag av regeringen.

Utvärderingarna ska ha hög relevans för utveckling, förbättring, lärande, beslut och debatt inom Sveriges utvecklings- och reformsamarbete. Det övergripande kriteriet i prioriteringen är utvärderingens potential att bidra till kunskap och utveckling inom utvecklings- och reformsamarbetet, samt att utvärderingen faller inom ramen för SADEV:s verksamhetsstrategi. Prioriteringen bereds i myndighetens ledningsgrupp innan beslut fattas av generaldirektören. 

Kvalitetssäkring

Trovärdiga utvärderingar av hög kvalitet kräver att de genomförs av oberoende utvärderare, att utvärderingarna planeras och genomförs på ett professionellt sätt samt att resultaten kan styrkas på ett tillförlitligt sätt.

I allt utvärderingsarbete strävar myndigheten efter att tillämpa bästa möjliga praxis på utvärderingsområdet samt att använda internationella normer för kvalitetssäkring och genomförande.  SADEV:s egna principer för utvärdering bygger på normer och praxis inom OECD/DAC och inom andra internationella utvärderingsinstitutioner och nätverk.

Samarbete med andra utvärderingsinstitutioner i Sverige och utomlands bidrar till vidareutveckling av utvärderingsverksamheten. Myndigheten ingår i flera internationella utvärderingsnätverk för utbyte och utveckling av kunskap. 

Vägledande principer och etiska normer

SADEV:s vägledande principer och etiska normer speglar kärnan på vilken utvärderingar grundas. De påverkar och förstärker varandra och ska betraktas som överordnade principer och normer för allt utvärderingsarbete som bedrivs av myndigheten.

• Oberoende. Bedömningar får inte påverkas av påtryckning från utomstående eller av intressekonflikter. En utvärderare får inte tidigare ha varit inblandad i att utarbeta eller besluta om policyer eller genomförandet av utvärderingsobjektet.

• Objektivitet. Utvärderingen måste baseras på kontrollerbara fakta. Utvärderaren måste göra allt för att försäkra sig om att de data på vilken utvärderingen baserar sig inte innehåller några felaktigheter.

• Transparens. Utvärderingen måste genomföras på ett sådant sätt att den klart och tydligt kan följas av avnämare och intressenter. Det innebär att de frågor som utvärderingen tar upp, data, metod och genomförande, slutsatser och rekommendationer ska presenteras i utvärderingsrapporten på ett klart, tydligt och lättillgängligt sätt.

• Validitet. Utvärderingen måste mäta/bedöma det som specificerats i kravspecifikation, dvs. mäta/bedöma rätt saker. Detta måste ske och presenteras på ett lättförståeligt sätt.

• Reliabilitet. Utvärderingsresultatet måste vara pålitligt, dvs. att mätningen gått till på rätt sätt. Om utvärderingen upprepas på samma sätt ska resultatet bli det samma.

• Genomförbarhet. Utvärderingar genomförs om information och datauppgifter är åtkomliga och uppgifter om hur insamlandet av dessa går att beskriva.

• Kostnadseffektivitet. Utvärderingen ska genomföras till lägsta möjliga kostnad utan att avkall görs på kvaliteten.

• Användbarhet. Utvärderingen ska utmynna i slutsatser och rekommendationer för förbättringar som är användbara för avnämarna. Rekommendationerna ska vara rimliga och ligga inom ramen för användarens förmåga att påverka.

• Respekt och förståelse för andra kulturer. Utvärderarna måste ta hänsyn till och följa lokala koder vid t.ex. intervjuer eller annan datainsamling.

• Universella värden. En del kulturella vanor och praxis är inte förenliga med grundläggande fri- och rättigheter. Även om utvärderare i princip ska visa respekt för andra kulturer får de inte ge avkall på den effekt som vissa kulturella värden kan ha på relationerna mellan särskilda grupper. Utvärderaren ska handla i enlighet med den universella deklarationen om mänskliga rättigheter.

• Ansvar. En kritisk inställning kan få allvarliga konsekvenser för enskilda. Det är viktigt att uppmärksamma sådana risker och undvika dem bl.a. i samband med uppgiftslämnande. 

• Kön. Utvärderingar ska genomföras med hänsyn till de olika roller som män och kvinnor kan spela i syfte att uppnå målet om jämställdhet mellan könen.

• Bedömning av individer. Utvärdering är inte en bedömning av enskilda individer. Ändå kan utvärderingar leda till slutsatser om ledarskap och ledningsgrupper eller andra genomförare vilket kan komma nära personliga bedömningar. Utvärderare ska i sådana fall göra stora ansträngningar att presentera fakta så att de inte kan spåras till någon individ.