• Stikkord

Virker bistand? Noen spørsmål til avklaring

Virker bistand? Før vi prøver å gi et svar, kan det være nyttig å bestemme seg for hva vi egentlig mener med spørsmålet.

Jeg jobber med evaluering av bistand, og en av hovedoppgavene er å vurdere hvorvidt bistanden er effektiv og gir resultater. Om bistand virker, med andre ord. Det er selvsagt viktig å gi gode, veldokumenterte svar på det spørsmålet. Men det er vanskelig å gi klare svar om spørsmålet er uklart.

I Evalueringsavdelingen i Norad er vi stolte av å ha en kritisk tilnærming og strenge beviskrav når vi vurderer bistandens resultater.

I Evalueringsavdelingen i Norad er vi stolte av å ha en kritisk tilnærming og strenge beviskrav når vi vurderer bistandens resultater. Det betyr at du kan stole på det som evalueringene sier om resultatene av bistand. Men det betyr ikke nødvendigvis at vi kan gi et fullstendig bilde av bistandens resultater. Bistanden gir sannsynligvis noen resultater som vi ikke kan bekrefte, fordi de ikke lar seg dokumentere. At noe ikke er bevist, betyr ikke at det ikke er sant. På den annen side: Hvis vi hadde stilt krav til at alle bistandens resultater skal dokumenteres, ville vi antakelig fått dårligere bistand. Dette er et viktig dilemma når man krever dokumentasjon av at bistand virker.

Men før vi kommer til spørsmålet om dokumentasjon, må vi vite hva vi mener med resultater. Av og til får jeg inntrykk av at «resultater» er blitt et slags mantra: Det er et ord som gjentas til stadighet i bistandsorganisasjonene, særlig når de plages av at spørsmålet «virker bistanden» stilles i det offentlige ordskiftet. Men bak ordet skjuler det seg ulike syn på hva det egentlig betyr i praksis.

En tydeligere presisering av hva man mener med spørsmålet vil gjøre det enklere for bistandsorganisasjonene å svare, og for Norad å kvalitetssikre og kontrollere. Nedenfor kommer noen spørsmål man bør ta stilling til, når man krever dokumentasjon på at bistanden gir resultater.

Hva menes egentlig med resultater?

Alle seriøse bistandsorganisasjoner kan vise til noen resultater, om de bare prøver. Noen fattige mennesker får en litt bedre hverdag, det skapes noen jobber, eller et fattig lands myndigheter får litt hjelp til å ivareta sine oppgaver overfor befolkningen.

 Av og til kan det nesten virke som om Norge alene forventes å løfte andre land ut av fattigdom.

Men de fleste bistandsorganisasjonene tar sikte på noe mer enn det. De ønsker varig endring med ringvirkninger også etter at bistanden er avsluttet. Aller helst vil de bidra til varige endringer i stat og samfunn som legger til rette for at landet skal komme seg ut av fattigdom på egenhånd. Og det skal skje med ganske beskjedne kostnader. Og jo mer bistandsorganisasjonene snakker om sine ambisjoner, jo høyere blir forventningene hos de som krever bevis for at bistand virker. Av og til kan det nesten virke som om Norge alene forventes å løfte andre land ut av fattigdom.

Tatt i betraktning at norsk bistand i beste fall bare utgjør promiller av et fattig lands totale økonomi, oftest langt mindre, er dette rimelig ambisiøst.

Bistandens egne ambisjoner – og forventningene skapes av å snakke om slike ambisjoner – gir bistandsorganisasjonene en formidabel jobb med å rapportere resultater. Det blir liksom litt smått å rapportere at man har hjulpet noen enkeltmennesker eller institusjoner, når målet var å forandre et helt land. Og på det høyeste ambisjonsnivået er det nesten umulig å måle resultater. Ta korrupsjon som eksempel: Det kan enkelt dokumenteres at Norge har gitt støtte til riksrevisjonen i et land. Om riksrevisjonen faktisk fungerer bedre som følge av norsk støtte, er mye vanskeligere å si noe om. Og om en styrket riksrevisjon faktisk fører til mindre korrupsjon i landet, er nesten umulig å vite med sikkerhet, for det er så mange andre forhold som spiller inn på det spørsmålet.

Spørsmålet er om vi skal avkreve dokumentasjon på resultater på bistandens høye ambisjonsnivå, eller om vi er fornøyd med de mer konkrete, kortsiktige resultatene. Det har også noe å si på hvordan man vurderer om resultatene er gode nok, om ambisjonene er urealistiske. Hvis man mislyktes i sine egne mål om å forandre et samfunn, men likevel brukte penger kostnadseffektivt til å skape gode resultater i det «små», er bistanden da mislykket?

Skal all bistand ha samme beviskrav?

Det er stor forskjell på ulike typer bistand med tanke på muligheten til å dokumentere resultater. Er målet ditt å bygge en vei, etablere en skole eller starte en bedrift, kan folk se om du lykkes både på kort og lang sikt. Etter ti eller tjue år kan folk sjekke om veien er i god stand, om barna har fått seg jobb og om bedriften tjener penger og sysselsetter fattige.

 Er målet ditt å bygge en vei, etablere en skole eller starte en bedrift, kan folk se om du lykkes både på kort og lang sikt.

Vil du bidra til politiske eller sosiale endringer, kan det være vanskelig å vite om du når målet i det hele tatt. Du kan observere om et valg går bra for seg, men vanskelig vise at de fattige får mer innflytelse over politikken. Hvis du vil fjerne diskriminering gjennom holdningsarbeid, er det vanskelig å dokumentere både de kortsiktige resultatene – endrede holdninger – og langsiktige effekter – for eksempel om kvinner faktisk får større frihet i hjemmet. Evalueringer og forskning kan bidra til å sannsynliggjøre effektivitet, men det er ofte dyrt, og kanskje umulig å dokumentere.

Dette betyr ikke nødvendigvis at slik bistand ikke virker, bare at det ikke finnes gode metoder til å måle om bistanden oppnår resultater. Det kan ikke bevises at slik bistand verken er effektiv eller ineffektiv. Det er kanskje ikke rimelig å stille samme beviskrav til slik bistand som til den mer konkrete bistanden.

Hittil har Norge vært beskjeden med slike beviskrav. Det har nok ført til at en del ineffektiv bistand blitt videreført simpelthen fordi det ikke har vært mulig å dokumentere at den er ineffektiv. På den annen side: Hvis Norge bare hadde støttet bistandstiltak som gjorde det enkelt å dokumentere resultater, er det mye er det mye god bistand som også ville ha blitt stoppet.

Barn får vaksine i Burundi

Judtih Niyomwungere og Francine Girukwayo jobber på spreng for å vaksinere alle barna som har kommet for å få vaksine på helsesenteret i Rumonge i Burundi. Foto: Ken Opprann

Det er mye lettere å måle helseeffektene av at barn blir vaksinert, enn av at primærhelsetjenesten fungerer optimalt innenfor sine forutsetninger, eller av å utdanne flere sykepleiere. Men det er slett ikke sikkert hvilket av disse formene for bistand som faktisk gir best helse på sikt. Hvis det ene prioriteres foran det andre på grunn av dokumenterbarheten framfor sannsynligheten av resultater, er det ikke sikkert at en slik prioritering bidrar til bedre bistand.

I afrikanske land som har mottatt mye bistand til å bekjempe HIV/AIDS, er epidemien nå bremset kraftig. Det faktum at mange titalls millioner afrikanere ikke vil utvikle AIDS i framtiden, er en formidabel suksess som høyst sannsynlig er et resultat av bistand. Dette er en nyttig påminning, synes jeg: Dette er kanskje er en av de største seierne for bistand de siste årene, men med evalueringenes strenge metodekrav kan det verken bevises eller motbevises at bistand er årsaken.

Mye av innsatsen mot HIV/AIDS besto av tiltak der man heller ikke kunne dokumentere resultater på kort sikt. For eksempel er det vanskelig å vite om folk endret risikoatferd fordi folk helst ikke snakker om eget sexliv, og det er vanskelig å kontrollere om de snakker sant, og enda vanskeligere å vite om det skyldes bistandsfinansiert holdningsarbeid eller ikke.

Det betyr ikke at alle tiltakene var effektive. Tvert imot tror jeg at det ble gitt bistand til mange tiltak som ikke virket særlig godt, ikke minst når det gjelder holdningsarbeid. Men om giverne hadde krevd dokumentasjon på resultater av alle tiltak, var det også mange effektive tiltak som ikke hadde blitt realisert, og epidemien ville kanskje ikke ha blitt bremset like mye.

Hva betyr det å gjøre en forskjell?

På sitt enkleste handler resultater om måloppnåelse. Det dokumenteres ved å kartlegge situasjonen ved oppstart av prosjektet, og så måle i hvor stor grad målet har blitt realisert når prosjektet er ferdig. Slik rapportering skjer i all bistand som er godt forvaltet, og evalueringene bidrar til å kontrollere at rapporteringen er korrekt.

Men at et mål er oppnådd, er ikke bevis på at bistanden har virket, særlig når målsetningene er ambisiøse.

Men at et mål er oppnådd, er ikke bevis på at bistanden har virket, særlig når målsetningene er ambisiøse. La oss si at målet er bedre helse i en fattig befolkning. For tiden har de fleste fattige land kraftig økonomisk vekst og opplever mange små forbedringer som sannsynligvis bidrar til bedre helse helt uavhengig av bistand. Måloppnåelse sier derfor lite om hvorvidt bistanden har virket. Hvis målet er bedre styresett i et land, er det enda vanskeligere: De fleste fattige land er demokratiske og myndighetene er under stadig press fra sine egne borgere om å skjerpe seg. Da blir styresettet gjerne bedre. Men størsteparten av æren tilfaller sannsynligvis landets egne borgere, og det er både arrogant og udemokratisk å påstå at bistanden er en viktig årsak.

De fleste evalueringer gjør en kritisk vurdering av sannsynligheten for at bistanden har bidratt til målet. På engelsk kalles det contribution analysis. I noen tilfeller kan man si med ganske stor sikkerhet i hvilken grad bistanden faktisk er årsak til forbedringen. Det kalles attribution. Den beste måten å gjøre det på, er å sammenligne situasjonen for noen som har mottatt bistand, med noen som ikke har fått bistand. Da har man gjort en kontrafaktisk analyse. Det er en krevende jobb og det er ofte ikke mulig å finne noe å sammenligne med, så det gjøres ikke særlig ofte.

En kontrafaktisk analyse åpner opp for helt nye vurderinger av bistandens resultater, selv om det ofte ikke kan måles. Bistanden har kanskje virket, men en annen – kontrafaktisk – bistandsstrategi ville kanskje oppnådd enda bedre resultater. Da har man ikke brukt penger godt nok. Og om vi ikke hadde gitt bistand, ville kanskje folk og myndigheter funnet en annen løsning på problemene. Uten bistand til utdanning ville antakelig myndighetene ha gitt mer penger til sektoren, eller det hadde dukket opp private utdanningstilbud (de fattige er tross alt et enormt marked og det er stor etterspørsel etter utdanning). Om sluttresultatet ville vært bedre eller dårligere, er vanskelig å vite og umulig å dokumentere. Men en kontrafaktisk analyse vil ofte vise at det egentlige resultatet er lavere enn hva det kan virke som, fordi alternativet til bistand sjelden er ingenting, men at noe annet ville skjedd.

Effektiv bistand, eller bistand til effektive utviklingsstrategier?

I sin enkleste form betyr effektiv bistand at hver eneste hundrelapp gir best mulige resultater. Det tar seg veldig godt ut når man skal skrive resultatrapporter. Den enkleste måten å oppnå dette på, er å organisere bistanden i egne prosjekter som gir full kontroll over hvordan pengene brukes.

Men bistand skjer aldri i et vakuum. Hvis man utelukkende fokuserer på effektiv bruk av bistandsmidler, kan det skje på bekostning av god bruk av andre ressurser, for eksempel offentlig sektor i mottakerlandet. Giverne velger kanskje ut spesielle områder – som bestemte helsetilbud eller utvalgte sykdommer – hvor det er ekstra gode muligheter for å skape gode resultater. De krever kanskje i tillegg at mottakerlandet legger ekstra til rette for resultater ved at fagfolk og myndigheter har ekstra mye oppmerksomhet på de bistandsfinansierte aktivitetene på bekostning av annen viktig virksomhet. De nøler heller ikke med å ansette de beste folka ved å tilby bedre lønninger og karriereveier enn i offentlig sektor. Da kan kravet til effektiv bistand føre til at andre sektorer blir mindre effektive.

En helt annen forståelse av effektivitet kommer til syne i det vi kan kalle bistand til effektive utviklingsstrategier. Da tar man hensyn til god bruk av alle ressurser, ikke bare bistanden. Det krever ofte at man må redusere forventningene til gode resultater av hver enkelt hundrelapp. Bistanden gis kanskje som et generelt bidrag til et annet lands statsbudsjett, uten mulighet til å dokumentere noe som helst konkret resultat. Kanskje bør man gi bistand til høyere utdanning. Det er dyrt, tidkrevende og hjelper i første omgang ikke særlig mange andre enn noen studenter som ikke engang er blant de fattige. På lengre sikt kan det derimot bidra til at nasjonale ressurser brukes mye bedre, med stor utviklingseffekt på sikt.

Disse to måtene å tenke effektivitet på, lever i praksis side om side i norsk bistand. Ofte kan effektiv bistand også være et bidrag til effektive utviklingsstrategier. Men fordi de av og til kan komme i konflikt, kan vil være nyttig med en tydelig avklaring av hva man egentlig mener med effektivitet i bistand.

Hva er resultatet av å høste lavthengende frukt?

Den hyggeligste form for bistand er enkle, billige og velprøvde tiltak med stor effekt, som gjennomføres av profesjonelle organisasjoner og gir raske resultater. Nettopp derfor er det kanskje ikke med slike tiltak man gjør størst forskjell. Dette er nemlig bistand som praktisk talt alle ønsker å støtte. Uten norsk støtte vil både offentlige og private givere stå i kø for å støtte de samme tiltakene, eller myndighetene ville kanskje ønsket å finansiere det selv. Ved å støtte slike tilfeller kan det hende at vi driver effektiv bistand, men gjør liten forskjell. Det eneste vi har gjort, er å snappe et godt bistandstiltak fra andre.

Det kan også være forskjell på hvilke land som gir mest effektiv bistand. Det er mye enklere å hjelpe folk ut av fattigdom i fredelige, velfungerende stater med god politikk og god offentlig forvaltning, enn stater med krig, korrupsjon eller veldig dårlig politikk. Bistand er kanskje mest effektiv der den trengs minst, for å si det slik. Om man skal vurdere effektivitet ut fra hvor mange man med stor sannsynlighet kan hjelpe per hundrelapp, er konklusjonen opplagt å gå for de enkle områdene. Her kommer en rettferdighetsvurdering inn: Skal noen få mer bistand enn andre fordi de bor i et land der er billigere å hjelpe dem?

 Skal noen få mer bistand enn andre fordi de bor i et land der det er billigere å hjelpe dem?

Et lignende dilemma handler om risiko. Ofte fungerer bistand som aksjemarkedet: Det er når man tar høy risiko, at man har mulighet til å høste stor gevinst, men også stor risiko for å kaste bort penger. Arbeid for fred er et eksempel: Sjansene kan være nærmest mikroskopiske. Skulle det likevel skje at bistanden lykkes, vil det ha store ringvirkninger som veier opp for mange mislykkede forsøk.

Et tiltak kan mislykkes fullstendig, men ut fra en vurdering av risiko og potensiell gevinst kan det likevel ha vært riktig å forsøke. Men hvis vi krever at all bistand skal dokumentere at den virker, er det ikke særlig fristende å påta seg de risikable oppgavene. Her har mediene en viktig rolle: En bistandsorganisasjon stoler nok på at giveren forstår det fornuftige i å ta noen sjanser, ettersom norsk bistand har tradisjonelt vist stor risikovilje. Men organisasjonen har ingen garanti mot å bli hengt ut i media, og i flere år framover bli assosiert til dårlig bistand og kanskje skandaler. Mediene bidrar derfor, kanskje sammen med resultatkravene i bistand, til et system som belønner forsiktighet framfor modighet.

 

Hva mener du?

Kravet om effektiv bistand er viktig og riktig, og jeg synes det er riktig at både myndighetene og skattebetalerne krever resultater. Jeg mener også at dokumentasjonen av resultater ikke er i nærheten av å være god nok i dag. Men for at vi som jobber med kvalitetssikring, skal kunne klare å gi gode svar, vil det være nyttig med mer presise spørsmål. Særlig er det vanskelig å forholde seg til forventninger som kan være inkompatible. Det er dessuten verdt å vurdere risikoen for at for strenge krav om å dokumentere resultater kan virke kontraproduktivt, ettersom den enkleste måten å møte kravene om resultater på, er å høste lavthengende frukt, unngå risiko og innovasjon, og kanskje gjøre liten reell forskjell.

 

Skribent

Øyvind Eggen (Foto: Sandra Aslaksen)
Øyvind Eggen Fagdirektør for evaluering


Debatt

Har du kommentarer til saken? Engasjer deg her!