Opsamlingsartikel på Civilsamfundets Fremtid: Outcome Harvesting

Denne artikel er skrevet af Ole Brauer og er oprindeligt bragt i Altinget. Grafikkerne er udført af Katja Beaula fra Altinget.

Hvordan finder vi ud af om og hvor meget en udviklingsindsats flytter?         – kort introduktion til Outcome Harvesting

Traditionelt bygger både monitorering og evaluering af en udviklingsindsats (typisk kaldet projekt eller program) på indsatsens planlægning efter en næsten ingeniørmæssig logik som følger:

 

Vi planlægger at gennemføre nogle aktiviteter der producerer noget (et eller mange outputs). Vi forventer så at tilvejebringelsen af outputs vil ændre noget (skabe et eller flere outcomes), som vi i næste omgang antager eller håber vil bidrage til en ønskelig, mere langsigtet og varig udviklingseffekt (impact).

 

Når vi så skal se på hvordan indsatsen faktisk går (eller gik), følger vi den samme logik: Fik vi lavet de aktiviteter der var planlagt? Producerede de så faktisk de ønskede outputs? Og ændrede det mon så noget virkeligt og varigt i verden?

 

Problemet er bare at det ofte grænser til det umulige at sige noget særlig meningsfuldt om det sidste ved at holde sig inden for projektets egen logik. Årsagskæderne er for lange, og sammenhængene med forskellige faktorer uden for projektets kontrol bliver for komplekse.

 

Her kan Outcome Harvesting komme ind som et vigtigt supplement, så at sige med udgangspunkt i den anden ende. Fokus er på at søge og opsamle information om hvilke relevante ændringer der i perioden i det hele taget er sket inden for det område (sektor, geografi o.s.v.) der interesserer, og hvor den betragtede indsats kan siges at have haft en rolle – stor eller lille – helt uanset om det var planlagt eller ej. Det kan typisk være ændringer i aktørers holdninger og/eller handlinger, nye samarbejdsrelationer, eller ændringer i lovgivning eller administrativ praksis på området. Og så vurderer man med velplacerede aktørers og iagttageres hjælp indsatsens rolle i den forbindelse.

 

På denne måde opfanger man bedre de ofte komplekse årsagssammenhænge, og bidraget fra den bedømte indsats kan bedre sættes i perspektiv af andre faktorer der bevæger sig på området.

 

I efteråret 2017 afholdt Globlat Fokus et fuldtegnet kursus i Outcome Harvesting.

 

Hør Goele Scheers, konsulent i Outcome Harvesting og kursusholder, fortælle om kurset nedenfor. 

 

Indledende om metoden

Outcome Harvesting er en monitorerings- og evalueringsmetode som er udviklet over de seneste 5-8 år. Den er noget kompleks, men til gengæld kan den give meget nyttige resultater og læring i kraft af sin meget participatoriske tilgang, især i trin 3 og 4. Her kan kun gives en smagsprøve – det kræver en indsats at tilegne sig metoden i praksis. Men det er vigtigt at understrege at der kan tænkes mange mulige varianter, både mere og mindre krævende, afhængigt af resurser og ambitionsniveau.

 

Nogle centrale begrebsdefinitioner

 

Outcome: synlig og væsentlig ændring i en aktørs adfærd, relationer, aktiviteter, politikker eller praksis, som (bl.a.) er blevet påvirket af en ”Change Agent”

 

Change Agent: En person eller organisation der medvirker til at skabe et outcome

 

Social aktør: En person, gruppe, organisation, institution, lokalsamfund eller andet fællesskab der ændrer sig, bl.a. p.g.a. en Change Agents intervention

 

Harvest User: Den eller de personer der skal bruge outcome-høsten som grundlag for at træffe beslutninger. Det kan være en eller flere inden for en Change Agent-organisation, eller udenforstående, f.eks. en donor

 

Harvester(s): Person(er) der står for gennemførelsen af en Outcome Harvest (typisk en konsulent eller en intern evt. med støtte af en konsulent)

 

Metoden kræver som alle evalueringer tid og resurser. Især kræver den særligt engagement af change agents (programpersonale og partnere). Den nærmere tilrettelæggelse (og dermed omkostningerne) afhænger meget af konteksten, karakteren af den bedømte indsats – og af ambitionerne m.h.t. faktisk at bruge resultaterne til læring og videre udvikling. Outcome Harvesting kan godt bygges oven på mere velkendte monitoreringsmetoder som Logical Framework Analysis og Theory of Change.

 

En af deltagerne til kurset, Maria Ploug fortæller i nedenstående video om nogle af de overvejelser, de havde i CARE Danmark da de hørte om kurset.

 

 

Trin 1 – planlæg høsten

Som navnet siger, er det grundlæggende i metoden at ”høste outcomes” af en indsats – d.v.s. at identificere ændringer som indsatsen har påvirket/medvirket til. De centrale informationskilder her er hhv. change agent(s) og de sociale aktører der søges påvirket.

 

Det er vigtigt at være helt klar og udtrykkelig m.h.t. hvem der skal bruge resultaterne og til hvad. Heraf afhænger også hvor detaljeret information det er værd at indsamle.

 

Med dette in mente skal der så formuleres spørgsmål om outcomes, en øvelse som det er værd at bruge tid på, og også at involvere harvest users i. Det er godt udtrykkeligt at bruge ordet ”outcome” i spørgsmålene, der ikke kun skal handle om ”hvad?”, men også om ”hvad så?”.

 

Trin 2 – gennemgå dokumenter, formulér outcomes

Næste skridt er for harvesterne at gennemgå tilgængelig dokumentation, f.eks.  program-/projektrapporter, case-studier, policy-dokumenter og hvad der ellers findes. På dette grundlag kan der måske allerede på dette trin identificeres nogle outcomes der kan testes nærmere i de følgende trin, såvel som aktiviteter der har bidraget til dem. I hvert fald kan man sandsynligvis ad denne vej komme på sporet af nogle, som der så kan spørges nærmere ind til senere. Herudover er dette trin også simpelthen en måde for harvesters at blive nærmere bekendt med indsatsen på.

 

De enkelte outcomes skal beskrives koncist, omhyggeligt og SMART (Specific, Measurable, Achieved, Relevant, Timely) med i hvert fald følgende elementer:

 

 

• Hvem er det der har ændret en adfærd?

 

• Hvad er det der er blevet anderledes? Hvor meget?/li>

 

• Hvornår og hvor skete det?

 

• Hvorfor er det vigtigt?

 

• Hvori bestod change agents’ bidrag til ændringen (direkte/indirekte, delvis, tilsigtet/utilsigtet)?

 

 

Husk at det ikke er alle outputs der fører til outcomes, og at vejen dertil ofte ikke er lineær – og i øvrigt tager tid! Og nogle outcomes er negative.

 

 

Trin 3 – involvér change agents

Her handler det for harvesters om at komme i direkte kontakt med change agents for dels at afprøve og forbedre (validere) outcome-formuleringerne fra Trin 2, dels at ”høste” (d.v.s. identificere) yderligere outcomes. Ideelt foregår det i de fleste tilfælde i en eller flere workshops, men hvis dette ikke lader sig gøre, kan personlige interviews og/eller forskellige former for elektronisk kommunikation benyttes (f.eks. GoogleDocs o.l.).

 

Harvesters faciliterer diskussion, revision og validering af allerede høstede outcomes, samt identificering og formulering af nye. De samme formuleringsprincipper som skitseret under Trin 2 gælder naturligvis her.

 

Det er på dette trin at de endelige, ”credible-enough” outcome-formuleringer bliver til, så det er vigtigt at der afsættes tilstrækkelig tid til at arbejde dem ordentligt igennem, én for én, og deltagerne bør være advaret på forhånd om forventeligt tidsforbrug. Processen bør ikke involvere for mange personer; evt. kan der være brug for flere harvesters og en opdeling af gruppen.

 

Og husk så i øvrigt at social forandring både kan være op og ned ad bakke. Selv små ændringer kan repræsentere en betydelig succes, og på den anden side er det ikke alle store ændringer som change agents har bidraget nævneværdigt til. Det bør også indgå i vurderingen.

 

Trin 4 – underbyg

Når outcome-beskrivelserne er pudset af i Trin 3, bør de hver for sig valideres, d.v.s. udsættes for en vurdering af nogen der kender til sammenhængen, men er uafhængig af change agents og ikke selv har været involveret i aktiviteterne. Vurderingen bør ikke blot gælde hvorvidt det der beskrives som outcome faktisk er indtruffet, men også hvor vigtigt det er, og om aktiviteterne med rimelighed kan anses for at have medvirket til resultatet i det beskrevne omfang.

 

Der kan ofte være ganske mange outcomes, så på dette trin skal harvesters bestemme både hvor mange og hvilke outcomes (evt. dele deraf) der skal valideres, og af hvem og hvordan. Praktisk kan valideringen ofte gøres ved hjælp af et spørgeskema, der sendes til udvalgte, velplacerede personer.

 

Trin 5 – analysér og fortolk resultaterne

Hele øvelsens færdige produkt er et antal validerede outcomes. Afhængigt af hvad der fra starten var formålet, kan de høstede og underbyggede outcomes organiseres og analyseres på forskellige måder for at hjælpe med at besvare evalueringsspørgs-målene. F.eks. kan det være relevant at vægte outcomes efter deres vigtighed (”størrelse”), eller at skelne efter på hvilke niveauer i samfundet de viser sig, om de var planlagte eller ej m.m.

 

Hvis antallet af outcomes er stort, kan en form for database vise sig nyttig, hvor de enkelte outcomes kategoriseres på relevante dimensioner og kan trækkes ud i diverse skræddersyede søgninger. Avanceret brug af Excel kan være tilstrækkelig i mange tilfælde, men jo flere outcomes, jo tungere bliver det. Der findes også forskellig specialiseret software der letter visualiserering af sammenhænge inden for og mellem kategorier af outcomes.

 

Trin 6 – støt brug af resultaterne

Det er værd at understrege at Outcome Harvesting ikke i sig selv producerer anbefalinger, men snarere peger på områder som det er værd for de involverede organisationer og personer at diskutere nærmere m.h.p. at nå frem til beslutninger om det videre arbejde. Tilrettelæggelse og facilitering af en sådan diskussion kan betragtes som processens sidste trin.

 

 

Her i landet har i hvert fald ActionAid MS benyttet Outcome Harvesting i en større evaluering af arbejdet med skatteforhold. Endvidere har Ghana Venskab arbejdet med metoden på græsrodsniveau.

 

Hør Helene Bach fra Mellemfolkeligt Samvirke fortælle om hvordan de har benyttet metoden herunder.

 

 

Outcome Harvesting som metode kan udforskes nærmere her:

http://www.betterevaluation.org/en/plan/approach/outcome_harvesting#OH_origin