You are on page 1of 6

​ ​​ ​​ ​​ ​​ ​​ ​Pomáhej​ ​efektivně

​​ ​​ ​​ ​​ ​ Pomáhej ​ ​ efektivně Metodika ​ ​ analýzy ​ ​ dopadu

Metodika​ ​analýzy​ ​dopadu

Hodnocení neziskových organizací se vždy týká konkrétního programu či projektu. U toho potom hodnotíme čtyři hlavní oblasti: Důkazy o dopadech, Náklady dopadu, Monitorování programu a Responzivitu. Na základě dostupných dat posuzujeme, jak efektivní je organizace při dosahování stanovených cílů a jaký má daným programem dopad. Výstupem jsou potom u každé z analyzovaných oblastí konkrétní pomoc organizaci jak se v této oblasti zlepšit, například jaké metody měření dopadů používat, jak je správně implementovat, jak data zpracovávat a jaké klíčové indikátory ve sbíraných datech hledat nebo jak následně tyto poznatky zohledňovat ve svých aktivitách

Důkazy​​o​​dopadech

Proč​​nás​​to​​zajímá? Kvalitní důkazy o dopadech zachycují, jak jistí si můžeme být, že má daná intervence co největší dopad. Organizace disponující kvalitními důkazy mají prokazatelný dopad. Ty, které mají méně​​kvalitní​​nebo​​žádné​​důkazy​​mohou​​mít​​taky​​velký​​dopad,​​není​​ale​​možné​​ho​​prokázat.

Na​​co​​se​​ptáme?

Existují​​důkazy​​o​​tom,​​jaký​​​​intervence​​dopad?

​​o​​tom​​organizace​​vlastní​​důkazy?

​​důkazy​​založené​​na​​důkazech​​podobných​​intervencích​​jiných​​neziskovek?

Jak​​stará​​jsou​​data,​​na​​jejichž​​základě​​provádí​​intervenci?

Sbírá​​data​​pravidelně?

Jak​​to​​hodnotíme? Důkazy dělíme na interní (buď sesbírané samotnou organizací nebo jinou nezávislou organizací) a externí (stejný nebo podobný program dělá jiná organizace a je prokázáno, že funguje). Důležitá je relevantnost dat pro daný projekt, některá zastaralá data mohou být pro současný​​projekt​​nevhodná​​nebo​​nedostačující.

​ ​​ ​​ ​​ ​​ ​​ ​Pomáhej​ ​efektivně

​​ ​​ ​​ ​​ ​ Pomáhej ​ ​ efektivně Pokud ​​ důkazy ​​ existují, ​​ jejich

Pokud​​důkazy​​existují,​​jejich​​kvalitu​​definujeme​​následovně:

Kvalita​​důkazu

Typ​​důkazu

Nízká

Špatně​​vedené​​pozorování​​nebo​​experimentální​​analýza

 

Experimentální​​analýza​​se​​silnými​​kontrafaktuály​​(možnými​​scénáři),

Střední

která​​ale​​může​​mít​​nedostatky​​ovlivňující​​výsledek

Dobře​​vedená​​pozorování​​ukazující​​významné​​účinky,​​ale​​bez

 

silných​​kontrafaktuálů

Vysoká

Dobře​​vedené​​experimentální​​analýzy,​​které​​nemají​​nedostatky

ovlivňující​​výsledek

Kvalitu​​důkazů​​o​​dopadech​​hodnotíme​​následovně:

   

Interní​​důkazy

 

Externí​​důkazy

Nedostatečné

Slabá​​kvalita

Střední​​kvalita

Vysoká​​kvalita

Žádné

Žádné
Žádné
Žádné
Žádné
Žádné
Žádné
Žádné
Žádné
Žádné
Žádné
Žádné
Žádné

Nízká​​platnost

Nízká ​​ platnost
Nízká ​​ platnost
Nízká ​​ platnost
Nízká ​​ platnost
Nízká ​​ platnost
Nízká ​​ platnost
Nízká ​​ platnost
Nízká ​​ platnost
Nízká ​​ platnost
Nízká ​​ platnost
Nízká ​​ platnost
Nízká ​​ platnost

Střední​​platnost

Střední ​​ platnost
Střední ​​ platnost
Střední ​​ platnost
Střední ​​ platnost
Střední ​​ platnost
Střední ​​ platnost
Střední ​​ platnost
Střední ​​ platnost
Střední ​​ platnost
Střední ​​ platnost
Střední ​​ platnost
Střední ​​ platnost

Vysoká​​platnost

Vysoká ​​ platnost
Vysoká ​​ platnost
Vysoká ​​ platnost
Vysoká ​​ platnost
Vysoká ​​ platnost
Vysoká ​​ platnost
Vysoká ​​ platnost
Vysoká ​​ platnost
Vysoká ​​ platnost
Vysoká ​​ platnost
Vysoká ​​ platnost
Vysoká ​​ platnost

S​​čím​​pomůžeme?

Zde předpokládáme, že většina námi analyzovaných organizací bude mít nedostatečné či zcela

neexistující data o svých dopadech. Na základě analýzy této oblasti tedy nastavíme organizaci

konkrétní metody měření dopadů. Vedle současného stavu bude tedy pro celkové hodnocení

organizace z pohledu dopadů důležitá pravděpodobnost, že organizace naše návrhy a způsoby

implementace evaluačních systémů opravdu budou aplikovat v praxi a řídit se jejich implikacemi. V

tomto ohledu hraje roli například otevřenost novým přístupům a myšlenkám, ochota měnit svá

předchozí přesvědčení pokud jim sbíraná data budou prokazatelně odporovat, nebo třeba

komunikativnost​​organizace.

​ ​​ ​​ ​​ ​​ ​​ ​Pomáhej​ ​efektivně

​​ ​​ ​​ ​​ ​ Pomáhej ​ ​ efektivně Náklady ​​ dopadu Proč ​​ nás ​​

Náklady​​dopadu

Proč​​nás​​to​​zajímá? Díky odhadu průměrných nákladů má dárce či potenciální dárce představu o tom, čeho všeho může jeho dar dosáhnout. Analýzy nákladů dopadu závisí vždy i na subjektivních či nedokonalých datech, protože do nákladů je třeba započítat všechny náklady, ne jen peníze vynaložené​​na​​konkrétní​​projekt.

Na​​co​​se​​ptáme?

Pokoušela​​se​​organizace​​vyčíslit​​průměrné​​náklady​​na​​jednoho​​příjemce/výstup​​projektu?

Jak​​velké​​jsou​​tyto​​náklady?

Jaké​​jsou​​průměrné​​náklady​​na​​projekt?

Jsou​​do​​výpočtu​​průměrných​​nákladů​​zahrnuty​​i​​nefinanční​​náklady?

Jaké​​jsou​​průměrné​​přínosy​​na​​příjemce?

Jak​​to​​hodnotíme? Počítáme odhadovaný průměrný dopad na příjemce a průměrné náklady na příjemce, přičemž tyto údaje představují nejlepší možné odhady založené na interní či externí dokumentaci. Nejrelevantnější jsou v tomto studie vedené samotnou organizací. Pokud taková studie neexistuje, používáme studie vedené jinými organizacemi při podobných intervencích. Pokud neexistují žádné takové​​studie,​​konstruujeme​​vlastní​​model,​​nebo​​zprávu​​nevypracováváme.

Do výpočtu průměrných nákladů započítáváme všechna relevantní data. Do toho spadají náklady všech zainteresovaných subjektů, náklady na fundraising, náklady na řízení projektu apod. Průměrné náklady jsou v tomto lepší ukazatel než mezní, protože zachycují celkově zdroje potřebné na jednotku výstupu, nikoliv jen obnos peněz přiřazený konkrétnímu projektu. Díky tomu jsou průměrné náklady také lepší při porovnávání organizací z hlediska nákladové efektivity. V této fázi hodnocení​​informujeme​​také​​o​​možných​​externalitách​​a​​faktorech,​​které​​projekt​​mohou​​ovlivnit.

S​​čím​​pomůžeme? V oblasti měření nákladů pomůžeme organizaci s tím, jaké náklady započítat do výpočtu průměrných nákladů na výstup a jaké faktory zohlednit. Dále poradíme, jaká data zaznamenávat, aby bylo náklady možné vypočítat a dlouhodobě nákladovou efektivitu měřit. Díky tomu organizace může dlouhodobě pozorovat progres a celkově změny v této oblasti. Na základě studií podobných intervencí​​ukážeme,​​jak​​je​​možné​​danou​​činnost​​zefektivnit.

​ ​​ ​​ ​​ ​​ ​​ ​Pomáhej​ ​efektivně

​​ ​​ ​​ ​​ ​ Pomáhej ​ ​ efektivně Monitorování ​​ programu Proč ​​ nás ​​

Monitorování​​programu

Proč​​nás​​to​​zajímá? Neziskové organizace, které smysluplně a pravidelně monitorují své programy, mohou důvěryhodně prokázat, že jejich projekty dosahují požadovaným způsobem k požadovanému počtu příjemců, a také, že zaměstnanci organizace disponují daty a mají definované procesy pro zjištění problémů v implementaci a podnikají kroky k řešení těchto problémů. I monitorování může mít různou kvalitu, která ukazuje, jak dobře organizace manipulují s daty za účelem konzistentně kvalitního​​vedení​​projektu.

Na​​co​​se​​ptáme?

Monitoruje​​organizace​​průběh​​projektu?

Monitoruje​​všechny​​relevantní​​oblasti​​projektu?

Jsou​​získaná​​data​​věrohodná,​​použitelná,​​spolehlivá​​a​​přenositelná?

Jak​​to​​hodnotíme?

Proces​​projektu​​dělíme​​do​​pěti​​oblastí,​​u​​kterých​​následně​​hodnotíme​​kvalitu​​monitorování.

Těmito​​oblastmi​​jsou:

● Aktivity

● Cílení

● Zapojení

● Zpětná​​vazba pochopení,​​jak​​účastníci​​vnímají​​projekt

● Výstupy

sledování​​aktivit​​a​​výstupů​​projektu

identifikace​​zamýšlených​​příjemců​​projektu

sledování​​účastníků​​projektu,​​zda​​je​​dosahováno​​požadovaných​​výstupů

měření​​změn​​u​​příjemců

U​​každé​​oblasti​​potom​​hodnotíme​​věrohodnost,​​použitelnost,​​spolehlivost​​a​​přenositelnost.

Věrohodnost: Aby byla data věrohodná, musí zachycovat podstatu toho, co chce organizace měřit. Stejně​​tak​​musí​​být​​nezaujatá,​​tedy​​nesmí​​v​​nich​​být​​žádné​​systematické​​chyby.

Použitelnost: Aby byla data použitelná, musí se organizace zavázat, že je bude používat a na jejich základě organizovat svoje další aktivity. Je třeba, aby data sloužily jako relevantní podklady pro další rozhodování, aby bylo možné si na jejich základě vytvořit představu o potenciálních rizikách​​a​​možných​​následcích,​​a​​aby​​zaměstnanci​​na​​data​​systematicky​​reagovali.

​ ​​ ​​ ​​ ​​ ​​ ​Pomáhej​ ​efektivně

​​ ​​ ​​ ​​ ​ Pomáhej ​ ​ efektivně Spolehlivost: Spolehlivé je monitorování tehdy, pokud

Spolehlivost: Spolehlivé je monitorování tehdy, pokud organizace minimalizuje zneužití získaných dat a minimalizuje náklady při jejich sběru. To v praxi znamená, že nezatěžuje monitorováním příliš mnoho příjemců, vhodným způsobem vybírá reprezentativní vzorek a neplýtvá na monitorování zbytečně​​mnoho​​zdrojů.

Přenositelnost: Monitorování je přenositelné, pokud organizace vhodně sdílí získaná data a publikuje​​je​​veřejně,​​a​​také​​pokud​​sdílí​​požadované​​informace​​během​​analýzy​​dopadů.

Tato kritéria dále hodnotíme jako "Ano", "Ne" nebo "Neprůkazná". Organizace může celkově získat dvacet "Ano" - pět oblastí monitorování násobeno čtyřmi kritérii. Body potom přidělujeme následovně:

Hodnocení​​"Ano"​​v​​méně​​než​​25​​%​​případů

Hodnocení ​​ "Ano" ​​ v ​​ méně ​​ než ​​ 25 ​​ % ​​ případů
Hodnocení ​​ "Ano" ​​ v ​​ méně ​​ než ​​ 25 ​​ % ​​ případů
Hodnocení ​​ "Ano" ​​ v ​​ méně ​​ než ​​ 25 ​​ % ​​ případů

Hodnocení​​"Ano"​​v​​25​​%​​-​​49​​%​​případů

Hodnocení ​​ "Ano" ​​ v ​​ 25 ​​ % ​​ - ​​ 49 ​​ % ​​
Hodnocení ​​ "Ano" ​​ v ​​ 25 ​​ % ​​ - ​​ 49 ​​ % ​​
Hodnocení ​​ "Ano" ​​ v ​​ 25 ​​ % ​​ - ​​ 49 ​​ % ​​

Hodnocení​​"Ano"​​v​​50​​%​​-​​74​​%​​případů

Hodnocení ​​ "Ano" ​​ v ​​ 50 ​​ % ​​ - ​​ 74 ​​ % ​​
Hodnocení ​​ "Ano" ​​ v ​​ 50 ​​ % ​​ - ​​ 74 ​​ % ​​
Hodnocení ​​ "Ano" ​​ v ​​ 50 ​​ % ​​ - ​​ 74 ​​ % ​​

Hodnocení​​"Ano"​​v​​75​​%​​-​​100​​%​​případů

Hodnocení ​​ "Ano" ​​ v ​​ 75 ​​ % ​​ - ​​ 100 ​​ % ​​
Hodnocení ​​ "Ano" ​​ v ​​ 75 ​​ % ​​ - ​​ 100 ​​ % ​​
Hodnocení ​​ "Ano" ​​ v ​​ 75 ​​ % ​​ - ​​ 100 ​​ % ​​

S​​čím​​pomůžeme? Společně nadefinujeme oblasti, které je třeba v rámci projektu monitorovat. Pomůžeme s tím, jakým způsobem data získávat, aby splňovala potřebná kritéria a monitorování bylo užitečné. Poradíme,​​jak​​sestavit​​kontrolní​​skupinu​​pro​​sběr​​dat​​při​​monitorování​​změn​​ve​​výstupech.

Responzivita

Proč​​nás​​to​​zajímá? Responzivita zachycuje, jak se organizace učí o vlastní modelech a zda a na základě čeho dělá rozhodnutí, aby tyto modely měnila. Oceňujeme, pokud organizace používá kvalitní data, aby zjistila, ve kterých oblastech se lze zlepšit a pak na základě těchto dat svůj model periodicky a systematicky opakuje. U takových organizací je pravděpodobnější, že udržují či dokonce zvětšují dopad​​svých​​projektů​​a​​jsou​​schopny​​lépe​​reagovat​​na​​změny​​v​​neziskovém​​sektoru.

Na​​co​​se​​ptáme?

​ ​​ ​​ ​​ ​​ ​​ ​Pomáhej​ ​efektivně

​​ ​​ ​​ ​​ ​ Pomáhej ​ ​ efektivně Používá ​​ organizace ​​ získaná ​​ data

Používá​​organizace​​získaná​​data​​k dalšímu​​vývoji?

Mění​​organizace​​vhodně​​svůj​​model​​na​​základě​​dat​​získaných​​z​​monitorování?

Jak​​hodnotíme?

Hodnotíme, jak dobře organizace používá data pro to, aby zjistila, které intervence fungují a

které​​naopak​​ne,​​a​​pak​​vhodně​​opakovala​​model​​projektu,​​na​​základě​​následujících​​kritérií:

Nezisková​​organizace​​neopakuje​​svůj​​model,​​nebo​​ho​​opakuje​​náhodně

​​ organizace ​​ neopakuje ​​ svůj ​​ model, ​​ nebo ​​ ho ​​ opakuje ​​ náhodně
​​ organizace ​​ neopakuje ​​ svůj ​​ model, ​​ nebo ​​ ho ​​ opakuje ​​ náhodně
​​ organizace ​​ neopakuje ​​ svůj ​​ model, ​​ nebo ​​ ho ​​ opakuje ​​ náhodně

Nezisková​​organizace​​opakuje​​svůj​​model​​na​​základě​​dat​​s​​nízkou​​kvalitou

​​ opakuje ​​ svůj ​​ model ​​ na ​​ základě ​​ dat ​​ s ​​ nízkou
​​ opakuje ​​ svůj ​​ model ​​ na ​​ základě ​​ dat ​​ s ​​ nízkou
​​ opakuje ​​ svůj ​​ model ​​ na ​​ základě ​​ dat ​​ s ​​ nízkou

Nezisková​​organizace​​opakuje​​svůj​​model​​na​​základě​​dat​​se​​střední​​kvalitou

​​ opakuje ​​ svůj ​​ model ​​ na ​​ základě ​​ dat ​​ se ​​ střední
​​ opakuje ​​ svůj ​​ model ​​ na ​​ základě ​​ dat ​​ se ​​ střední
​​ opakuje ​​ svůj ​​ model ​​ na ​​ základě ​​ dat ​​ se ​​ střední

Nezisková​​organizace​​opakuje​​svůj​​model​​na​​základě​​dat​​s​​vysokou​​kvalitou​​a

 

proces​​pro​​zavedení​​opakování​​je​​periodický​​a​​systematický

proces ​​ pro ​​ zavedení ​​ opakování ​​ je ​​ periodický ​​ a ​​ systematický
proces ​​ pro ​​ zavedení ​​ opakování ​​ je ​​ periodický ​​ a ​​ systematický
proces ​​ pro ​​ zavedení ​​ opakování ​​ je ​​ periodický ​​ a ​​ systematický

S​​čím​​pomůžeme?

Vysvětlíme,​​jak​​interpretovat​​data​​získaná​​při​​monitorování​​a​​jak​​z​​nich​​získat​​co​​největší

informační​​hodnotu.​​Dále​​poradíme,​​jak​​lze​​na​​základě​​těchto​​poznatků​​vhodně​​měnit​​projekty​​tak,

aby​​měly​​co​​největší​​dopad.