You are on page 1of 6

​ ​ ​ ​ ​ ​ ​Pomáhej​ ​efektivně

​​ ​​

Metodika​ ​analýzy​ ​dopadu
Hodnocení neziskových organizací se vždy týká konkrétního programu či projektu. U toho potom
hodnotíme čtyři hlavní oblasti: Důkazy o dopadech, Náklady dopadu, Monitorování programu a
Responzivitu. Na základě dostupných dat posuzujeme, jak efektivní je organizace při dosahování
stanovených cílů a jaký má daným programem dopad. Výstupem jsou potom u každé z
analyzovaných oblastí konkrétní pomoc organizaci jak se v této oblasti zlepšit, například jaké
metody měření dopadů používat, jak je správně implementovat, jak data zpracovávat a jaké klíčové
indikátory ve sbíraných datech hledat nebo jak následně tyto poznatky zohledňovat ve svých
aktivitách

Důkazy​ ​o​ ​dopadech
Proč​ ​nás​ ​to​ ​zajímá?
Kvalitní důkazy o dopadech zachycují, jak jistí si můžeme být, že má daná intervence co
největší dopad. Organizace disponující kvalitními důkazy mají prokazatelný dopad. Ty, které mají
méně​ ​kvalitní​ ​nebo​ ​žádné​ ​důkazy​ ​mohou​ ​mít​ ​taky​ ​velký​ ​dopad,​ ​není​ ​ale​ ​možné​ ​ho​ ​prokázat.

Na​ ​co​ ​se​ ​ptáme?
Existují​ ​důkazy​ ​o​ ​tom,​ ​jaký​ ​má​ ​intervence​ ​dopad?
Má​ ​o​ ​tom​ ​organizace​ ​vlastní​ ​důkazy?
Má​ ​důkazy​ ​založené​ ​na​ ​důkazech​ ​podobných​ ​intervencích​ ​jiných​ ​neziskovek?
Jak​ ​stará​ ​jsou​ ​data,​ ​na​ ​jejichž​ ​základě​ ​provádí​ ​intervenci?
Sbírá​ ​data​ ​pravidelně?

Jak​ ​to​ ​hodnotíme?
Důkazy dělíme na interní (buď sesbírané samotnou organizací nebo jinou nezávislou
organizací) a externí (stejný nebo podobný program dělá jiná organizace a je prokázáno, že
funguje). Důležitá je relevantnost dat pro daný projekt, některá zastaralá data mohou být pro
současný​ ​projekt​ ​nevhodná​ ​nebo​ ​nedostačující.

​ ​pomahej-efektivne.cz​ ​ ​ ​ ​ ​ ​ ​ ​ ​ ​ ​ ​ ​ ​ ​ ​ ​ ​ ​ ​ ​ ​ ​info@efektivni-altruismus.cz​ ​ ​ ​ ​ ​ ​ ​ ​ ​ ​ ​ ​ ​ ​ ​ ​ ​ ​ ​ ​efektivni-altruismus.cz

1
​ ​ ​ ​ ​ ​ ​Pomáhej​ ​efektivně

Pokud​ ​důkazy​ ​existují,​ ​jejich​ ​kvalitu​ ​definujeme​ ​následovně:

Kvalita​ ​důkazu Typ​ ​důkazu

Nízká Špatně​ ​vedené​ ​pozorování​ ​nebo​ ​experimentální​ ​analýza

Experimentální​ ​analýza​ ​se​ ​silnými​ ​kontrafaktuály​ ​(možnými​ ​scénáři),
která​ ​ale​ ​může​ ​mít​ ​nedostatky​ ​ovlivňující​ ​výsledek
Střední
Dobře​ ​vedená​ ​pozorování​ ​ukazující​ ​významné​ ​účinky,​ ​ale​ ​bez
silných​ ​kontrafaktuálů
Dobře​ ​vedené​ ​experimentální​ ​analýzy,​ ​které​ ​nemají​ ​nedostatky
Vysoká
ovlivňující​ ​výsledek

Kvalitu​ ​důkazů​ ​o​ ​dopadech​ ​hodnotíme​ ​následovně:

Interní​ ​důkazy
Externí​ ​důkazy Nedostatečné Slabá​ ​kvalita Střední​ ​kvalita Vysoká​ ​kvalita

Žádné

Nízká​ ​platnost

Střední​ ​platnost

Vysoká​ ​platnost

S​ ​čím​ ​pomůžeme?
Zde předpokládáme, že většina námi analyzovaných organizací bude mít nedostatečné či zcela
neexistující data o svých dopadech. Na základě analýzy této oblasti tedy nastavíme organizaci
konkrétní metody měření dopadů. Vedle současného stavu bude tedy pro celkové hodnocení
organizace z pohledu dopadů důležitá pravděpodobnost, že organizace naše návrhy a způsoby
implementace evaluačních systémů opravdu budou aplikovat v praxi a řídit se jejich implikacemi. V
tomto ohledu hraje roli například otevřenost novým přístupům a myšlenkám, ochota měnit svá
předchozí přesvědčení pokud jim sbíraná data budou prokazatelně odporovat, nebo třeba
komunikativnost​ ​organizace.

​ ​pomahej-efektivne.cz​ ​ ​ ​ ​ ​ ​ ​ ​ ​ ​ ​ ​ ​ ​ ​ ​ ​ ​ ​ ​ ​ ​ ​info@efektivni-altruismus.cz​ ​ ​ ​ ​ ​ ​ ​ ​ ​ ​ ​ ​ ​ ​ ​ ​ ​ ​ ​ ​efektivni-altruismus.cz

2
​ ​ ​ ​ ​ ​ ​Pomáhej​ ​efektivně
Náklady​ ​dopadu
Proč​ ​nás​ ​to​ ​zajímá?
Díky odhadu průměrných nákladů má dárce či potenciální dárce představu o tom, čeho
všeho může jeho dar dosáhnout. Analýzy nákladů dopadu závisí vždy i na subjektivních či
nedokonalých datech, protože do nákladů je třeba započítat všechny náklady, ne jen peníze
vynaložené​ ​na​ ​konkrétní​ ​projekt.

Na​ ​co​ ​se​ ​ptáme?
Pokoušela​ ​se​ ​organizace​ ​vyčíslit​ ​průměrné​ ​náklady​ ​na​ ​jednoho​ ​příjemce/výstup​ ​projektu?
Jak​ ​velké​ ​jsou​ ​tyto​ ​náklady?
Jaké​ ​jsou​ ​průměrné​ ​náklady​ ​na​ ​projekt?
Jsou​ ​do​ ​výpočtu​ ​průměrných​ ​nákladů​ ​zahrnuty​ ​i​ ​nefinanční​ ​náklady?
Jaké​ ​jsou​ ​průměrné​ ​přínosy​ ​na​ ​příjemce?

Jak​ ​to​ ​hodnotíme?
Počítáme odhadovaný průměrný dopad na příjemce a průměrné náklady na příjemce,
přičemž tyto údaje představují nejlepší možné odhady založené na interní či externí dokumentaci.
Nejrelevantnější jsou v tomto studie vedené samotnou organizací. Pokud taková studie neexistuje,
používáme studie vedené jinými organizacemi při podobných intervencích. Pokud neexistují žádné
takové​ ​studie,​ ​konstruujeme​ ​vlastní​ ​model,​ ​nebo​ ​zprávu​ ​nevypracováváme.

Do výpočtu průměrných nákladů započítáváme všechna relevantní data. Do toho spadají náklady
všech zainteresovaných subjektů, náklady na fundraising, náklady na řízení projektu apod.
Průměrné náklady jsou v tomto lepší ukazatel než mezní, protože zachycují celkově zdroje potřebné
na jednotku výstupu, nikoliv jen obnos peněz přiřazený konkrétnímu projektu. Díky tomu jsou
průměrné náklady také lepší při porovnávání organizací z hlediska nákladové efektivity. V této fázi
hodnocení​ ​informujeme​ ​také​ ​o​ ​možných​ ​externalitách​ ​a​ ​faktorech,​ ​které​ ​projekt​ ​mohou​ ​ovlivnit.

S​ ​čím​ ​pomůžeme?
V oblasti měření nákladů pomůžeme organizaci s tím, jaké náklady započítat do výpočtu
průměrných nákladů na výstup a jaké faktory zohlednit. Dále poradíme, jaká data zaznamenávat,
aby bylo náklady možné vypočítat a dlouhodobě nákladovou efektivitu měřit. Díky tomu organizace
může dlouhodobě pozorovat progres a celkově změny v této oblasti. Na základě studií podobných
intervencí​ ​ukážeme,​ ​jak​ ​je​ ​možné​ ​danou​ ​činnost​ ​zefektivnit.

​ ​pomahej-efektivne.cz​ ​ ​ ​ ​ ​ ​ ​ ​ ​ ​ ​ ​ ​ ​ ​ ​ ​ ​ ​ ​ ​ ​ ​info@efektivni-altruismus.cz​ ​ ​ ​ ​ ​ ​ ​ ​ ​ ​ ​ ​ ​ ​ ​ ​ ​ ​ ​ ​efektivni-altruismus.cz

3
​ ​ ​ ​ ​ ​ ​Pomáhej​ ​efektivně

Monitorování​ ​programu
Proč​ ​nás​ ​to​ ​zajímá?
Neziskové organizace, které smysluplně a pravidelně monitorují své programy, mohou
důvěryhodně prokázat, že jejich projekty dosahují požadovaným způsobem k požadovanému počtu
příjemců, a také, že zaměstnanci organizace disponují daty a mají definované procesy pro zjištění
problémů v implementaci a podnikají kroky k řešení těchto problémů. I monitorování může mít
různou kvalitu, která ukazuje, jak dobře organizace manipulují s daty za účelem konzistentně
kvalitního​ ​vedení​ ​projektu.

Na​ ​co​ ​se​ ​ptáme?
Monitoruje​ ​organizace​ ​průběh​ ​projektu?
Monitoruje​ ​všechny​ ​relevantní​ ​oblasti​ ​projektu?
Jsou​ ​získaná​ ​data​ ​věrohodná,​ ​použitelná,​ ​spolehlivá​ ​a​ ​přenositelná?

Jak​ ​to​ ​hodnotíme?
Proces​ ​projektu​ ​dělíme​ ​do​ ​pěti​ ​oblastí,​ ​u​ ​kterých​ ​následně​ ​hodnotíme​ ​kvalitu​ ​monitorování.

Těmito​ ​oblastmi​ ​jsou:
● Aktivity sledování​ ​aktivit​ ​a​ ​výstupů​ ​projektu
● Cílení identifikace​ ​zamýšlených​ ​příjemců​ ​projektu
● Zapojení sledování​ ​účastníků​ ​projektu,​ ​zda​ ​je​ ​dosahováno​ ​požadovaných​ ​výstupů
● Zpětná​ ​vazba pochopení,​ ​jak​ ​účastníci​ ​vnímají​ ​projekt
● Výstupy měření​ ​změn​ ​u​ ​příjemců

U​ ​každé​ ​oblasti​ ​potom​ ​hodnotíme​ ​věrohodnost,​ ​použitelnost,​ ​spolehlivost​ ​a​ ​přenositelnost.

Věrohodnost: Aby byla data věrohodná, musí zachycovat podstatu toho, co chce organizace měřit.
Stejně​ ​tak​ ​musí​ ​být​ ​nezaujatá,​ ​tedy​ ​nesmí​ ​v​ ​nich​ ​být​ ​žádné​ ​systematické​ ​chyby.

Použitelnost: Aby byla data použitelná, musí se organizace zavázat, že je bude používat a na
jejich základě organizovat svoje další aktivity. Je třeba, aby data sloužily jako relevantní podklady
pro další rozhodování, aby bylo možné si na jejich základě vytvořit představu o potenciálních
rizikách​ ​a​ ​možných​ ​následcích,​ ​a​ ​aby​ ​zaměstnanci​ ​na​ ​data​ ​systematicky​ ​reagovali.

​ ​pomahej-efektivne.cz​ ​ ​ ​ ​ ​ ​ ​ ​ ​ ​ ​ ​ ​ ​ ​ ​ ​ ​ ​ ​ ​ ​ ​info@efektivni-altruismus.cz​ ​ ​ ​ ​ ​ ​ ​ ​ ​ ​ ​ ​ ​ ​ ​ ​ ​ ​ ​ ​efektivni-altruismus.cz

4
​ ​ ​ ​ ​ ​ ​Pomáhej​ ​efektivně

Spolehlivost: Spolehlivé je monitorování tehdy, pokud organizace minimalizuje zneužití získaných
dat a minimalizuje náklady při jejich sběru. To v praxi znamená, že nezatěžuje monitorováním příliš
mnoho příjemců, vhodným způsobem vybírá reprezentativní vzorek a neplýtvá na monitorování
zbytečně​ ​mnoho​ ​zdrojů.

Přenositelnost: Monitorování je přenositelné, pokud organizace vhodně sdílí získaná data a
publikuje​ ​je​ ​veřejně,​ ​a​ ​také​ ​pokud​ ​sdílí​ ​požadované​ ​informace​ ​během​ ​analýzy​ ​dopadů.

Tato kritéria dále hodnotíme jako "Ano", "Ne" nebo "Neprůkazná". Organizace může celkově získat
dvacet "Ano" - pět oblastí monitorování násobeno čtyřmi kritérii. Body potom přidělujeme
následovně:

Hodnocení​ ​"Ano"​ ​v​ ​méně​ ​než​ ​25​ ​%​ ​případů

Hodnocení​ ​"Ano"​ ​v​ ​25​ ​%​ ​-​ ​49​ ​%​ ​případů

Hodnocení​ ​"Ano"​ ​v​ ​50​ ​%​ ​-​ ​74​ ​%​ ​případů

Hodnocení​ ​"Ano"​ ​v​ ​75​ ​%​ ​-​ ​100​ ​%​ ​případů
​​

S​ ​čím​ ​pomůžeme?
Společně nadefinujeme oblasti, které je třeba v rámci projektu monitorovat. Pomůžeme s tím,
jakým způsobem data získávat, aby splňovala potřebná kritéria a monitorování bylo užitečné.
Poradíme,​ ​jak​ ​sestavit​ ​kontrolní​ ​skupinu​ ​pro​ ​sběr​ ​dat​ ​při​ ​monitorování​ ​změn​ ​ve​ ​výstupech.

Responzivita
Proč​ ​nás​ ​to​ ​zajímá?
Responzivita zachycuje, jak se organizace učí o vlastní modelech a zda a na základě čeho
dělá rozhodnutí, aby tyto modely měnila. Oceňujeme, pokud organizace používá kvalitní data, aby
zjistila, ve kterých oblastech se lze zlepšit a pak na základě těchto dat svůj model periodicky a
systematicky opakuje. U takových organizací je pravděpodobnější, že udržují či dokonce zvětšují
dopad​ ​svých​ ​projektů​ ​a​ ​jsou​ ​schopny​ ​lépe​ ​reagovat​ ​na​ ​změny​ ​v​ ​neziskovém​ ​sektoru.

​ ​pomahej-efektivne.cz​ ​ ​ ​ ​ ​ ​ ​ ​ ​ ​ ​ ​ ​ ​ ​ ​ ​ ​ ​ ​ ​ ​ ​info@efektivni-altruismus.cz​ ​ ​ ​ ​ ​ ​ ​ ​ ​ ​ ​ ​ ​ ​ ​ ​ ​ ​ ​ ​efektivni-altruismus.cz

5
​ ​ ​ ​ ​ ​ ​Pomáhej​ ​efektivně

Na​ ​co​ ​se​ ​ptáme?
Používá​ ​organizace​ ​získaná​ ​data​ ​k dalšímu​ ​vývoji?
Mění​ ​organizace​ ​vhodně​ ​svůj​ ​model​ ​na​ ​základě​ ​dat​ ​získaných​ ​z​ ​monitorování?

Jak​ ​hodnotíme?
Hodnotíme, jak dobře organizace používá data pro to, aby zjistila, které intervence fungují a
které​ ​naopak​ ​ne,​ ​a​ ​pak​ ​vhodně​ ​opakovala​ ​model​ ​projektu,​ ​na​ ​základě​ ​následujících​ ​kritérií:

Nezisková​ ​organizace​ ​neopakuje​ ​svůj​ ​model,​ ​nebo​ ​ho​ ​opakuje​ ​náhodně

Nezisková​ ​organizace​ ​opakuje​ ​svůj​ ​model​ ​na​ ​základě​ ​dat​ ​s​ ​nízkou​ ​kvalitou

Nezisková​ ​organizace​ ​opakuje​ ​svůj​ ​model​ ​na​ ​základě​ ​dat​ ​se​ ​střední​ ​kvalitou

Nezisková​ ​organizace​ ​opakuje​ ​svůj​ ​model​ ​na​ ​základě​ ​dat​ ​s​ ​vysokou​ ​kvalitou​ ​a
proces​ ​pro​ ​zavedení​ ​opakování​ ​je​ ​periodický​ ​a​ ​systematický

S​ ​čím​ ​pomůžeme?
Vysvětlíme,​ ​jak​ ​interpretovat​ ​data​ ​získaná​ ​při​ ​monitorování​ ​a​ ​jak​ ​z​ ​nich​ ​získat​ ​co​ ​největší
informační​ ​hodnotu.​ ​Dále​ ​poradíme,​ ​jak​ ​lze​ ​na​ ​základě​ ​těchto​ ​poznatků​ ​vhodně​ ​měnit​ ​projekty​ ​tak,
aby​ ​měly​ ​co​ ​největší​ ​dopad.

​ ​pomahej-efektivne.cz​ ​ ​ ​ ​ ​ ​ ​ ​ ​ ​ ​ ​ ​ ​ ​ ​ ​ ​ ​ ​ ​ ​ ​info@efektivni-altruismus.cz​ ​ ​ ​ ​ ​ ​ ​ ​ ​ ​ ​ ​ ​ ​ ​ ​ ​ ​ ​ ​efektivni-altruismus.cz

6