Professional Documents
Culture Documents
CHƯƠNG TRÌNH/DỰ ÁN
TỔNG QUAN
Năm 0 Năm t
2
Chương trình/Dự án có thể bao gồm những hoạt động sau
Những can thiệp trực tiếp (Direct service interventions)
Ví dụ: vitamin A, muối I-ốt, sữa học đường
Những cuộc vận động về ý thức trong cộng đồng (Community
mobilization efforts)
Sáng kiến nghiên cứu (Research initiatives)
Tác động vào chính sách (Advocacy work)
Ví dụ: Chính sách về lao động và tiền lương, Các chương trình
khuyến mãi của doanh nghiệp.
Các khóa đào tạo/tập huấn (Training programs)
Chính sách sản xuất – kinh doanh của doanh nghiệp.
…
3
Tác động của dịch bệnh
4
Đánh giá tác động (Impact evaluation): là hoạt động
nghiên cứu nhằm xác định những thay đổi trong phúc lợi
của đối tượng thụ hưởng có thực sự do chương trình/dự án
mang lại hay không.
5
Vì sao cần phải đánh giá tác động?
Kiến thức
Yếu tố kinh tế
Hỗ trợ việc ra quyết định về phân bổ nguồn lực, chuyển nguồn lực từ
dự án kém hiệu quả sang dự án hiệu quả hơn tăng phúc lợi xã hội.
Yếu tố xã hội
6
Tổng quan các bước trong đánh giá tác động
Bước 1: Chọn phương pháp, cách tiếp cận. Xác định chỉ
tiêu/biến dùng để đánh giá tác động, đối tượng và số lượng
quan sát trong mẫu nghiên cứu (trọng tâm của môn học).
Thảo luận và lựa chọn dựa trên khả năng về nguồn lực có
thể huy động
Bước 2: Xây dựng kế hoạch (nguồn lực)
Bước 3: Thực thi kế hoạch
Bước 4: Viết báo cáo
Chú ý:
Các bước trên có thể được thực hiện trước hoặc sau khi dự
án đã được triển khai (trừ Bước 4).
7
Các nhóm phương pháp, tiếp cận trong
đánh giá/đo lường tác động?
8
Nguyên lý so sánh trong đánh giá tác động
Trước dự án Sau dự án
Before-After
With-Without
9
Nguyên lý đánh giá tác động
Trước dự án Sau dự án
Before-After
With-Without
10
Làm thế nào để đo lường tác động?
11
Khó khăn chủ yếu trong đánh giá tác động
Sự khác biệt về không gian địa lý, văn hóa, xã hội.
Sự khác biệt về đặc điểm con người giữa nhóm tham gia dự
12
ĐÁNH GIÁ TÁC ĐỘNG
CHƯƠNG TRÌNH/DỰ ÁN
Phương pháp Ngẫu nhiên
Randomization
Lương Vinh Quốc Duy
Cách tiến hành phương pháp Ngẫu nhiên
Chọn mẫu ngẫu nhiên có thể tiến hành theo các cách
khác nhau:
Ngẫu nhiên đơn giản (Simple randomization)
Yi = + Ti + ɛi
Ghi chú: vế phải của phương trình có thể thêm vào các biến độc
lập khác trên cơ sở dựa vào những lý thuyết/nghiên cứu có liên
quan
28
29
Chọn mẫu theo xác suất
Tổng thể (N)
Mẫu (n)
Mẫu (n1)
Mẫu (n2)
Mẫu (n3)
31
Ý nghĩa của việc lựa chọn ngẫu nhiên
mẫu này cũng sẽ giống với kết quả đánh giá dựa trên
nhóm mẫu khác.
Internal Validity: Kết quả tác động là kết quả thực,
Khi tập hợp những đối tượng đủ điều kiện tham gia dự
án > số lượng cần thiết/khả năng đáp ứng của dự án.
Khi dự án dự kiến sẽ được thực hiện lần lượt đối với
tất cả các đối tượng đủ điều kiện tham gia.
Ví dụ: có 1000 người đủ điều kiện tham gia dự án hỗ trợ
bảo hiểm y tế. Do giới hạn ngân sách nên dự án chia
thành 5 đợt, mỗi đợt hỗ trợ 200 người.
Hạn chế của phương pháp Ngẫu nhiên
36
Một phương án thay thế
37
Cách tiến hành đánh giá tác động
Hồi quy OLS
Yi = + Ti + Xi + ɛi
X: Những biến độc lập có ảnh hưởng đến Y được thu thập từ cả
2 nhóm. Việc xác định các biến X cần dựa trên kinh nghiệm,
những nghiên cứu có liên quan.
38
Cách tiến hành đánh giá tác động
39
Vấn đề phát sinh trong mô hình
Kết quả tính toán từ R có trình bày các thông số liên quan
đến kiểm định về tính phù hợp của biến công cụ. Nổi tiếng
nhất là kiểm định Wu-Hausman.
Nếu kết quả p-value của kiểm định Wu-Hausman là bác bỏ
Ho có hiện tượng nội sinh trong mô hình gốc việc
chọn biến công cụ là phù hợp.
Nếu kết quả p-value của kiểm định Wu-Hausman là chấp
nhận Ho không có hiện tượng nội sinh trong mô hình
gốc việc chọn biến công cụ là không phù hợp.
43
Kiểm định tính phù hợp của biến công cụ (Z)
Kiểm định Sargan sử dụng khi bài nghiên cứu sử dụng nhiều
hơn 1 biến công cụ.
Nếu kết quả p-value của kiểm định Sargan là bác bỏ Ho
các biến công cụ được chọn là không phù hợp.
Nếu kết quả p-value của kiểm định Wu-Hausman là chấp
nhận Ho các biến công cụ được chọn là phù hợp.
44
Thủ thuật trong R
Cài đặt:
library("ivreg")
45
Thủ thuật trong R
modelling <- ivreg(Y ~ Xs | T | Zs, data = tên tập tin chứa dữ
liệu)
summary(modelling)
Ghi chú:
modelling thuần túy là tên và có thể đặt tên theo tùy ý người sử
dụng (miễn không trùng với những tên của function khác, ký tự
bị hạn chế).
Y , Xs , và Zs là các biến sử dụng trong mô hình. Nếu chỉ sử
dụng 1 biến công cụ thì chỉ ghi 1 biến Z. Nếu sử dụng 2 biến
công cụ trở lên, thêm dấu cộng (+) và biến Z2 , và tương tự như
46thế khi có thêm biến công cụ
Thủ thuật trong R
Ghi chú:
Số lượng biến X và biến công cụ Z được xác định trên cơ sở
những nghiên cứu trước, những nghiên cứu có liên quan.
47
Ví dụ: Đánh giá tác động của dự án tín dụng vi mô (tín dụng
cho người có thu nhập thấp). Có nghiên cứu cho rằng đôi khi
các hộ ở gần tổ chức tín dụng hơn có thể có động lực tham gia
dự án nhiều hơn. Nhận diện các thông số:
Y: Tổng chi tiêu bình quân/người của hộ
T: biến phân nhóm: credit_m (tín dụng vi mô dành cho
nam), credit_f (tín dụng vi mô dành cho nữ)
X: tuổi chủ hộ, giới tính chủ hộ, số năm đi học của chủ hộ,
số người trong hộ
Z (biến công cụ): việc di chuyển từ nhà đến cơ sở tín dụng
gần nhất có thuận tiện hay không.
48
Hạn chế của phương pháp Biến công cụ
Việc xác định biến công cụ phù hợp không phải lúc nào
cũng dễ dàng.
Kiến thức kinh tế lượng.
49
ĐÁNH GIÁ TÁC ĐỘNG
CHƯƠNG TRÌNH/DỰ ÁN
Phương pháp So sánh điểm
xu hướng
Propensity Score Matching
Lương Vinh Quốc Duy
Vai trò của phương pháp So sánh điểm xu hướng (PSM)
Giả sử dự án dự án hỗ trợ bảo hiểm y tế không xây dựng cơ sở dữ
liệu cho nhóm tham gia (treatment group) và nhóm không tham gia
(comparison group) trước khi triển khai vì lý do kinh phí, thời gian,
nhân lực… Nhưng sau khi dự án triển khai một thời gian, ban quản
lý muốn đánh giá tác động của dự án đối với đối tượng thụ hưởng.
Trong hoàn cảnh này, nhóm tham gia (treatment group) đã có sẵn,
cần xác định nhóm không tham gia (comparison group) tương
đồng để so sánh.
Việc áp dụng phương pháp Ngẫu nhiên lúc này là hoàn toàn không
khả thi. Ngoài ra, việc xác định biến công cụ phù hợp không phải
lúc nào cũng thuận lợi.
51
Vai trò của phương pháp So sánh điểm xu hướng (PSM)
Phương pháp Ngẫu nhiên, về lý thuyết vẫn là một phương pháp đánh
giá tác động hoàn thiện. Tuy nhiên, khi không thể chọn mẫu ngẫu
nhiên thì giải pháp tốt nhất kế tiếp (the second-best alternative) là tìm
cách xây dựng nhóm so sánh (comparison group) càng gần giống với
nhóm can thiệp (treatment group) xét trên các đặc tính quan sát được.
Phương pháp PSM là một giải pháp phù hợp để tạo ra 2 nhóm này
giống nhau dựa trên đặc điểm thống kê (statistically similar).
Việc tạo 2 nhóm tương đồng để so sánh dựa vào mô hình logit
52
Mô hình hồi quy logit vs. Mô hình hồi quy tuyến tính
53
Mô hình hồi quy logit vs. Mô hình hồi quy tuyến tính
54
Đánh giá tác động của phương pháp PSM khi việc
tham gia vào dự án là không ngẫu nhiên
CÓ tham gia KHÔNG tham
dự án gia dự án
So sánh
55
Đánh giá tác động của phương pháp PSM khi việc
tham gia vào dự án là không ngẫu nhiên
CÓ tham gia KHÔNG tham
dự án gia dự án
So sánh
56
Các bước thực hiện So sánh điểm xu
hướng (PSM) với sự hỗ trợ của phần
mềm R
57
Bước 1: Chuẩn bị các thông số
Biến phụ thuộc: T , mang giá trị 1 tương ứng với quan sát thuộc
nhóm tham gia dự án (treatment group) và giá trị 0 tương ứng với
quan sát thuộc nhóm không tham gia dự án (comparison group)
Biến độc lập (Z): tập hợp những biến đại diện cho các nhân tố
ảnh hưởng đến quyết định tham gia hay không tham gia vào dự án
của cả 2 nhóm (hoặc các nhân tố ảnh hưởng đến trạng thái
có/không tham gia dự án). Việc xác định các biến độc lập có thể
dựa trên kinh nghiệm, lý thuyết hoặc các nghiên cứu trước đây.
Biến (Y): dùng để so sánh, đánh giá tác động của chương trình/dự
án
58
Bước 2: Tạo hai nhóm tương đồng
install.packages("MatchIt")
library(MatchIt)
59
Bước 2: Tạo hai nhóm tương đồng
modelling <- matchit(T ~ Zs, data = mydata, method =
"nearest", distance = "glm", ratio=1)
Giải thích:
nearest nearest neightbours
distance = "glm“ hồi quy logit
ratio = 1: so sánh 1:1, nếu ratio=2, 3, 4… so sánh 2,
3, 4… quan sát của nhóm ngoài dự án với 1 quan sát của
nhóm trong dự án
summary(modelling) hiển thị kết quả tạo nhóm
tương đồng
60
Bước 2: Tạo hai nhóm tương đồng
61
Ghi chú về những lựa chọn trong phân tích ở Bước 2
Chọn lựa cách so sánh
So sánh cận gần nhất (Nearest neighbour matching)
So sánh trong phạm vi hay bán kính (Radius matching)
So sánh phân tầng hay khoảng thời gian (Stratification matching)
So sánh hạt nhân và tuyến tính tại chỗ (Kernel and local-linear matching)
Nguyên tắc so sánh
Có thay thế hoặc không thay thế
Có trọng số hoặc không có trọng số
Số lượng quan sát trong từng nhóm so sánh.
Tuy nhiên, không có cơ sở khẳng định cách so sánh và nguyên tắc
so sánh nào tốt nhất. Việc lựa chọn sẽ tùy vào từng hoàn cảnh cụ
thể. Nearest neighbour matching thường được chọn với mẫu
62 không thay thế.
Bước 3: So sánh chỉ tiêu quan tâm (Y) giữa hai nhóm
tương đồng được tạo ở Bước 2
Có 2 cách so sánh chỉ tiêu Y giữa hai nhóm
Kiểm định thống kê t-test cho 2 mẫu độc lập (Independent sample
T-test)
Hồi quy tuyến tính với dạng hàm
Yi = + Ti + Xi + ɛi
Điểm mạnh:
Thường được đánh giá là phương án tốt thứ hai (second-best
alternative) sau phương pháp Ngẫu nhiên.
Tính khả thi cao vì có thể áp dụng bất kỳ lúc nào sau khi đã triển
khai dự án mà không cần phải có dữ liệu thời kỳ gốc (baseline
data).
Phương pháp hồi quy dành cho logit và probit cho kết quả tính
toán xác suất tốt hơn OLS.
64
Nhận xét về phương pháp So sánh điểm xu hướng (PSM)
Hạn chế:
Cần số quan sát đủ lớn để bù đắp số quan sát bị hao hụt trong quá
trình so sánh điểm xu hướng.
Kiến thức kinh tế lượng.
65
ĐÁNH GIÁ TÁC ĐỘNG
CHƯƠNG TRÌNH/DỰ ÁN
Phương pháp khác biệt trong
khác biệt
Diffence in Diffences
Lương Vinh Quốc Duy
Nguyên lý của phương pháp Khác biệt trong khác biệt
(DID)
Bước 1: Tính toán khác biệt trong kết quả (Y) của nhóm Có tham gia
dự án (treatment group) trước và sau khi dự án được thực hiện.
Bước 2: Tính toán khác biệt trong kết quả (Y) của nhóm Không
tham gia dự án (control group) trước và sau khi dự án được thực
hiện.
Bước 3: Sau đó tính toán sự khác biệt giữa kết quả của Bước 1 và
Bước 2. Đây chính là tác động của chương trình ước lượng được dựa
vào phương pháp Khác biệt trong khác biệt (DID).
68
Dạng hàm như sau:
69
Dạng hàm như sau:
70
Câu lệnh trong R
71