Halaman 1 Page 1 Kantor Inspektur Jenderal OFFICE OF INSPECTOR GENERAL AUDIT SOSIAL USAID'S AUDIT OF USAID'S SOCIAL PEMASARAN

DAN PERILAKU MARKETING AND BEHAVIOR INTERVENSI PERUBAHAN UNTUK CHANGE INTERVENTIONS FOR HIV / AIDS, REPRODUKSI DAN HIV/AIDS, REPRODUCTIVE AND KESEHATAN SEKSUAL DAN ANAK SEXUAL HEALTH AND CHILD SURVIVAL DI KAMBOJA SURVIVAL IN CAMBODIA PROYEK PROJECT AUDIT LAPORAN NO. AUDIT REPORT NO. 5-442-11-006-P 5-442-11-006-P 31 Maret 2011 MARCH 31 , 2011 MANILA, FILIPINA MANILA, PHILIPPINES Halaman 2 Page 2 Kantor Inspektur Jenderal Office of Inspector General 31 Maret 2011 March 31, 2011 MEMORANDUM MEMORANDUM UNTUK: TO: USAID / Direktur Kamboja, Flynn Fuller USAID/Cambodia Director, Flynn Fuller DARI: FROM: Bertindak Daerah Inspektur Jenderal / Manila, William S. Murphy / s / Acting Regional Inspector General/Manila, William S. Murphy /s/ TOPIK: Audit Pemasaran Sosial USAID dan Intervensi Perubahan Perilaku untuk SUBJECT: Audit of USAID's Social Marketing and Behavior Change Interventions for HIV / AIDS, Kesehatan Reproduksi dan Seksual dan Survival Anak di Kamboja HIV/AIDS, Reproductive and Sexual Health and Child Survival in Cambodia Proyek (Laporan Audit No 5-442-11-006-P) Project (Audit Report No. 5-442-11-006-P) Memorandum ini mentransmisikan laporan akhir audit kami pada subjek. This memorandum transmits our final report on the subject audit. Dalam menyelesaikan laporan audit, In finalizing the audit report, kita dianggap komentar Anda pada draft laporan dan telah termasuk orang-orang komentar dalam mereka we considered your comments on the draft report and have included those comments in their keseluruhan dalam Lampiran II laporan ini. entirety in Appendix II of this report. Laporan ini berisi sembilan rekomendasi untuk membantu misi dalam meningkatkan efisiensi dan This report contains nine recommendations to assist the mission in improving the efficiency and efektivitas proyek. effectiveness of its project. Berdasarkan informasi yang diberikan oleh misi dalam respon On the basis of information provided by the mission in its response ke draft laporan, kami menentukan bahwa keputusan manajemen telah dicapai to the draft report, we determined that management decisions have been reached on Rekomendasi 1, 3, 4, 6, 7, 8, dan 9. Recommendations 1, 3, 4, 6, 7, 8, and 9. Harap sediakan Kinerja Audit dan Please provide the Audit Performance and Divisi Kepatuhan Kantor USAID dari Chief Financial Officer dengan bukti tindakan akhir Compliance Division of USAID's Office of the Chief Financial Officer with evidence of final action untuk menutup rekomendasi ini. to close these recommendations.

Kami menetapkan bahwa keputusan manajemen belum dicapai Rekomendasi 2 We determined that management decisions have not been reached on Recommendations 2 dan 5. and 5. Keputusan manajemen dapat dicapai bila USAID / Kamboja memberikan kita dengan perusahaan Management decisions can be reached when USAID/Cambodia provides us with a firm rencana aksi untuk menerapkan dua rekomendasi. plan of action for implementing these two recommendations. Mohon saran kantor kami dalam waktu 30 Please advise our office within 30 hari tindakan yang direncanakan atau diambil untuk mengimplementasikan rekomendasi ini. days of the actions planned or taken to implement these recommendations. Saya ingin berterima kasih Anda dan staf Anda untuk kerjasama dan kesopanan diperpanjang kepada kami selama ini I want to thank you and your staff for the cooperation and courtesies extended to us during this audit. audit. US Agency for International Development US Agency for International Development PNB Keuangan Pusat, 8 PNB Financial Center, 8 th th Lantai Floor Roxas Blvd, Kota Pasay 1308 Roxas Blvd, 1308 Pasay City Metro Manila, Filipina Metro Manila, Philippines www.usaid.gov / OIG www.usaid.gov/oig Halaman 3 Page 3 ISI CONTENTS Ringkasan Summary of 1 1 Audit Audit 5 5 Staf Outreach Apakah Tidak Mewakili Produk Pengendalian Kelahiran hormonal Outreach Staff Did Not Represent Hormonal Birth Control Products Memadai atau Benar untuk Penerima ............................................. ........................ Adequately or Correctly to Beneficiaries..................................................................... 5 5 Pengukuran Kinerja Apakah Tidak Mencerminkan Dampak Proyek ...................................... Performance Measurements Did Not Reflect Project Impact...................................... 6 6 Evaluasi Manajemen Komentar .............................................. ......................... Evaluation of Management Comments ....................................................................... 10 10 Lampiran I - Ruang Lingkup dan Metodologi ............................................ ........................ Appendix I Scope and Methodology .................................................................... 13 13 Lampiran II - Komentar Manajemen ............................................. ....................... Appendix II Management Comments .................................................................... 15 15 Lampiran III - Auditor Review Tahun Fiskal Proyek 2010 Appendix III Auditor Review of the Project's Fiscal Year 2010 Indikator Kinerja dan Hasil Dilaporkan ............................... Performance Indicators and Reported Results ............................... 22 22 Lampiran IV - Indikator Kinerja Dengan Definisi Masalah .......................... Appendix IV Performance Indicators With Definition Problems .......................... 28 28 Lampiran V - Indikator Kinerja Tujuan Menyatakan Beberapa ...................... Appendix V Performance Indicators Stating Multiple Objectives ...................... 29 29 Lampiran VI - Indikator Kinerja Tidak Cukup Mewakili Appendix VI Performance Indicators Not Fairly Representing

Kinerja Proyek ................................................ .......................... Project Performance .......................................................................... 30 30 Lampiran VII - Ketepatan waktu Data Dilaporkan untuk Key Dampak-Terkait Appendix VII Timeliness of Reported Data for Key Impact-Related Indikator Kinerja ................................................ ..................... Performance Indicators ..................................................................... 31 31 Singkatan Abbreviations Singkatan berikut muncul dalam laporan ini: The following abbreviations appear in this report: ADS ADS Arahan Sistem Otomatis Automated Directives System IUD IUD intrauterin perangkat intrauterine device TA FY fiskal tahun fiscal year HIV / AIDS human immunodeficiency virus / Acquired Immune Deficiency Syndrome HIV/AIDS human immunodeficiency virus/ acquired immune deficiency syndrome LSL MSM laki-laki yang berhubungan seks dengan laki-laki men who have sex with men LSM NGO organisasi nonpemerintah nongovernmental organization Oralit ORS solusi rehidrasi oral oral rehydration solution PSI PSI Population Services International Population Services International SMBCI SMBCI Sosial Pemasaran dan Intervensi Perubahan Perilaku untuk HIV / AIDS, Reproduksi Social Marketing and Behavior Change Interventions for HIV/AIDS, Reproductive dan Seksual Kesehatan dan Survival Anak di Kamboja and Sexual Health and Child Survival in Cambodia USG USG Pemerintah AS US Government Halaman 4 Page 4 RINGKASAN HASIL SUMMARY OF RESULTS Menurut laporan dari Population Services International, Kamboja telah membuat signifikan According to reports from Population Services International, Cambodia has made significant keuntungan dalam mengurangi insiden dan prevalensi HIV selama dekade terakhir. gains in reducing HIV incidence and prevalence over the past decade. Karena ditargetkan Because of targeted intervensi, beberapa di antaranya telah dilakukan melalui proyek yang didanai USAID, melaporkan interventions, some of which have been carried out through USAID-funded projects, reported penggunaan kondom yang konsisten di antara rumah bordil berbasis pekerja seks meningkat dari 42 persen menjadi 94 consistent condom use among brothel-based sex workers increased from 42 percent to 94 persen antara 1997 dan 2007. percent between 1997 and 2007. Namun, sebagai lokus dari industri seks telah bergeser dari However, as the locus of the sex industry has shifted from

bordil untuk perusahaan hiburan, brothels to entertainment establishments, 11 terutama karena anti-perdagangan dan seksual largely because of antitrafficking and sexual eksploitasi memperkenalkan undang-undang di Kamboja pada tahun 2008, pola penggunaan kondom juga exploitation legislation introduced in Cambodia in 2008, patterns of condom use have also bergeser. shifted. Kamboja juga menghadapi tantangan dalam memenuhi kebutuhan kontrasepsi dan mengurangi morbiditas anak Cambodia also faces challenges in meeting contraceptive needs and in reducing child morbidity dan kematian. and mortality. Sedangkan penggunaan metode kontrasepsi modern meningkat dari 19 persen pada While the use of modern contraceptive methods increased from 19 percent in 2000-42,6 persen pada tahun 2007 di kalangan wanita saat menikah, kira-kira seperempat dari semua 2000 to 42.6 percent in 2007 among currently married women, roughly a quarter of all Perempuan Kamboja melaporkan kebutuhan yang tidak terpenuhi untuk pengendalian kelahiran, dengan kebutuhan yang lebih tinggi di kalangan pedesaan Cambodian women report an unmet need for birth control, with higher needs among the rural miskin. poor. Sekitar 35 persen wanita yang tidak menggunakan kontrasepsi, namun ingin, mengutip Roughly 35 percent of women who are not using contraceptives, but would like to, cite kekhawatiran tentang risiko kesehatan yang berhubungan dengan metode kontrasepsi modern sebagai utama concerns about the health risks associated with modern contraceptive methods as the major Alasan mencegah mereka dari menggunakan kontrasepsi. reason preventing them from using contraception. Anak morbiditas dan mortalitas yang terkait dalam Child morbidity and mortality are related in Bagian keterbatasan akses ke air minum yang aman dan kebersihan yang buruk. part to limited access to safe drinking water and poor hygiene. Dehidrasi disebabkan oleh diare Dehydration caused by diarrhea menyumbang sekitar 25 persen dari semua kematian anak di Kamboja; hanya 53 persen dari pedesaan accounts for approximately 25 percent of all child deaths in Cambodia; only 53 percent of rural keluarga memiliki akses ke air minum yang aman. families have access to safe drinking water. Menanggapi tantangan ini, dan untuk meningkatkan kesehatan Kamboja miskin dan rentan, In response to these challenges, and to improve the health of poor and vulnerable Cambodians, USAID memprakarsai Pemasaran dan Perilaku Intervensi Perubahan Sosial untuk HIV / AIDS, USAID initiated the Social Marketing and Behavior Change Interventions for HIV/AIDS, Kesehatan Reproduksi dan Seksual dan Survival Anak di Kamboja (SMBCI) Proyek. Reproductive and Sexual Health and Child Survival in Cambodia (SMBCI) Project. Proyek ini The project sedang dilaksanakan melalui perjanjian $ 15.900.000 kooperatif dengan Layanan Penduduk is being implemented through a $15.9 million cooperative agreement with Population Services Internasional, yang mencakup periode 5 tahun dari Februari 5, 2008, melalui 4 Februari 2013. International, covering a 5-year period from February 5, 2008, through February 4, 2013. Sebagai dari As of 30 September 2010, kewajiban dan pengeluaran kumulatif dalam proyek sebesar $ 11,2 September 30, 2010, cumulative obligations and disbursements under the project totaled $11.2

juta dan $ 8,4 juta, masing-masing. million and $8.4 million, respectively. Proyek ini bertujuan untuk meningkatkan penggunaan yang konsisten dan benar berkualitas tinggi dan produk kesehatan The project seeks to increase consistent and correct use of high quality health products and layanan antara prioritas, populasi berisiko-terutama miskin dan rentan-untuk memerangi services among priority, atrisk populationsespecially the poor and vulnerableto combat HIV / AIDS, meningkatkan kesehatan reproduksi, dan menyediakan air minum bersih. HIV/AIDS, improve reproductive health, and provide clean drinking water. Proyek The project's kegiatan ini adalah untuk (1) meningkatkan akses kondom, produk pengendalian kelahiran, dan rehidrasi oral activities are to (1) increase access to condoms, birth control products, and oral rehydration solusi (oralit), (2) meningkatkan kapasitas nasional Kamboja untuk mengelola dan mempertahankan hasil dari solution (ORS), (2) increase Cambodian national capacity to manage and sustain results over jangka panjang dengan ketergantungan berkurang pada donor, dan (3) meningkatkan pengetahuan, kesadaran, dan the long term with reduced dependence on donors, and (3) improve knowledge, awareness, and sikap yang mendukung untuk mengubah perilaku di antara populasi prioritas. supportive attitudes to change behaviors among priority populations. Tujuan audit adalah untuk menentukan apakah proyek ini mencapai tujuan utama dari The objective of the audit was to determine whether the project was achieving its main goal of meningkatkan kesehatan Kamboja miskin dan rentan. improving the health of poor and vulnerable Cambodians. Audit menetapkan bahwa, walaupun proyek tersebut telah berhasil meningkatkan akses terhadap kesehatan The audit determined that, although the project has successfully increased access to health produk dan pelatihan yang diberikan kepada individu dan organisasi untuk meningkatkan nasional Kamboja products and provided training to individuals and organizations to increase Cambodian national kapasitas, proyek telah menunjukkan dampak yang terbatas dalam meningkatkan kesehatan penduduk miskin dan capacity, the project has demonstrated limited impact in improving the health of poor and rentan Kamboja. vulnerable Cambodians. Hal ini karena hanya salah satu dari delapan populasi berisiko ditargetkan oleh This is because only one of eight at-risk populations targeted by the proyek telah menunjukkan perubahan positif dalam perilaku melalui peningkatan pengetahuan, project has demonstrated a positive change in behaviors through improved knowledge, kesadaran, dan sikap mendukung. awareness, and supportive attitudes. Adapun tujuh populasi lainnya yang ditargetkan, dua dibuat As for the other seven targeted populations, two made 11 Tempat hiburan termasuk taman bir, bar karaoke, dan panti pijat. Entertainment establishments include beer gardens, karaoke bars, and massage parlors. 11 Halaman 5 Page 5 sedikit perubahan positif, sementara dua ditampilkan perubahan perilaku nol atau sedikit negatif; slight positive changes, while another two displayed zero or slightly negative behavior changes;

Namun, perubahan perilaku untuk keempat populasi terlalu kecil untuk statistik however, changes in behavior for these four populations were too small to be statistically signifikan. significant. Hasil intervensi yang ditargetkan untuk tiga yang tersisa di populasi berisiko yang The results of targeted interventions for the remaining three at-risk populations were tidak dilaporkan sama sekali. not reported at all. Seperti disebutkan di atas, proyek ini membuat kemajuan dalam meningkatkan akses terhadap produk-produk kesehatan, seperti As noted above, the project is making progress in increasing access to health products, such as kondom, produk kontrol kelahiran, oralit, dan tablet pengolahan air. condoms, birth control products, ORS, and water treatment tablets. Sejak awal Since the start of the proyek, telah terjadi peningkatan dramatis dalam ketersediaan kondom di dalam dan sekitar project, there has been a dramatic increase in the availability of condoms in and around lokasi di mana laki-laki cenderung untuk mencari seks dari pekerja hiburan seperti dicatat dalam bir locations where men are likely to seek sex from entertainment workers such as noted in beer kebun, dimana ketersediaan kondom telah meningkat dari 25 persen pada 2007 menjadi 70 persen pada gardens, where condom availability has increased from 25 percent in 2007 to 70 percent in 2010. 2010. Proyek ini juga telah meningkatkan cakupan The project has also increased the coverage 22 pil kontrasepsi oral dari 50 persen of oral contraceptive pills from 50 percent desa ditargetkan untuk 65 persen. of targeted villages to 65 percent. Selanjutnya, proyek ini telah mendistribusikan jumlah besar oralit Further, the project has distributed large quantities of ORS pengolahan air dan tablet. and water treatment tablets. Demikian pula, proyek ini tampaknya akan berhasil melatih banyak individu dan organisasi Similarly, the project appears to be successfully training numerous individuals and organizations untuk membantu dalam terkait HIV pengembangan kapasitas kelembagaan dan pemasaran sosial dari produk-produk kesehatan to assist in HIV-related institutional capacity building and social marketing of health products dan jasa. and services. Secara teoritis, pelatihan ini akan membantu mengelola dan mempertahankan Kamboja hasil atas Theoretically, this training will help Cambodia manage and sustain results over jangka panjang dikurangi dengan ketergantungan pada donor. the long term with reduced dependence on donors. Meskipun keberhasilan ini, bagaimanapun, proyek tersebut telah menunjukkan kemajuan yang terbatas dalam mengubah Despite these successes, however, the project has demonstrated limited progress in changing perilaku dari populasi yang ditargetkan untuk meningkatkan penggunaan yang konsisten dan benar berkualitas tinggi the behaviors of targeted populations to increase consistent and correct use of highquality produk kesehatan dan layanan. health products and services. Secara khusus, sedangkan laki-laki yang berhubungan seks dengan pekerja hiburan Specifically, while men who have sex with entertainment workers

(Atau "tidak langsung" pekerja seks) telah menunjukkan peningkatan dalam secara konsisten menggunakan kondom, tidak ada (or indirect sex workers) have shown an improvement in consistently using condoms, none of tujuh lainnya populasi yang ditargetkan oleh proyek telah menunjukkan perubahan yang patut dicatat dalam the other seven populations targeted by the project has demonstrated noteworthy change in perilaku, seperti dijelaskan di bawah. behavior, as explained below. Lima populasi yang ditargetkan dalam komponen HIV / AIDS dari proyek adalah (1) pria yang The five targeted populations under the HIV/AIDS component of the project are (1) men who berhubungan seks dengan pekerja hiburan, (2) hiburan pekerja, (3) laki-laki yang berhubungan seks dengan have sex with entertainment workers, (2) entertainment workers, (3) men who have sex with pekerja seks langsung, (4) pekerja seks langsung, dan (5) laki-laki yang berhubungan seks dengan laki-laki (LSL). direct sex workers, (4) direct sex workers, and (5) men who have sex with men (MSM). Dengan With hal yang pertama dari lima populasi yang ditargetkan, 69,4 persen pria yang berhubungan seks dengan regard to the first of these five targeted populations, 69.4 percent of men who have sex with pekerja hiburan melaporkan penggunaan kondom secara konsisten pada tahun 2010, naik dari 59 persen ketika entertainment workers reported consistent condom use in 2010, up from 59 percent when the proyek dimulai pada 2008. project began in 2008. Namun, belum ada perbaikan ditunjukkan dalam lainnya However, there has been no demonstrated improvement in the other empat ditargetkan populasi. four targeted populations. Persentase dari mereka yang menggunakan kondom secara konsisten tidak The percentage of those using condoms consistently did not peningkatan antara pekerja hiburan (dengan siapa laki-laki meminta seks), sementara perubahan di antara increase among entertainment workers (with whom men solicit sex), while the change among pria yang berhubungan seks dengan pekerja seks langsung tidak signifikan. men who have sex with direct sex workers was insignificant. Selain itu, proyek tidak Furthermore, the project did not melaporkan kemajuan dalam membujuk pekerja seks langsung untuk menggunakan kondom atau dalam menyampaikan yang sama report on progress in persuading direct sex workers to use condoms or in conveying the same pesan untuk laki-laki yang berhubungan seks dengan laki-laki. message to men who have sex with men. Dua populasi yang ditargetkan dalam komponen kesehatan reproduksi dari proyek ini adalah (1) The two targeted populations under the reproductive health component of the project are (1) perempuan menikah usia reproduksi di daerah perkotaan dan pedesaan dan (2) perempuan miskin yang tinggal di married women of reproductive age in both urban and rural areas and (2) poor women living in daerah pedesaan secara khusus diidentifikasikan sebagai mereka yang paling membutuhkan metode kontrasepsi modern. rural areas specifically identified as those most in need of modern contraceptive methods.

Meskipun proyek ini telah menghilangkan beberapa kesalahpahaman antara perempuan Kamboja tentang Although the project has dispelled some misconceptions among Cambodian women about the efek samping dari metode hormonal side effects of hormonal methods 33 pengendalian kelahiran, persentase wanita yang menggunakan yang modern of birth control, the percentage of women using modern metode kontrasepsi tidak tampaknya telah meningkat secara substansial sejak awal contraceptive methods does not appear to have increased substantially since the inception of proyek. the project. Secara khusus, persentase perempuan menikah usia reproduksi menggunakan yang modern Specifically, the percentage of married women of reproductive age using modern produk kontrol kelahiran meningkat dari 42,7 persen pada 2007 menjadi 45,7 persen pada 2010, sedangkan penggunaan birth control products increased from 42.7 percent in 2007 to 45.7 percent in 2010, while use 22 Cakupan mewakili setidaknya satu outlet di sebuah desa yang menjual kontrasepsi oral. Coverage represents at least one outlet in a village that sells oral contraceptives. 33 Metode hormonal termasuk pil kontrasepsi oral, injeksi, dan implan subdermal. Hormonal methods include the oral contraceptive pill, the injection, and the subdermal implant. 22 Halaman 6 Page 6 di kalangan perempuan miskin di daerah pedesaan menurun sedikit, dari 46 persen pada 2007 menjadi 45,3 persen di among poor women in rural areas decreased slightly, from 46 percent in 2007 to 45.3 percent in 2010. 2010. Namun, perubahan tidak bermakna secara statistik. However, neither change was statistically significant. Terakhir, itu terlalu dini untuk mengatakan apakah kesehatan anak di bawah 5-final yang ditargetkan Lastly, it was too early to tell whether the health of children under 5the final targeted populasi telah ditingkatkan melalui peningkatan penggunaan oralit dan tablet pengolahan air. populationhad improved through the increased use of ORS and water treatment tablets. Para The bagian dari proyek yang berkaitan dengan kelangsungan hidup anak belum terjadi cukup panjang untuk portion of the project relating to child survival had not been going on long enough to menunjukkan hasil yang berarti pada saat audit. demonstrate meaningful results at the time of the audit. Audit tersebut mengidentifikasi beberapa area untuk perbaikan, apakah dengan menyesuaikan metodologi The audit identified some areas for improvement, whether by adjusting the methodology of menyediakan layanan proyek atau oleh lebih akurat melaporkan kinerja proyek. providing project services or by more accurately reporting on the performance of the project. Secara khusus, audit menemukan bahwa: Specifically, the audit found that: Staf Outreach tidak cukup atau benar mewakili produk pengendalian kelahiran hormon untuk Outreach staff did not adequately or correctly represent hormonal birth control products to

penerima manfaat (halaman 5). beneficiaries (page 5). Pengukuran Kinerja tidak mencerminkan dampak proyek. Performance measurements did not reflect project impact. Secara khusus, kinerja Specifically, performance kadang-kadang berbelit-belit informasi dan menyesatkan; awal, target, dan kumulatif information was sometimes convoluted and misleading; baselines, targets, and cumulative hasilnya sering kurang, dan out-of-date informasi kadang-kadang dilaporkan sebagai arus results were often lacking; and out-of-date information was sometimes reported as current (Halaman 6). (page 6). Laporan ini merekomendasikan bahwa USAID / Kamboja: The report recommends that USAID/Cambodia: 1. 1. Review pelatihan yang diberikan kepada staf penjangkauan dan merevisi pelatihan untuk mempersiapkan staf untuk Review the training provided to outreach staff and revise the training to prepare staff to memberikan informasi yang lengkap dan akurat (halaman 6). provide complete and accurate information (page 6). 2. 2. Bekerja dengan pelaksana untuk mengembangkan dan melaksanakan rencana untuk menyesuaikan proyek penjangkauan Work with its implementer to develop and implement a plan to adjust the project's outreach Program untuk mewakili produk-produk pengendalian kelahiran hormon memadai dan benar untuk program to represent hormonal birth control products adequately and correctly to penerima manfaat (halaman 6). beneficiaries (page 6). 3. 3. Merevisi 18 indikator yang diidentifikasi dalam Lampiran III untuk bersikap objektif sesuai dengan Revise the 18 indicators identified in Appendix III to be objective in accordance with Direktif Otomatis Sistem 203.3.4.2 (a) (halaman 7). Automated Directives System 203.3.4.2(a) (page 7). 4. 4. Cukup menentukan indikator kinerja tujuh diidentifikasi dalam Lampiran IV dan memberikan Adequately define the seven performance indicators identified in Appendix IV and provide metodologi yang digunakan untuk mengukur dan melaporkan pada mereka (halaman 7). the methodology used to measure and report on them (page 7). 5. 5. Memodifikasi metodologi pelaporan untuk indikator kinerja enam ditunjukkan dalam Lampiran VI Modify the reporting methodology for the six performance indicators shown in Appendix VI sehingga mereka erat melacak hasil yang diharapkan (halaman 7). so that they closely track the intended results (page 7). 6. 6. Menetapkan hidup dari proyek-target untuk semua indikator kinerja dalam memantau proyek dan Assign life-of-project targets to all performance indicators in the project's monitoring and evaluasi rencana (halaman 8). evaluation plan (page 8). 7. 7. Perlu baseline indikator, prestasi kumulatif, dan kehidupan-of-proyek yang target yang harus Require indicator baselines, cumulative accomplishments, and life-of-project targets to be termasuk dalam laporan tahunan proyek di samping hasil kinerja tahunan (halaman 8). included in the project's annual performance reports alongside annual results (page 8). 8. 8. Memerlukan data yang tepat waktu untuk mendukung hasil tahunan dilaporkan. Require timely data to support reported annual results. Jika pelaksana tidak dapat If the implementer is unable to

menyediakan data untuk tahun fiskal yang ditunjukkan dalam laporan kinerja, keterbatasan ini data yang provide the data for the fiscal year indicated in the performance reports, this data limitation perlu didokumentasikan secara jelas dalam pelaporan hasil (halaman 9). needs to be clearly documented in the results reporting (page 9). 9. 9. Perlu pelaksana untuk menyerahkan laporan formal triwulanan sebagai diperlukan oleh koperasi Require the implementer to submit formal reports quarterly as required by the cooperative kesepakatan, atau mengubah perjanjian kerja sama untuk memungkinkan kinerja setengah tahunan agreement, or amend the cooperative agreement to permit semiannual performance pelaporan bukan (halaman 9). reporting instead (page 9). 33 Halaman 7 Page 7 Temuan rinci dimulai pada halaman berikut. Detailed findings begin on the following page. Evaluasi kami komentar manajemen pada Our evaluation of management comments is on halaman 10. page 10. Ruang lingkup audit dan metodologi yang dijelaskan dalam Lampiran I, dan The audit scope and methodology are described in Appendix I, and USAID / Kamboja komentar dalam Lampiran II. USAID/Cambodia's comments are in Appendix II. Tahun fiskal 2010 proyek melaporkan The project's fiscal year 2010 reported hasil kinerja yang disajikan dalam Lampiran III. performance results are presented in Appendix III. 44 Halaman 8 Page 8 TEMUAN AUDIT AUDIT FINDINGS Staf Outreach Apakah Tidak Mewakili Outreach Staff Did Not Represent Pengendalian Kelahiran Produk hormonal Hormonal Birth Control Products Memadai atau dengan benar untuk Penerima Adequately or Correctly to Beneficiaries Menurut perjanjian kerja sama, penghalang terbesar untuk wanita usia reproduksi menggunakan According to the cooperative agreement, the largest barrier to women of reproductive age using metode kelahiran yang modern kontrol adalah kekhawatiran mereka tentang efek-khususnya yang merugikan kesehatan mereka modern birth control methods is their concern about adverse health effectsparticularly those terkait dengan metode hormonal seperti pil kontrasepsi oral, suntikan, dan associated with hormonal methods such as the oral contraceptive pill, the injection, and the subdermal implan. subdermal implant. Penghalang ini adalah hasil dari kurangnya informasi yang lengkap. This barrier is the result of a lack of complete information. Untuk mengatasi masalah ini, proyek ini bertujuan untuk memberikan informasi yang akurat tentang produk pengendalian kelahiran To address this issue, the project aims to provide accurate information on birth control products yang membicarakan baik efek samping yang nyata dan dirasakan. that addresses both real and perceived side effects. Salah satu tujuan utama proyek adalah untuk One of the project's key objectives is to mengatasi rasa takut konsekuensi kesehatan yang serius berkaitan dengan produk hormonal dan overcome the fear of serious health consequences relating to hormonal products and to

menekankan pilihan metode. emphasize choice of methods. Mengontrol produk modern kelahiran, termasuk sosial dipasarkan Modern birth control products, including socially marketed merek, merek sektor swasta berkualitas tinggi, dan merek pemerintah sektor publik, semuanya akan brands, private sector brands of high quality, and government public sector brands, are all to be dipromosikan melalui kampanye untuk meningkatkan penggunaan, tumbuh seluruh pasar, dan kerumunan keluar promoted through a campaign to increase their use, grow the entire market, and crowd out merek berkualitas rendah. poor-quality brands. Pelaksana telah terlibat dalam beberapa jenis kegiatan outreach untuk memberikan informasi tentang The implementer has engaged in several types of outreach activities to provide information on produk kontrol kelahiran. birth control products. Kegiatan ini meliputi siaran iklan televisi dan radio, mendidik These activities include broadcasting television and radio ads, educating penyedia yang menjual produk kesehatan, menggunakan unit mobile video, the providers who sell health products, using mobile video units, 44 dan mengirim tim penjangkauan and sending outreach teams untuk mengunjungi masyarakat pedesaan. to visit rural communities. Namun, proyek penjangkauan untuk perempuan miskin di daerah pedesaan tampaknya menekankan However, the project's outreach to poor women in rural areas appears to be emphasizing the intrauterin perangkat (IUD) intrauterine device (IUD) 55 lebih dari produk lain lahir kontrol modern. over other modern birth control products. Penekanan ini bertentangan This emphasis runs counter dengan maksud proyek untuk menghilangkan kesalahpahaman mengenai produk pengendalian kelahiran hormon. to the project's intent to dispel misconceptions regarding hormonal birth control products. Dari From wawancara dengan anggota staf proyek, dan melalui pengamatan kegiatan penjangkauan mereka untuk interviews with project staff members, and through observations of their outreach activities to ditargetkan wanita, kami menemukan bahwa tim penjangkauan ditargetkan mengunjungi wanita di pedesaan targeted women, we discovered that the outreach teams visiting targeted women in rural masyarakat menyebutkan produk berbagai kontrol kelahiran hormon hanya lewat di depan communities mentioned the various hormonal birth control products only in passing before mendedikasikan sebagian besar dari presentasi mereka untuk IUD. dedicating most of their presentations to the IUD. Bahkan, salah satu anggota staf mengatakan kepada kami bahwa dia In fact, one staff member told us that she pendukung IUD karena melindungi terhadap kanker dan tidak memiliki efek samping-baik advocates the IUD because it protects against cancer and has no side effectsboth kesalahpahaman yang dapat diteruskan kepada akseptor IUD. misconceptions that could be passed on to IUD acceptors. Akibatnya, 20 dari 22 wanita usia reproduksi diwawancarai selama audit menunjukkan As a result, 20 of the 22 women of reproductive age interviewed during the audit indicated a

preferensi untuk IUD. preference for the IUD. Secara khusus, 15 dari 22 wanita telah memiliki IUD dimasukkan, 3 dari Specifically, 15 of the 22 women had already had an IUD inserted, 3 of para wanita sedang dalam proses memiliki satu diberikan (mereka diwawancarai di sebuah klinik), the women were in the process of having one administered (they were interviewed at a clinic), dan 2 belum memutuskan pada produk pengendalian kelahiran, tetapi mengatakan mereka mungkin akan menggunakan AKDR. and 2 had not yet decided on a birth control product, but said they would probably use the IUD. Dari dua perempuan tidak memilih IUD, satu mengatakan ia berpantang dari seks, dan yang lainnya Of the two women not preferring the IUD, one said she was abstaining from sex, and the other telah memilih untuk menggunakan metode alternatif pengendalian kelahiran. had elected to employ an alternative method of birth control. Alasan umum yang diberikan oleh A common reason given by the perempuan untuk mengapa mereka memilih IUD adalah bahwa hal itu tidak berdampak hormonal, tidak seperti yang lain women for why they chose the IUD was that it had no hormonal effect, unlike the other metode kontrasepsi. contraceptive methods. Mereka tahu sangat sedikit tentang metode kontrasepsi lainnya. They knew very little about the other contraceptive methods. 44 Unit mobile video adalah tim yang mengunjungi masyarakat pedesaan di dalam kendaraan dengan audio-video peralatan dan Mobile video units are teams that visit rural communities in a vehicle with audio-video equipment and penjangkauan bahan. outreach materials. 55 IUD adalah, non-hormon jangka panjang perangkat kontrol kelahiran. The IUD is a nonhormonal, long-term birth control device. 55 Halaman 9 Page 9 - - Kami juga mengidentifikasi kasus di mana informasi yang tidak akurat mengenai keuntungan, kerugian, We also identified instances where inaccurate information on the advantages, disadvantages, dan risiko produk pengendalian kelahiran menyebabkan beberapa perempuan untuk menggunakan IUD bukan produk lain. and risks of birth control products led some women to use the IUD instead of the other products. Ketika ditanya mengapa mereka memilih IUD selama subdermal implan, yang lain jangka panjang When asked why they chose the IUD over the subdermal implant, another long-term metode kontrasepsi, dua perempuan menjawab bahwa penjangkauan staf mengatakan kepada mereka bahwa mereka masih bisa contraceptive method, two women responded that outreach staff told them that they could still hamil bahkan dengan implan. get pregnant even with the implant. Personil yang melakukan presentasi ini menjangkau sebagian besar perempuan yang ditargetkan The personnel conducting these outreach presentations to targeted women are largely

relawan, bekerja sama dengan organisasi yang subgrantees untuk utama proyek volunteers, working with organizations that are subgrantees to the project's primary mitra pelaksana. implementing partner. Ini personel memberitahu kami bahwa mereka menerima satu atau dua hari pelatihan pada These personnel informed us that they receive a day or so of training on bagaimana melakukan presentasi penjangkauan mereka, sangat sedikit yang mengajarkan mereka tentang berbagai how to conduct their outreach presentations, very little of which teaches them about the various produk kontrol kelahiran. birth control products. Seperti disebutkan di atas, satu anggota staf bahkan mengatakan kepada kami bahwa IUD melindungi As noted above, one staff member even told us that the IUD protects melawan kanker dan tidak memiliki efek samping, menunjukkan ketidaktahuan tentang materi subjek. against cancer and has no side effects, demonstrating ignorance of the subject material. Akibatnya, kesalahpahaman tentang produk pengendalian kelahiran hormon, yang proyek yang bertujuan Consequently, misconceptions about hormonal birth control products, which the project aimed untuk mengurangi, tidak dapat menghilangkan kalangan perempuan miskin seperti yang dimaksudkan. to reduce, may not be dispelled among poor women as intended. Hal ini lebih menunjukkan This is further demonstrated oleh kurangnya peningkatan persentase perempuan miskin menggunakan produk kelahiran kontrol modern: by the lack of increase in the percentage of poor women using modern birth control products: 46 persen wanita seperti menggunakan produk ini di tahun 2007 dibandingkan dengan 45,3 persen pada 2010. 46 percent of such women used these products in 2007 compared with 45.3 percent in 2010. Target penerima manfaat harus menerima representasi yang adil dari semua metode kontrasepsi. Targeted beneficiaries need to receive a fair representation of all contraceptive methods. Untuk To penerima bantuan mencapai keputusan yang tepat, kita membuat rekomendasi berikut: help beneficiaries reach an informed decision, we make the following recommendations: Rekomendasi 1. Recommendation 1. Kami merekomendasikan bahwa USAID / Kamboja meninjau pelatihan We recommend that USAID/Cambodia review the training diberikan kepada staf penjangkauan dan mengembangkan dan menerapkan rencana untuk memastikan staf yang provided to outreach staff and develop and implement a plan to ensure that staff are cukup siap untuk memberikan informasi yang lengkap dan akurat. adequately prepared to provide complete and accurate information. Rekomendasi 2. Kami merekomendasikan yang bekerja USAID / Kamboja dengan pelaksana yang Recommendation 2. We recommend that USAID/Cambodia work with its implementer untuk mengembangkan dan menerapkan rencana untuk mengatur proyek program outreach untuk memastikan bahwa to develop and implement a plan to adjust the project's outreach program to ensure that produk kontrasepsi hormonal kontrol diwakili memadai dan benar untuk hormonal birth control products are represented adequately and correctly to penerima manfaat. beneficiaries.

Pengukuran Kinerja Apakah Bukan Performance Measurements Did Not Mencerminkan Dampak Proyek Reflect Project Impact Upaya proyek telah menunjukkan dampak positif kecil dalam meningkatkan konsisten dan benar The project's efforts have demonstrated little positive impact in increasing consistent and correct penggunaan produk kesehatan berkualitas tinggi dan layanan antara prioritas, resiko populasiterutama use of high quality health products and services among priority, at risk populations especially miskin dan rentan-untuk memerangi HIV / AIDS, meningkatkan kesehatan reproduksi, dan menyediakan bersih the poor and vulnerableto combat HIV/AIDS, improve reproductive health, and provide clean minum air. drinking water. Kurangnya hasil nyata berasal dari (1) berbelit-belit dan menyesatkan This lack of tangible results stems from (1) convoluted and misleading informasi kinerja, (2) baseline hilang, sasaran, dan hasil kumulatif dalam hasil performance information, (2) missing baselines, targets, and cumulative results in results pelaporan dan tidak adanya pelaporan tentang data tertentu dampak kunci, dan (3) ketergantungan pada ketinggalan jaman reporting and an absence of reporting on certain key impact data, and (3) a reliance on outdated informasi. information. Faktor-faktor ini tampaknya hasil dari pemantauan yang lemah dan rencana evaluasi yang melakukan These factors appear to result from a weak monitoring and evaluation plan that did tidak cukup berkomunikasi harapan. not adequately communicate expectations. Berbelit-belit dan Informasi Kinerja Menyesatkan. Convoluted and Misleading Performance Information. Kinerja yang dilaporkan adalah Reported performance was berbelit-belit dan menyesatkan sebagian karena indikator seringkali tidak objektif atau langsung. convoluted and misleading in part because indicators were often not objective or direct. Menurut Directive Sistem Otomatis USAID (ADS) 203.3.4, "Indikator Kinerja According to USAID's Automated Directives System (ADS) 203.3.4, Performance indicators are digunakan untuk mengamati kemajuan dan untuk mengukur hasil aktual dibandingkan dengan hasil yang diharapkan. " used to observe progress and to measure actual results compared to expected results. Indikator kinerja membantu menjawab bagaimana atau apakah proyek ini berjalan menuju tujuan. Performance indicators help answer how or whether a project is progressing toward its goal. Ketika memilih indikator kinerja, kita harus memastikan mereka objektif-yang berarti mereka When selecting performance indicators, one should ensure they are objectivemeaning they yang jelas, hanya mengukur satu aspek pada satu waktu, dan tepat didefinisikan. are unambiguous, measure only one aspect at a time, and are precisely defined. ADS juga ADS also menyatakan bahwa indikator kinerja harus langsung sehingga mereka "erat melacak hasil yang mereka states that performance indicators should be direct so that they closely track the results they dimaksudkan untuk mengukur. " are intended to measure. 66 Halaman 10 Page 10 Dari 33 proyek indikator kinerja untuk tahun fiskal 2010, audit menemukan bahwa 18 tidak Of the project's 33 performance indicators for fiscal year 2010, the audit found that 18 were not

Tujuan (Lampiran III). objective (Appendix III). Target dan informasi asing lainnya seperti data yang kontradiktif, Targets and other extraneous information such as contradictory data, tanggal salah, dan gaya membingungkan termasuk dalam kata-kata mereka, membuat mereka terlalu incorrect dates, and confusing verbiage were included in their wording, rendering them overly rumit dan sulit untuk diukur. complicated and difficult to measure. Selain itu, 7 dari 18 indikator yang tidak didefinisikan, dan 4 In addition, 7 of the 18 indicators were not defined, and 4 indikator meliputi beberapa tujuan, menghambat kesimpulan definitif mengenai apakah yang diinginkan indicators included multiple objectives, impeding a definitive conclusion as to whether desired Hasilnya akan dicapai untuk indikator tertentu (Lampiran IV dan V). results are being achieved for a given indicator (Appendixes IV and V). Beberapa indikator kinerja, seperti untuk kegiatan yang bertujuan mengubah keyakinan dan sosial Several performance indicators, such as those for activities aimed at changing beliefs and social norma-norma tentang penggunaan kondom dan untuk meningkatkan penggunaan metode kontrasepsi modern, tidak norms about condom use and at increasing the use of modern contraceptive methods, were not didefinisikan secara akurat. defined precisely. Misalnya, Indikator 9, 10, 14, dan 22 di Lampiran IV mengukur "signifikan For example, Indicators 9, 10, 14, and 22 in Appendix IV measure significant perbaikan "dalam kepercayaan dan norma-norma sosial dari populasi target, meskipun" signifikan improvement in the beliefs and social norms of target populations, although significant perbaikan "belum didefinisikan. improvement has not been defined. Karena kurangnya definisi, indikator laporan Because of this lack of definition, indicators report the hasil sebagai nilai-nilai berasal dari survei, yang tidak menunjukkan apakah perbaikan telah results as values derived from surveys, which do not indicate whether an improvement has telah dibuat. been made. Sebagai contoh, sebuah pertanyaan survei diajukan kepada laki-laki berisiko tinggi perkotaan bertanya seberapa besar kemungkinan mereka For example, a survey question put to high-risk urban men asked how likely they adalah untuk mengusulkan penggunaan kondom untuk kekasih. were to propose condom use to sweethearts. 66 Tanggapan rata-rata (pada skala empat poin The average response (on a four-point scale di mana 1 berarti "sangat tidak setuju" dan 4 berarti "sangat setuju") adalah 2,42. where 1 means strongly disagree and 4 means strongly agree) was 2.42. Skor ini berarti This score means para pria yang disurvei umumnya agak enggan untuk mengusulkan penggunaan kondom untuk kekasih. the surveyed men generally were somewhat reluctant to propose condom use to sweethearts. Nilai 2,42 tidak mengukur kemajuan, sebagai salah satu tidak tahu berapa banyak nilai perlu The value 2.42 does not measure progress, as one does not know how much a value needs to peningkatan dalam rangka untuk mencapai perbaikan yang signifikan. increase in order to achieve a significant improvement. Juga tidak ada konteks untuk menentukan There is also no context to determine apakah ini tanda perbaikan sama sekali. whether this marks an improvement at all.

Selanjutnya, 5 dari 33 proyek indikator (yang tercantum dalam Lampiran VI kecuali Indikator 13) Furthermore, 5 of the project's 33 indicators (those listed in Appendix VI except Indicator 13) tidak langsung. were not direct. Mereka tidak erat melacak hasil mereka dimaksudkan untuk mengukur, menyebabkan They did not closely track the results they were intended to measure, causing menyesatkan dan tidak akurat hasilnya. misleading and inaccurate results. Sebagai contoh, penggunaan komoditas kontrol kelahiran oleh perempuan For example, the use of birth control commodities by women di bawah 40 persen dari distribusi pendapatan-salah satu proyek prioritas-dilaporkan in the bottom 40 percent of the income distributionone of the project's prioritieswas reported telah meningkat 45 persen dari 2009 hingga 2010, dibandingkan dengan meningkatkan target tahunan to have increased by 45 percent from 2009 to 2010, compared with an annual target increase of 10 persen (Indikator 21, Lampiran VI). 10 percent (Indicator 21, Appendix VI). Namun, 45 persen benar-benar mewakili persentase However, 45 percent actually represents the percentage perempuan miskin yang menggunakan kontrasepsi-bukan kenaikan persen, sebagai negara indikator. of poor women using contraceptivesnot a percent increase, as the indicator states. Para The peningkatan tahunan aktual pengguna hanya 7 persen pada 2010. actual annual increase in users was only 7 percent in 2010. Dengan tidak melaporkan persen By not reporting on the percent peningkatan penggunaan, proyek menyesatkan stakeholder dengan hasil yang meningkat. increase in use, the project misled stakeholders with inflated results. Oleh karena itu, kita membuat Therefore, we make the rekomendasi berikut: following recommendations: Rekomendasi 3. Kami merekomendasikan bahwa USAID / Kamboja merevisi 18 dari proyek Recommendation 3. We recommend that USAID/Cambodia revise 18 of the project's Indikator kinerja 33, yang diidentifikasi dalam Lampiran III, untuk bersikap objektif sesuai dengan 33 performance indicators, identified in Appendix III, to be objective in accordance with Direktif Otomatis Sistem 203.3.4.2 (a). Automated Directives System 203.3.4.2(a). Rekomendasi 4. Kami merekomendasikan bahwa USAID / Kamboja memadai mendefinisikan Recommendation 4. We recommend that USAID/Cambodia adequately define the tujuh indikator kinerja yang diidentifikasi dalam Lampiran IV dan memberikan metodologi seven performance indicators identified in Appendix IV and provide the methodology digunakan untuk mengukur dan melaporkan pada mereka. used to measure and report on them. Rekomendasi 5 Kami merekomendasikan. Bahwa USAID / Kamboja memodifikasi pemantauan dan Recommendation 5. We recommend that USAID/Cambodia modify the monitoring and Rencana evaluasi pelaporan metodologi untuk indikator kinerja proyek enam ditampilkan evaluation plan's reporting methodology for the six project performance indicators shown dalam Lampiran VI sehingga mereka erat melacak hasil mereka dimaksudkan untuk mengukur. in Appendix VI so that they closely track the results they are intended to measure. Hilang baseline, Target, dan Hasil kumulatif ADS 203.3.4.5 negara. Bahwa acuan dasar Missing Baselines, Targets, and Cumulative Results. ADS 203.3.4.5 states that baselines diperlukan untuk mengukur kemajuan proyek. are needed to measure a project's progress. Sebuah awal harus dimasukkan untuk setiap indikator A baseline should be included for each indicator

sebelum pelaksanaan kegiatan proyek. before the implementation of the project's activities. Selain itu, target ambisius tetapi realistis Additionally, ambitious but realistic targets 66 Dalam konteks pekerja seks seperti yang digunakan dalam laporan ini, kekasih pekerja seks langsung atau di-langsung yang In the context of sex workers as used in this report, sweethearts are direct or in-direct sex workers who memiliki pasangan pria yang umumnya tidak membayar dengan setiap tindakan seks, tetapi dengan siapa uang atau hadiah dapat have male partners that generally do not pay with every act of sex, but with whom money or gifts may dipertukarkan dari waktu ke waktu. be exchanged over time. 77 Halaman 11 Page 11 harus ditetapkan untuk akhir proyek dengan target tahunan untuk tahun sementara. should be set for the end of the project with annual targets for the interim years. Auditor The auditors dicatat bahwa pelaporan hasil kegiatan proyek kumulatif, bersama dengan definisi bagaimana hasil note that reporting cumulative project activity results, along with definitions of how those results yang akan diukur, menyediakan konteks dan pandangan pragmatis tentang bagaimana proyek ini mengalami kemajuan. are to be measured, provides context and a pragmatic view of how the project is progressing. Meskipun bimbingan ADS, 11 dari 33 indikator tidak memiliki data dasar yang diperlukan. Despite the ADS guidance, 11 of the 33 indicators did not have necessary baseline data. Kami We juga mampu mengidentifikasi hidup-dari-proyek target untuk 28 dari 33 indikator (Lampiran III). were also unable to identify life-of-project targets for 28 of the 33 indicators (Appendix III). Dalam In Selain itu, laporan kinerja tahunan hanya mengakui prestasi dilaporkan bahwa addition, the annual performance reports recognized only the reported accomplishments of that tahun tertentu, dengan tidak menyebutkan hasil sebelumnya atau kumulatif, sehingga sulit untuk mengukur particular year, with no mention of previous or cumulative results, making it difficult to measure atau mengakui kinerja proyek secara akurat. or acknowledge project performance accurately. Selanjutnya, pelaksana tidak melaporkan hasil apapun untuk 4 dari 33 indikator, meskipun Furthermore, the implementer had not reported any results for 4 of the 33 indicators, despite yang hampir 3 tahun menjadi sebuah proyek 5-tahun. being almost 3 years into a 5-year project. Beberapa indikator ini mengukur dampak Some of these indicators measure the impact of the proyek usaha untuk membantu yang ditargetkan, populasi berisiko tinggi. project's efforts to assist targeted, high-risk populations. Pria yang berhubungan seks dengan laki-laki, untuk Men who have sex with men, for Misalnya, adalah populasi berisiko tinggi yang proyek ini untuk membayar perhatian khusus example, were a high-risk population to which the project was to pay particular attention (Indikator 15 dan 16, Lampiran III). (Indicators 15 and 16, Appendix III). Namun demikian, proyek itu tidak dilaporkan kemajuan di Nevertheless, the project had not reported any progress in menjangkau kohort-meskipun proyek ini adalah pendanaan kegiatan di daerah ini. reaching out to this cohorteven though the project is funding activities in this area.

Seperti yang dinyatakan sebelumnya, penggunaan komoditas kontrol kelahiran oleh perempuan di bawah 40 persen dari As stated earlier, the use of birth control commodities by women in the bottom 40 percent of the distribusi pendapatan dilaporkan telah meningkat 45 persen dari 2009 sampai 2010, meskipun income distribution was reported to have increased by 45 percent from 2009 to 2010, though peningkatan tahunan aktual pengguna hanya 7 persen pada 2010. the actual annual increase in users was only 7 percent in 2010. Namun, laporan tersebut tidak However, the report did not mengakui penurunan 7,6 persen dalam penggunaan tahun sebelumnya, mengakibatkan kurangnya perubahan acknowledge a 7.6 percent decrease in use the year before, resulting in a lack of change keseluruhan. overall. Dengan kata lain, peningkatan persen kumulatif sepanjang tahun fiskal 2010 secara efektif In other words, the cumulative percent increase through fiscal year 2010 was effectively nol. zero. Tanpa data dasar, target terhadap prestasi yang dapat diukur, dan Without baseline data, targets against which accomplishments can be measured, and prestasi kumulatif yang dilaporkan terhadap kehidupan-dari-proyek target, sulit untuk menentukan cumulative accomplishments reported against life-of-project targets, it is difficult to determine apakah kemajuan sedang dibuat dalam mencapai tujuan proyek dan di mana potensi whether progress is being made in accomplishing the project's objectives and where potential kelemahan dalam pelaksanaan mungkin terjadi. weaknesses in implementation may be occurring. Oleh karena itu kami membuat berikut We therefore make the following rekomendasi: recommendations: Rekomendasi 6 Kami merekomendasikan. Bahwa USAID / Kamboja menetapkan hidup dari proyek Recommendation 6. We recommend that USAID/Cambodia assign life-of-project target untuk semua indikator kinerja dalam memantau proyek dan rencana evaluasi. targets to all performance indicators in the project's monitoring and evaluation plan. Rekomendasi 7. Recommendation 7. Kami merekomendasikan bahwa USAID / Kamboja memerlukan indikator We recommend that USAID/Cambodia require indicator baseline, prestasi kumulatif, dan kehidupan-dari-proyek target untuk dimasukkan dalam baselines, cumulative accomplishments, and life-of-project targets to be included in the kinerja tahunan proyek bersama hasil laporan tahunan. project's annual performance reports alongside annual results. Hasil Usang ADS 203.3.5.1 negara. Bahwa data kinerja harus tepat waktu cukup untuk Outdated Results. ADS 203.3.5.1 states that performance data need to be timely enough to mempengaruhi pengambilan keputusan manajemen pada tingkat yang sesuai. influence management decision making at the appropriate levels. ADS juga menunjukkan bahwa ADS also indicates that Data dikenal keterbatasan harus didokumentasikan dalam laporan tahunan. known data limitations should be documented in annual reports. Melaporkan hasil untuk 7 dari Reported results for 7 out of 14 indikator kinerja utama yang terkait dampak bergantung pada data yang telah diperoleh kirakira 14 key impact-related performance indicators relied on data that had been obtained roughly a

tahun sebelum dilaporkan (Lampiran VII). year before it was reported (Appendix VII). Dengan kata lain, data yang dilaporkan untuk tahun fiskal 2010 In other words, data reported for fiscal year 2010 tercermin hasil dari periode-periode sebelumnya. reflected results from earlier periods. Ditanya alasan untuk pelaporan data lama, seorang pejabat Asked the reason for reporting old data, an official bekerja untuk pelaksana memberitahu kami bahwa pelaksana harus melakukan survei terlalu banyak working for the implementer informed us that the implementer had to perform too many surveys dan tidak mampu untuk melakukan semuanya dalam waktu untuk pelaporan tahunan. and was unable to conduct them all in time for annual reporting. Dengan demikian, pelaksana yang digunakan Thus, the implementer used hasil tahun sebelumnya ketika arus-tahun hasil belum tersedia. prior-year results when currentyear results were not yet available. Selain melaporkan informasi usang, pelaksana telah mengirimkan setengah tahunan In addition to reporting outdated information, the implementer has been submitting semiannual laporan kinerja, meskipun perjanjian kerja sama proyek membutuhkan laporan triwulanan. performance reports, despite the project's cooperative agreement requiring quarterly reporting. Laporan Triwulan dipanggil untuk untuk memberikan misi dengan informasi yang akurat tentang kemajuan, Quarterly reporting was called for to provide the mission with timely information on progress, masalah yang dihadapi, dan kisah sukses. problems encountered, and success stories. Meskipun ada pemahaman informal yang Although there was an informal understanding 88 Halaman 12 Page 12 antara pelaksana dan perwakilan teknis petugas perjanjian tidak memerlukan between the implementer and the agreement officer's technical representative not to require laporan triwulanan, tidak ada persetujuan secara resmi diberikan untuk membunuh dengan kebutuhan. quarterly reporting, no formal authorization was given to do away with the requirement. Memperoleh gambaran yang akurat tentang dampak proyek menjadi kacau ketika mengandalkan pada data Obtaining an accurate depiction of the project's impact becomes muddled when relying on data yang saat ini satu tahun atau lebih yang lalu. that was current a year or more ago. Dengan kata lain, adalah menyesatkan untuk merepresentasikan data sebagai In other words, it is misleading to represent data as berkaitan dengan tahun fiskal 2010 ketika pada kenyataannya berasal dari tahun fiskal sebelumnya. pertaining to fiscal year 2010 when in fact it comes from prior fiscal years. Demikian juga, tidak Likewise, not memberikan misi dengan kinerja yang formal laporan sesering yang diperlukan dalam providing the mission with formal performance reports as frequently as required in the perjanjian kerjasama mengurangi kemampuan misi untuk memantau proyek dan menjaga cooperative agreement reduces the mission's ability to monitor the project and maintain the dimaksudkan tingkat keterlibatan substansial. intended level of substantial involvement. Oleh karena itu kami membuat rekomendasi berikut: We therefore make the following recommendations:

Rekomendasi 8. Kami merekomendasikan bahwa USAID / Kamboja memerlukan data lebih tepat waktu Recommendation 8. We recommend that USAID/Cambodia require more timely data untuk mendukung melaporkan hasil tahunan. to support reported annual results. Jika pelaksana tidak mampu untuk menyediakan data untuk If the implementer is unable to provide the data for tahun fiskal ditunjukkan dalam laporan kinerja, keterbatasan ini data perlu the fiscal year indicated in the performance reports, this data limitation needs to be jelas didokumentasikan dalam pelaporan hasil. clearly documented in the results reporting. Rekomendasi 9 Kami merekomendasikan. Bahwa USAID / Kamboja memerlukan pelaksana untuk Recommendation 9. We recommend that USAID/Cambodia require the implementer to menyerahkan laporan triwulanan resmi seperti yang dipersyaratkan oleh perjanjian kerjasama proyek, atau submit formal quarterly reports as required by the project's cooperative agreement, or mengubah perjanjian kerjasama untuk memungkinkan pelaporan kinerja setengah tahunan sebagai gantinya. amend the cooperative agreement to permit semiannual performance reporting instead. 99 Halaman 13 Page 13 EVALUASI MANAJEMEN EVALUATION OF MANAGEMENT COMMENTS COMMENTS Kantor Inspektur Jenderal telah mengkaji respons misi untuk draf laporan dan The Office of Inspector General has reviewed the mission's response to the draft report and ditentukan bahwa keputusan manajemen telah dicapai pada Rekomendasi 1, 3, 4, 6, 7, determined that management decisions have been reached on Recommendations 1, 3, 4, 6, 7, 8, dan 9. 8, and 9. Keputusan manajemen belum dicapai Rekomendasi 2 dan 5. Management decisions have not been reached on Recommendations 2 and 5. Di bawah ini Below adalah evaluasi OIG dari komentar manajemen USAID / Kamboja. is OIG's evaluation of USAID/Cambodia's management comments. Untuk Rekomendasi 1, misi berencana untuk melakukan kajian teknis pelatihan untuk memastikan For Recommendation 1, the mission plans to conduct a technical review of training to ensure petugas penjangkauan dilatih dan didukung untuk menyediakan pilihan informasi. outreach workers are trained and supported to provide informed choice. Tanggal target untuk The target date for penyelesaian tindakan ini 1 Juli 2011. completion of these actions is July 1, 2011. Kami menyimpulkan bahwa keputusan manajemen telah We conclude that a management decision has telah dicapai pada rekomendasi ini. been reached on this recommendation. Untuk Rekomendasi 2, misi dimaksud tindakan yang diambil untuk Rekomendasi 1 - For Recommendation 2, the mission referred to actions being taken for Recommendation 1 hanya meninjau pelatihan penjangkauan pekerja dan dukungan-tindakan yang tidak alamat tujuannya merely reviewing outreach worker training and supportactions that do not address the intent Rekomendasi 2. of Recommendation 2. Presentasi penjangkauan itu sendiri dipertanyakan karena saat ini The outreach presentation itself is being questioned as it currently

menekankan hanya satu metode pengendalian kelahiran. emphasizes only one method of birth control. Presentasi itu sendiri harus disesuaikan dengan The presentation itself needs to be adjusted to memastikan bahwa metode keluarga berencana semua terwakili secara adil. ensure that all family planning methods are fairly represented. Sebuah keputusan manajemen akan A management decision will be sekali mencapai misi mengembangkan rencana untuk menyesuaikan presentasi saat ini, dan tindakan akhir akan reached once the mission develops a plan to adjust the current presentation, and final action will diambil ketika rencana yang diimplementasikan. be taken when that plan is implemented. Untuk Rekomendasi 3, misi sepakat untuk merevisi indikator yang diidentifikasi dalam Lampiran III. For Recommendation 3, the mission agreed to revise the indicators identified in Appendix III. Tanggal target penyelesaian tindakan adalah 1 Juni 2011. The target date for completion of these actions is June 1, 2011. Kami menyimpulkan bahwa We conclude that a keputusan manajemen telah dicapai pada rekomendasi ini. management decision has been reached on this recommendation. Untuk Rekomendasi 4, misi berencana untuk menyediakan catatan kaki dalam logframe proyek untuk For Recommendation 4, the mission plans to provide footnotes within the project's logframe to mendefinisikan terminologi termasuk dalam indikator kinerja. define terminology included in the performance indicators. OIG ingin mengingatkan misi OIG would like to remind the mission untuk memastikan bahwa indikator kinerja yang diidentifikasi dalam laporan tahunan mendamaikan dengan to ensure that the performance indicators identified in annual reporting reconcile with the indikator yang terletak di logframe tersebut. indicators located in the logframe. Tanggal target penyelesaian tindakan di 1 Juni The target date for completion of these actions is June 1, 2011. 2011. Kami menyimpulkan bahwa keputusan manajemen telah dicapai pada rekomendasi ini. We conclude that a management decision has been reached on this recommendation. Untuk Rekomendasi 5, misi umumnya sepakat untuk memodifikasi dan lebih baik menentukan Lampiran For Recommendation 5, the mission generally agreed to modify and better define the Appendix Indikator kinerja VI dan hasil yang dilaporkan, tetapi tidak setuju bahwa indikator yang berkaitan dengan liter VI performance indicators and reported results, but disagreed that the indicator relating to liters air minum didesinfeksi perlu diklarifikasi. of drinking water disinfected needed to be clarified. Misi merasa perhitungan yang digunakan untuk The mission felt the calculation used to memperkirakan air minum didesinfeksi masih terdengar meskipun penemuan kami bahwa penerima bantuan estimate disinfected drinking water was still sound despite our discovery that beneficiaries are umumnya diberitahu untuk menggunakan dua tablet (bukan satu) pada jumlah yang sama air jika air yang tidak jelas. generally told to use two tablets (not one) on the same amount of water if that water is not clear. "Air didesinfeksi" perhitungan tidak memperhitungkan ini. The water disinfected calculation does not take this into account. Selain itu, tidak membuat In addition, it does not make

akal untuk melaporkan jumlah "tablet pengolahan air yang dijual" (prestasi output terkait) sebagai sense to report the number of water treatment tablets sold (an output-related achievement) as "Didesinfeksi air" (sebuah pencapaian dampak-terkait). water disinfected (an impact-related achievement). Dengan tidak melaporkan prestasi sebagai By not reporting the accomplishment as "Jumlah tablet pengolahan air yang dijual," melaporkan hasil mengabaikan sejumlah faktor yang number of water treatment tablets sold, the reported result ignores any number of factors that dapat menyebabkan jumlah yang dilaporkan air didesinfeksi untuk dilebih-lebihkan, seperti menggunakan dua could cause the reported amount of water disinfected to be overstated, such as using two tablet bukan satu untuk air tidak jelas, produk yang tidak terjual yang tersisa di gerai penjualan, produk tablets instead of one for unclear water, the product remaining unsold in sales outlets, product kadaluwarsa, dll Sampai indikator ini ditujukan, keputusan manajemen tidak dapat dicapai. expiry, etc. Until this indicator is addressed, a management decision cannot be reached. Untuk Rekomendasi 6, misi ini bekerja dengan pelaksana proyek untuk menyelesaikan hidup-ofFor Recommendation 6, the mission is working with the project implementer to finalize life-ofproyek target untuk indikator logframe. project targets for the logframe indicators. Tanggal target penyelesaian tindakan ini adalah The target date for completion of these actions is 1 Juni 2011. June 1, 2011. Oleh karena itu kita menyimpulkan bahwa keputusan manajemen telah dibuat. We therefore conclude that a management decision has been made. Akhir Final 10 10 Halaman 14 Page 14 tindakan yang akan dicapai pada rekomendasi ini ketika semua 33 indikator kinerja yang dilaporkan dalam action will be reached on this recommendation when all 33 performance indicators reported in laporan kinerja tahunan terwakili dalam logframe tersebut. the annual performance reports are represented in the logframe. Untuk Rekomendasi 7, misi ini bekerja dengan pelaksana proyek untuk menyelesaikan indikator For Recommendation 7, the mission is working with the project implementer to finalize indicator baseline, prestasi kumulatif, dan kehidupan-dari-proyek target dalam indikator logframe. baselines, cumulative accomplishments, and life-of-project targets in the logframe indicators. Tanggal target penyelesaian tindakan adalah 1 Juni 2011. The target date for completion of these actions is June 1, 2011. Oleh karena itu kita menyimpulkan bahwa We therefore conclude that a keputusan manajemen telah dibuat. management decision has been made. Aksi final akan dicapai pada rekomendasi ini Final action will be reached on this recommendation ketika semua indikator kinerja 33 dilaporkan di dalam laporan tahunan kinerja when all 33 performance indicators reported on in the annual performance reports are terwakili dalam logframe tersebut. represented in the logframe. Untuk Rekomendasi 8, batasan data akan disajikan dan didokumentasikan dalam apa yang akan For Recommendation 8, any data limitation will be presented and documented in what will be laporan triwulan berikutnya, karena pada tanggal 30 April 2011. the next quarterly report, due on April 30, 2011. Tanggal target untuk menyelesaikan tindakan ini 1 Juli, The target date for completing actions is July 1, 2011. 2011. Kami menyimpulkan bahwa keputusan manajemen telah dicapai pada rekomendasi ini. We conclude that a management decision has been reached on this recommendation.

Untuk Rekomendasi 9, misi akan memulai laporan triwulanan mulai dengan kedua For Recommendation 9, the mission will initiate quarterly reports starting with the second kuartal tahun fiskal 2011, dengan laporan karena misi pada 30 April 2011. quarter of fiscal year 2011, with the report due to the mission on April 30, 2011. Para The laporan triwulan berikutnya akan diterima oleh misi pada bulan Agustus 2011, dan penerimaan ini subsequent quarterly report will be received by the mission in August 2011, and receipt of this laporan akan memverifikasi bahwa misi telah memenuhi rekomendasi. report will verify that the mission has complied with the recommendation. Tanggal target untuk The target date for penyelesaian tindakan ini adalah 31 Agustus 2011. completion of these actions is August 31, 2011. Oleh karena itu kami menyimpulkan bahwa manajemen sebuah We therefore conclude that a management keputusan telah dicapai pada rekomendasi ini. decision has been reached on this recommendation. OIG juga ingin menanggapi komentar-komentar umum dalam respon misi tertulis: OIG would also like to respond to the general comments in the mission's written response: Misi nomor satu komentar Audit proyek perubahan perilaku komunikasi Mission comment number one Audit of behavior-change communication projects OIG Tanggapan: Misi menyatakan keprihatinannya bahwa pernyataan khusus dalam audit OIG response : The mission expressed its concern that specific statements within the audit Temuan tidak akurat mencerminkan kemajuan proyek / prestasi. findings did not accurately reflect the project's progress/accomplishments. Misi The mission menyoroti keberhasilan indikator kunci seperti laki-laki berisiko tinggi perkotaan pelaporan penggunaan konsisten highlighted the success of key indicators such as high-risk urban men reporting consistent use kondom dengan kekasih, sukses bahwa laporan audit OIG telah diakui. of condoms with sweethearts, a success that the OIG audit report has already acknowledged. Misi ini juga menyoroti risiko tinggi perkotaan pria yang melaporkan penggunaan kondom konsisten dengan The mission also highlighted high-risk urban men reporting consistent condom use with pasangan seks komersial yang meningkat dari 85 persen pada 2008 menjadi 96 persen pada 2009, mencatat commercial sex partners having increased from 85 percent in 2008 to 96 percent in 2009, noting bahwa hasil pada tahun 2008 lebih rendah dari tahun sebelumnya (tahun 2007 tingkat 94 persen yang konsisten that results in 2008 were lower than previous years (in 2007 a rate of 94 percent consistent penggunaan kondom dilaporkan). condom use was reported). Ini adalah pendapat kami bahwa memilih untuk mengabaikan data dari tahun It is our opinion that choosing to ignore the data from the year segera sebelum awal proyek diskon baseline paling dapat diandalkan immediately preceding the beginning of the project discounts the most reliable baseline tersedia pengukuran. measurement available. Dalam contoh lain, misi memilih untuk menggunakan data tahun 2006 sebagai baseline bukannya 2007 data, In another instance, the mission chose to use 2006 data as the baseline instead of 2007 data,

yang kita dilihat di Laporan Tahunan 2010 Kinerja TA. which we viewed in the FY 2010 Annual Performance Report. Kami mencatat bahwa data tahun 2006 We noted that the 2006 data memberikan titik awal jauh lebih rendah dari 2007, sehingga diuntungkan setiap perbandingan masa depan. provided a much lower starting point than 2007, thus benefitting any future comparisons. Juga, laporan audit OIG mengakui perbaikan kecil dalam persentase menikah Also, the OIG audit report acknowledged a small improvement in the percentage of married wanita usia reproduktif menggunakan metode jarak kelahiran modern dari 43 persen pada 2007 (catatan, women of reproductive age using modern birth spacing methods from 43 percent in 2007 (note, ini merupakan salah satu dasar sebelum periode proyek) menjadi 46 persen pada 2010. this is another baseline prior to the project period) to 46 percent in 2010. Sementara sedikit While a slight meningkat, perbaikan secara statistik tidak signifikan-terutama mengingat luas bervariasi increase, the improvement is statistically insignificantespecially considering the widely varied berbagai hasil survei yang dilaporkan selama beberapa tahun terakhir. range of survey results reported over the last few years. Misi nomor dua comment berbasis populasi survei Mission comment number two Population-based surveys OIG Tanggapan: Misi tersebut menyatakan bahwa proyek tidak melakukan survei berdasarkan populasi OIG response : The mission stated that the project did not conduct population based surveys untuk dua kelompok populasi: orang yang hidup dengan HIV / AIDS dan pengguna narkoba suntikan. for two population groups: people living with HIV/AIDS and injection drug users. OIG ingin OIG would like untuk menegaskan kembali bahwa audit tidak pernah mempertanyakan fakta bahwa pelaksana tidak melakukan to reiterate that the audit never questioned the fact that the implementer did not conduct 11 11 Halaman 15 Page 15 survei perilaku orang yang hidup dengan HIV / AIDS atau pengguna narkoba suntik. behavior surveys of people living with HIV/AIDS or injecting drug users. Koperasi The cooperative kesepakatan mengutip sejumlah populasi berisiko target, tetapi juga mencatat bahwa diberikan terbatas agreement cited a number of at-risk target populations, but also noted that given limited sumber daya, proyek akan memprioritaskan orang-orang yang terlibat dalam perilaku berisiko yang tumpang tindih. resources, the project would prioritize those individuals engaging in overlapping risk behaviors. Audit tidak mempertanyakan seleksi proyek populasi yang ditargetkan. The audit did not question the project's selection of targeted populations. OIG tidak yakin mengapa OIG is not sure why kekhawatiran ini diungkapkan. this concern was expressed. Misi jumlah komentar tiga daerah lain perbaikan Mission comment number three Other areas of improvement OIG Tanggapan: Misi menyatakan keprihatinan bahwa temuan laporan tersebut tidak mencerminkan OIG response : The mission expressed concern that the findings of the report do not reflect the

atas tren penggunaan kondom dan dukungan yang relevan sejak tahun 1993. upward trend of condom use and relevant support since 1993. Namun, Ringkasan laporan However, the report's Summary Hasil ini jelas mengidentifikasi tren positif baik untuk penggunaan kondom dan jarak kelahiran yang modern of Results clearly identifies this positive trend for both condom use and modern birth spacing produk dari tahun sebelumnya sampai saat Proyek SMBCI saat ini. products from prior years up until the time of the current SMBCI Project. Tujuan dari The purpose of the audit, meskipun, adalah untuk meninjau kegiatan dari Proyek-bukan prestasi SMBCI sebelumnya. audit, though, was to review the activities of the SMBCI Projectnot prior achievements. Misi ini juga menyoroti keberhasilan proyek dalam meningkatkan akses terhadap produk kesehatan, The mission also highlighted the project's success in increasing access to health products, yang OIG juga mengakui dalam laporan. which OIG also acknowledged in the report. Isu-isu yang dikembangkan dalam audit yang berhubungan dengan The issues developed in the audit related to perubahan perilaku itu sendiri, bukan ketersediaan produk. behavior change itself, not product availability. Misi comment nomor empat-Paparan berbagai sumber informasi tentang FP Mission comment number four Exposure to multiple sources of information on FP OIG Tanggapan: Misi ini menyoroti berbagai saluran komunikasi proyek telah OIG response : The mission highlights the multiple communication channels the project has digunakan untuk mencapai tujuan proyek dan sasaran, termasuk iklan radio dan televisi. used to achieve project goals and objectives, including radio and television ads. Namun, However, a 2010 Survei kesehatan reproduksi ditentukan bahwa hanya 44,7 persen rumah tangga memiliki radio 2010 reproductive health survey determined that only 44.7 percent of households had a radio dan hanya 67 persen memiliki televisi. and only 67 percent had a television. Karena petugas penjangkauan (komunikasi lain Since the outreach workers (another communication saluran) mengunjungi perempuan di masyarakat pedesaan, maka akan muncul jelas mereka berusaha untuk channel) visited women in rural communities, it would appear evident they were attempting to menjangkau perempuan miskin yang akan memiliki kurang dari kesempatan akses harus baik radio atau reach out to poor women who would have less of a chance of having access to either radio or televisi. television. Dalam kasus apapun, audit khusus mengidentifikasi intervensi penjangkauan memiliki In any case, the audit specifically identified the outreach intervention as having menekankan salah satu metode pengendalian kelahiran-meskipun kita tidak menyangkal bahwa komunikasi lainnya emphasized one method of birth controlthough we do not deny that other communication saluran mungkin telah memberikan informasi tentang metode pengendalian kelahiran lainnya. channels may have provided information on other birth control methods. Misi komentar nomor lima-Meningkatkan akses ke berbagai FP pilihan dalam komunitas Mission comment number five Increasing access to the range of FP options in a community

OIG Tanggapan: Misi mencatat bahwa IUD didukung oleh program-program USAID bersama dengan OIG response : The mission noted that IUDs are supported by USAID programs along with metode lain, tapi itu sudah lama AKDR diabaikan di Kamboja. other methods, but that IUDs had been long neglected in Cambodia. OIG memahami kebutuhan OIG understands the need untuk mendidik perempuan tentang IUD dan tidak mengatakan untuk melakukan sebaliknya. to educate women about the IUD and is not saying to do otherwise. Namun, SMBCI However, the SMBCI Proyek khusus diidentifikasikan kesalahpahaman tentang produk jarak kelahiran hormon sebagai utama Project specifically identified misconceptions about hormonal birth spacing products as a major penghalang untuk penerimaan keluarga berencana, penghalang proyek ini dirancang untuk alamat. barrier to family planning acceptance, a barrier the project was designed to address. Untuk itu For that Alasannya, proyek kebutuhan untuk mendidik perempuan tentang semua produk-dan tersedia tidak fokus pada reason, the project needs to educate women about all the available products and not focus on hanya satu non-hormon jarak kelahiran produk. just one nonhormonal birth-spacing product. Lain OIG Komentar: Other OIG Comment : Selain itu, misi yang disarankan dalam paragraf ketiga dari halaman sampul manajemen In addition, the mission suggested in the third paragraph of the cover page of its management komentar yang OIG harus audit perubahan perilaku proyek-seperti SMBCI Proyek- comments that OIG should audit behavior-change projectssuch as the SMBCI Project menjelang akhir proyek untuk memungkinkan untuk pengukuran yang lebih baik dari dampak proyek. toward the end of the project to allow for better measurement of project impact. OIG OIG memahami audit yang seperti proyek menjelang akhir pelaksanaan akan memberikan understands that auditing such a project toward the end of implementation would provide a lebih baik pengukuran dampak keseluruhan proyek. better measurement of the project's overall impact. Namun, juga penting untuk mengevaluasi However, it is also important to evaluate a melalui pelaksanaan proyek tengah untuk mengidentifikasi kekurangan dalam pelaksanaan atau dalam data project midway through implementation to identify deficiencies in implementation or in data pelaporan. reporting. Meninjau proyek tengah izin perubahan harus dibuat jika ditemukan perlu. Reviewing a project midway permits changes to be made if found necessary. 12 12 Halaman 16 Page 16 Lampiran I Appendix I RUANG LINGKUP DAN METODOLOGI SCOPE AND METHODOLOGY Cakupan Scope Kami melaksanakan audit ini sesuai dengan audit pemerintah yang berlaku umum We conducted this audit in accordance with generally accepted government auditing standar. standards. 77 Standar tersebut mengharuskan kami merencanakan dan melaksanakan audit untuk memperoleh cukup, Those standards require that we plan and perform the audit to obtain sufficient,

bukti yang tepat untuk memberikan dasar memadai untuk temuan kami dan kesimpulan dalam appropriate evidence to provide a reasonable basis for our findings and conclusions in sesuai dengan tujuan audit kami. accordance with our audit objective. Kami percaya bahwa bukti yang diperoleh menyatakan bahwa We believe that the evidence obtained provides that dasar yang memadai. reasonable basis. Tujuan dari audit ini adalah untuk menentukan apakah USAID / Kamboja Pemasaran Sosial dan The purpose of this audit was to determine whether USAID/Cambodia's Social Marketing and Perubahan Perilaku Intervensi untuk HIV / AIDS, Kesehatan Reproduksi dan Seksual dan Anak Behavior Change Interventions for HIV/AIDS, Reproductive and Sexual Health and Child Bertahan hidup di Kamboja Proyek adalah mencapai tujuan utama meningkatkan kesehatan penduduk miskin dan Survival in Cambodia Project was achieving its main goal of improving the health of poor and rentan Kamboja. vulnerable Cambodians. Untuk mengimplementasikan proyek ini, USAID mendapat $ 15.900.000 koperasi To implement the project, USAID awarded a $15.9 million cooperative kesepakatan untuk Population Services International, yang mencakup periode 5 tahun dari tanggal 5 Februari agreement to Population Services International, covering a 5-year period from February 5, 2008, melalui 4 Februari 2013. 2008, through February 4, 2013. Berdasarkan perjanjian ini, kegiatan proyek diharapkan untuk Under this agreement, the project's activities are expected to (1) meningkatkan akses kondom, produk pengendalian kelahiran, dan oralit, (2) peningkatan Kamboja (1) increase access to condoms, birth control products, and ORS, (2) increase Cambodian kapasitas nasional untuk mengelola dan mempertahankan hasil dalam jangka panjang dengan ketergantungan berkurang pada national capacity to manage and sustain results over the long term with reduced dependence on donor, dan (3) meningkatkan pengetahuan sikap, kesadaran, dan mendukung untuk mengubah perilaku donors, and (3) improve knowledge, awareness, and supportive attitudes to change behaviors antara populasi prioritas. among priority populations. 88 Pada tanggal 30 September, 2010 kewajiban kumulatif dan As of September 30, 2010, cumulative obligations and pencairan di bawah proyek sebesar $ 11.200.000 dan $ 8,4 juta, masing-masing. disbursements under the project totaled $11.2 million and $8.4 million, respectively. Audit ini meliputi kegiatan-kegiatan proyek selama kira-kira periode 2,5 tahun, dari dimulainya The audit covered project activities over roughly a 2.5-year period, from the inception of the proyek pada tanggal 5 Februari, 2008 sampai dengan 30 September 2010. project on February 5, 2008, through September 30, 2010. Secara umum, audit yang terlibat (1) In general, the audit involved (1) memvalidasi hasil dilaporkan untuk memilih indikator kinerja utama melalui pengujian, dan (2) validating reported results for selected key performance indicators through testing, and (2) melakukan kunjungan lapangan untuk dipilih proyek yang didukung masyarakat untuk mengamati kelas dan conducting site visits to selected project-supported communities to observe classes and

Wawancara penerima bantuan. interview beneficiaries. Dari 33 proyek indikator kinerja, audit difokuskan pada Of the project's 33 performance indicators, the audit focused on those yang berkaitan paling langsung untuk mencapai tujuan utama proyek. that related most directly to achieving the project's main goals. Pengujian bertujuan untuk memvalidasi data yang dilaporkan di bawah indikator. Testing aimed to validate the data reported under these indicators. Untuk setiap proyek yang dipilih For each selected project kegiatan, tim audit memeriksa data yang dilaporkan selama periode yang dicakup oleh audit terhadap activity, the audit team checked the data reported during the period covered by the audit against mendukung catatan pada file dengan pelaksana. supporting records on file with the implementer. Karena pengujian ini didasarkan pada Since this testing was based on a -bukan menghakimi sampel statistik-indikator dan propinsi, hasil dan keseluruhan judgmentalnot a statisticalsample of indicators and provinces, the results and overall kesimpulan yang berkaitan dengan analisis ini terbatas pada barang yang diuji dan tidak dapat diproyeksikan untuk conclusions related to this analysis were limited to the items tested and cannot be projected to seluruh alam semesta audit. the entire audit universe. Sebagai bagian dari audit, kami menilai pengendalian internal yang signifikan digunakan oleh USAID / Kamboja As part of the audit, we assessed the significant internal controls used by USAID/Cambodia to memonitor kegiatan program. monitor program activities. Penilaian meliputi kontrol terkait dengan apakah misi itu The assessment included controls related to whether the mission had (1) dilakukan dan didokumentasikan kunjungan situs untuk mengevaluasi kemajuan dan memantau kualitas, (2) diperlukan (1) conducted and documented site visits to evaluate progress and monitor quality, (2) required dan menyetujui rencana implementasi, dan (3) terakhir kemajuan laporan yang disampaikan oleh and approved an implementation plan, and (3) reviewed progress reports submitted by the pelaksana. implementer. Kami juga memeriksa tahun fiskal 2010 misi penilaian diri tahunan We also examined the mission's fiscal year 2010 annual self-assessment of 77 Standar Audit Pemerintah, Juli 2007 Revisi (GAO-07-731G). Government Auditing Standards , July 2007 Revision (GAO-07-731G). 88 Sebuah komponen proyek keempat adalah untuk meningkatkan pengetahuan dan dasar bukti untuk efektif dan efisien A fourth project component is to increase the knowledge and evidence base for effective and efficient pemasaran sosial dan intervensi perubahan perilaku melalui makalah yang disajikan dan internasional social marketing and behavior-change interventions through internationally presented papers and penelitian disebarluaskan kepada mitra di Kamboja. research disseminated to partners in Cambodia. Kami tidak menyertakan komponen ini dalam lingkup kami We did not include this component in the scope of our Audit karena komponen tampaknya tidak memiliki efek langsung pada tujuan utama proyek. audit because the component did not appear to have an immediate effect on the project's main goal.

13 13 Halaman 17 Page 17 Lampiran I Appendix I manajemen kontrol, yang misi diperlukan untuk melakukan untuk mematuhi Federal management controls, which the mission is required to perform to comply with the Federal Manajer Integritas Keuangan Act of 1982, Managers' Financial Integrity Act of 1982, 99 untuk menentukan apakah penilaian yang dikutip setiap to determine whether the assessment cited any kelemahan yang relevan. relevant weaknesses. Audit lapangan dilakukan pada misi USAID / Kamboja serta di pelaksana yang Audit fieldwork was performed at the USAID/Cambodia mission as well as at the implementer's kantor di Phnom Penh dari 02-13 November dan dari 05-11 Desember, 2010. offices in Phnom Penh from November 2 to 13 and from December 5 to 11, 2010. Dalam yang In that periode, tim audit yang dilakukan kunjungan lapangan selama 5 hari melalui tujuh provinsi period, the audit team conducted field trips over the course of 5 days through seven provinces (Phnom Penh, Kandal, kampung Chhnang, Pursat, Battambang, Siem Reap, dan Kampung (Phnom Penh, Kandal, Campong Chhnang, Pursat, Battambang, Siem Reap, and Kampong Thom) untuk melakukan kunjungan situs untuk komunitas yang dipilih untuk mengamati kegiatan proyek dan wawancara Thom) to conduct site visits to selected communities to observe project activities and interview penerima manfaat serta staf pelaksana. beneficiaries as well as implementer staff. Selama kunjungan situs, auditor mengunjungi beberapa During these site visits, the auditors visited several masyarakat dan masukan yang diperoleh dari lebih dari 80 individu. communities and obtained input from over 80 individuals. Metodologi Methodology Untuk menentukan apakah proyek ini mencapai tujuan utamanya, tim audit awalnya To determine whether the project was achieving its main goal, the audit team initially mewawancarai staf di Kantor kunci USAID / Kamboja Kesehatan Masyarakat dan Pendidikan dan pada interviewed key staff in USAID/Cambodia's Office of Public Health and Education and at the pelaksana di kantor untuk memperoleh pemahaman tentang proyek, para pemain kunci dan peran mereka implementer's offices to gain an understanding of the project, the key players and their roles dan tanggung jawab, dan prosedur pelaporan dan kontrol di tempat untuk memantau and responsibilities, and the reporting procedures and controls in place for monitoring the proyek. project. Pekerjaan tambahan untuk menjawab tujuan audit dibagi menjadi dua bagian: (1) memvalidasi Additional work to answer the audit objective was divided into two parts: (1) validating data hasil yang dilaporkan di bawah dipilih indikator kinerja utama dengan catatan pendukung the results data reported under selected key performance indicators against supporting records pada file dengan pelaksana dan (2) melakukan kunjungan lapangan ke masyarakat dipilih untuk mewawancarai on file with the implementer and (2) conducting field trips to selected communities to interview a sampel penerima manfaat proyek. sample of project beneficiaries.

Dalam memvalidasi hasil proyek, tim audit awalnya diidentifikasi kunci yang terkait dampakkinerja In validating the project results, the audit team initially identified key impact-related performance indikator yang akan diuji (Lampiran III). indicators to be tested (Appendix III). Tim audit kemudian mengkaji data hasil yang dilaporkan The audit team then reviewed the results data reported di bawah indikator yang dipilih, dari awal proyek pada Februari 2008 melalui under these selected indicators, from the inception of the project in February 2008 through September 2010, memeriksa data yang dilaporkan dengan catatan pada file dengan pelaksana. September 2010, checking the reported data against records on file with the implementer. Untuk To melihat berbagai kegiatan proyek, audit mengunjungi situs yang dipilih aktivitas di 7 dari view a wide range of project activities, the audit visited selected activity sites in 7 of the negara 24 provinsi. country's 24 provinces. Untuk menilai hasil tes, tim audit ditetapkan ambang batas materialitas 85 persen yang To assess the test results, the audit team established a materiality threshold of 85 percent that didasarkan sebagian pada lingkungan yang menantang di mana proyek dioperasikan. was based in part on the challenging environment in which the project operated. Misalnya, jika For example, if setidaknya 85 persen dari data hasil diuji dilaporkan di bawah indikator kinerja spesifik untuk at least 85 percent of tested results data reported under a specific performance indicator for a propinsi terpilih ditemukan secara memadai didukung, auditor menyimpulkan bahwa selected province were found to be adequately supported, the auditors concluded that the Hasil yang dilaporkan cukup akurat. reported results were reasonably accurate. 99 Hukum Publik 97-255, seperti yang dikodifikasikan dalam 31 USC 3512. Public Law 97255, as codified in 31 USC 3512. 14 14 Halaman 18 Page 18 Lampiran II Appendix II MANAJEMEN COMMENTS MANAGEMENT COMMENTS 18 Maret 2011 March 18, 2011 MEMORANDUM MEMORANDUM UNTUK: TO: Bruce N. Boyer Bruce N. Boyer Daerah Inspektur Jenderal, Manila Regional Inspector General, Manila DARI: FROM: Flynn Fuller / s / Flynn Fuller /s/ Direktur Misi USAID / Kamboja Mission Director, USAID/Cambodia TOPIK: Audit Pemasaran Sosial dan Intervensi Perubahan Perilaku untuk HIV / AIDS, SUBJECT: Audit of Social Marketing and Behavior Change Interventions for HIV/AIDS, Kesehatan Reproduksi dan Seksual dan Survival Anak di Kamboja Proyek (Audit Reproductive and Sexual Health and Child Survival in Cambodia Project (Audit Laporan No 5-442-11-00X-P) Report No. 5-442-11-00X-P) Referensi: (1) Reference: (1)

BBoyer / FFuller Memo tanggal 16 Februari 2011 BBoyer/FFuller Memo Dated February 16, 2011 Menanggapi Audit Pemasaran Sosial dan Intervensi Perubahan Perilaku untuk HIV / AIDS, In response to the Audit of Social Marketing and Behavior Change Interventions for HIV/AIDS, Kesehatan Reproduksi dan Seksual dan Survival Anak di Kamboja Proyek (Laporan Audit No 5 - Reproductive and Sexual Health and Child Survival in Cambodia Project (Audit Report No. 5442-11-00X-P) bahwa USAID / Kamboja diterima pada tanggal 16 Februari, 2011 USAID / Kamboja 442-11-00X-P) that USAID/Cambodia received on February 16, 2011, USAID/Cambodia menghargai kesempatan untuk merespon dan memberikan komentar pada review audit. appreciates the opportunity to respond and provide comments on the audit review. USAID / Kamboja memuji profesionalisme dan ketelitian dari Inspektur Daerah USAID/Cambodia commends the professionalism and thoroughness of the Regional Inspector Umum (RIG) / Manila tim audit. General (RIG)/Manila audit team. Setelah seksama terhadap temuan audit dan After careful review of the audit findings and rekomendasi, kami akan menyarankan tindakan berikut seperti dijelaskan di bawah. recommendations, we would suggest the following actions as described below. Sebagai komentar umum, karena mengubah perilaku individu adalah kompleks dan biasanya membutuhkan As a general comment, because changing individual behavior is complex and typically requires input bersama selama jangka waktu, kami akan menyarankan bahwa perubahan perilaku concerted inputs over an extended period of time, we would suggest that a behavior change proyek harus diaudit pada tahap selanjutnya dari perjanjian kerjasama untuk memungkinkan evaluasi yang lebih benar tentang project be audited at a later stage of the cooperative agreement to allow for a truer evaluation of dampak proyek. the project's impact. Penduduk Layanan Internasional (PSI) / Kamboja telah diaudit oleh RIG di Population Service International (PSI)/Cambodia was audited by RIG at titik tengah dari lima tahun perjanjian kerja sama nya. the halfway point of its five-year cooperative agreement. Mengingat bahwa RIG adalah mandat untuk Given that the RIG is mandated to mempertimbangkan data hanya yang disebarluaskan dalam kehidupan proyek ini, kami percaya bahwa sulit consider only data that is disseminated within the life of this project, we believe that it is difficult untuk mengevaluasi dampak-indikator tingkat proyek, hanya karena telah ada tidak memadai to evaluate impact-level indicators of the project, simply because there has been an inadequate jumlah waktu untuk perubahan perilaku telah terjadi. amount of time for changes in behavior to have occurred. Akibatnya, RIG dapat mempertimbangkan Consequently, RIG may consider evaluasi penjadwalan proyek yang terutama ditujukan untuk mengubah perilaku sehingga mereka scheduling evaluations of projects which are primarily aimed at changing behavior so that they jatuh lebih dekat ke akhir proyek. fall closer to the end of the project. Terkait dengan rekomendasi spesifik RIG itu audit, Related to the RIG's specific audit recommendations, silahkan mencari USAID / Kamboja tanggapan di bawah ini: please find USAID/Cambodia responses below: 15 15 Halaman 19 Page 19

Lampiran II Appendix II USAID / Kamboja tanggapan terhadap rekomendasi spesifik RIG itu audit: USAID/Cambodia responses to the RIG's specific audit recommendations: 1. 1. Kami merekomendasikan bahwa USAID / Kamboja meninjau pelatihan yang diberikan kepada staf penjangkauan dan We recommend that USAID/Cambodia review the training provided to outreach staff and mengembangkan dan melaksanakan rencana untuk memastikan bahwa staf yang cukup siap untuk memberikan develop and implement a plan to ensure that staff are adequately prepared to provide lengkap dan akurat informasi. complete and accurate information. USAID / Kamboja OPHE staf teknis akan meninjau semua PSI / pelatihan Kamboja USAID/Cambodia OPHE technical staff will review all PSI/Cambodia training program untuk memastikan bahwa pelatihan secara akurat memberikan informasi kepada penjangkauan programs to ensure that the training accurately provides information to outreach pekerja pada semua metode. workers on all methods. Petugas penjangkauan dilatih dan didukung untuk menyediakan Outreach workers are trained and supported to provide informasi pilihan. informed choice. Namun, PSI / Kamboja akan memastikan bahwa pemantauan program However, PSI/Cambodia will ensure that monitoring of program kegiatan memverifikasi bahwa informasi tentang semua metode yang disediakan. activities verifies that information on all methods is provided. USAID / Kamboja USAID/Cambodia akan melakukan kajian teknis pelatihan, seperti yang disarankan, pada tanggal 1 Juli 2011. will conduct a technical review of training, as suggested, by July 1, 2011. Sebuah rencana A plan akan dikembangkan untuk mengatasi kesenjangan dalam keterampilan konseling yang ditemukan. will be developed to address gaps in counselling skills that are found. Pada tanggal 26 Januari, 2011 OPHE kantor direktur dan penasihat hukum daerah On January 26, 2011, the OPHE office director and the regional legal advisor (RLA) yang diberikan keluarga berencana (KB) kepatuhan pelatihan untuk mitra OPHE. (RLA) provided family planning (FP) compliance training to OPHE partners. USAID / Kamboja akan terus bekerja dengan RLA dan mitra untuk memastikan USAID/Cambodia will continue to work with the RLA and partners to make sure bahwa OPHE FP kegiatan sesuai dengan pedoman yang relevan. that OPHE FP activities are in compliance with relevant guidelines. 2. 2. Kami merekomendasikan bahwa USAID / Kamboja bekerja dengan pelaksana untuk mengembangkan dan We recommend that USAID/Cambodia work with its implementer to develop and melaksanakan rencana untuk mengatur proyek program outreach untuk memastikan bahwa kontrasepsi hormonal implement a plan to adjust the project's outreach program to ensure that hormonal birth produk kontrol terwakili secara memadai dan benar kepada penerima manfaat. control products are represented adequately and correctly to beneficiaries. Silakan lihat penjelasan Audit Rekomendasi 1. Please see the explanation to Audit Recommendation 1. USAID / Kamboja akan USAID/Cambodia will mengembangkan sebuah rencana untuk menyesuaikan program penjangkauan pada tanggal 1 Juli 2011 dan mengimplementasikan dengan develop a plan to adjust the outreach program by July 1, 2011 and implement by 1 Oktober 2011. October 1, 2011.

3. 3. Kami merekomendasikan bahwa USAID / Kamboja revisi 18 dari 33 kinerja proyek We recommend that USAID/Cambodia revise 18 of the project's 33 performance indikator, yang diidentifikasi dalam Lampiran III, untuk bersikap objektif sesuai dengan Otomatis indicators, identified in Appendix III, to be objective in accordance with Automated Direktif Sistem (ADS) 203.3.4.2 (a). Directives System (ADS) 203.3.4.2(a). USAID / Kamboja setuju dengan rekomendasi dan komentar dan akan USAID/Cambodia agrees with the recommendation and comments and will merevisi indikator yang sesuai. revise indicators accordingly. Sebuah logframe diperbarui akan diselesaikan pada tanggal 1 Juni, An updated logframe will be finalized by June 1, 2011. 2011. Penting untuk dicatat bahwa semua indikator saat ini bagian dari keseluruhan It is important to note that all current indicators are part of an overall kerangka pemantauan kinerja yang meliputi: performance monitoring framework which includes: Sebuah rencana untuk evaluasi digunakan untuk mengukur kemajuan dari waktu ke waktu dan untuk A plan for evaluation used to measure progress over time and to memahami setiap rintangan menghambat kemajuan (diidentifikasi pada logframe); understand any obstacles impeding progress (identified on the logframe); Ditetapkan baseline, hidup-dari-proyek target, dan tonggak tahunan (pada Defined baselines, life-of-project targets, and annual milestones (on the logframe dan dalam rencana kerja tahunan); logframe and in the annual workplan); Mengidentifikasi metode untuk pengumpulan data yang digunakan; Identified methods for data collection used; Pengumpulan dan analisis data secara semi-tahunan dan selama Collection and analysis of data on a semi-annual basis and during pertemuan bulanan; monthly meetings; Penggunaan data untuk mengalokasikan sumber daya selama rencana kerja dan anggaran tahunan Use of data to allocate resources during annual workplan and budget pertemuan alokasi. allocation meetings. 16 16 Halaman 20 Page 20 Lampiran II Appendix II 4. 4. Kami merekomendasikan bahwa USAID / Kamboja memadai mendefinisikan kinerja tujuh We recommend that USAID/Cambodia adequately define the seven performance indikator yang diidentifikasi dalam Lampiran IV dan memberikan metodologi yang digunakan untuk mengukur dan indicators identified in Appendix IV and provide the methodology used to measure and Laporan pada mereka. report on them. USAID / Kamboja setuju dengan kedua rekomendasi dan komentar dan akan USAID/Cambodia agrees with both the recommendation and comments and will memberikan catatan kaki dalam logframe untuk memadai mendefinisikan terminologi dalam provide footnotes within the logframe to adequately define terminology in the indikator kinerja. performance indicators. PSI / Kamboja, dalam konsultasi dengan USAID / Kamboja, PSI/Cambodia, in consultation with USAID/Cambodia, akan mengajukan revisi indikator untuk persetujuan akhir pada 1 Mei, 2011. will submit revised indicators for final approval by May 1, 2011. Sebuah diperbarui An updated logframe akan diselesaikan pada tanggal 1 Juni 2011. logframe will be finalized by June 1, 2011.

5. 5. Kami merekomendasikan bahwa USAID / Kamboja memodifikasi pemantauan dan evaluasi rencana tersebut We recommend that USAID/Cambodia modify the monitoring and evaluation plan's metodologi untuk pelaporan indikator kinerja proyek enam ditunjukkan dalam Lampiran VI reporting methodology for the six project performance indicators shown in Appendix VI sehingga mereka erat melacak hasil mereka dimaksudkan untuk mengukur. so that they closely track the results they are intended to measure. USAID / Kamboja setuju dengan komentar-komentar tertentu dalam Lampiran VI yang USAID/Cambodia agrees with the specific comments in Appendix VI that "Peningkatan signifikan" harus didefinisikan secara resmi, dan yang dilaporkan significant improvement must be formally defined, and that reported hasil kinerja perlu direvisi. performance results need to be revised. Di mana hasil yang diukur dengan skor, Where results are measured by a score, PSI / Kamboja akan memberikan penyebut dan penjelasan lebih lanjut dalam catatan kaki. PSI/Cambodia will provide a denominator and further explanation in footnotes. USAID / Kamboja akan meninjau komentar mengenai indikator 21 dan 30 dan USAID/Cambodia will review the comments regarding indicator 21 and 30 and merevisi hasil dilaporkan sebagai diperlukan. revise the reported results as necessary. Sebuah logframe diperbarui akan diselesaikan An updated logframe will be finalized pada tanggal 1 Juni 2011. by June 1, 2011. USAID / Kamboja tidak setuju dengan komentar pada indikator 30 pada Lampiran USAID/Cambodia does not agree with the comment on indicator 30 in Appendix VI. VI. Dalam hal perhitungan, perkiraan liter air minum didesinfeksi adalah In terms of calculations, the estimate of liters of drinking water disinfected is konsisten dengan pedoman indikator donor. consistent with donor indicator guidelines. Ada kesalahan, namun, dalam There was an error, however, in PSI / Kamboja asli laporan (564000 tab) untuk TA 2010. PSI/Cambodia's original report (564,000 tabs) for FY 2010. 140.890 strip dari 140,890 strips of tab air bersih didistribusikan pada TA 2010 yang memberikan kontribusi untuk 28.178.000 liter safe water tabs were distributed in FY 2010 which contributed to 28,178,000 liters air bersih (1 strip = 10 tab). of safe water (1 strip=10 tabs). 6. 6. Kami merekomendasikan bahwa USAID / Kamboja menetapkan hidup dari proyek target untuk kinerja semua We recommend that USAID/Cambodia assign life-of-project targets to all performance indikator dalam pemantauan proyek dan rencana evaluasi. indicators in the project's monitoring and evaluation plan. Seperti tercantum dalam Rekomendasi Audit 3, hampir semua target meliputi dasar, As noted in Audit Recommendation 3, nearly all targets include a baseline, tahunan tonggak, dan kehidupan-dari-proyek target. annual milestones, and life-of-project targets. Informasi dari logframe yang Information from the logframe (Dasar dan kehidupan-dari-proyek target) dan rencana kerja tahunan (tonggak tahunan) (baseline and life-of-project targets) and annual work plans (annual milestones) telah diperbarui dan diringkas dalam satu dokumen yang komprehensif. has already been updated and summarized in one comprehensive document. USAID / Kamboja akan bekerja dengan PSI / Kamboja untuk menyelesaikan hidup dari proyektarget dalam USAID/Cambodia will work with PSI/Cambodia to finalize life-of-project targets in

indikator logframe. the logframe indicators. Sebuah logframe diperbarui akan diselesaikan pada tanggal 1 Juni 2011. An updated logframe will be finalized by June 1, 2011. 7. 7. Kami merekomendasikan bahwa USAID / Kamboja memerlukan baseline indikator, kumulatif We recommend that USAID/Cambodia require indicator baselines, cumulative prestasi, serta kehidupan-dari-proyek target untuk dimasukkan dalam tahunan proyek accomplishments, as well as life-of-project targets to be included in the project's annual kinerja laporan bersama hasil tahunan. performance reports alongside annual results. Seperti tercantum dalam Rekomendasi Audit 3 hampir semua target termasuk baseline, tahunan As noted in Audit Recommendation 3 nearly all targets include a baseline, annual tonggak, dan kehidupan-dari-proyek target. milestones, and life-of-project targets. Informasi dari logframe (baseline Information from the logframe (baseline dan kehidupan-dari-proyek target) dan rencana kerja tahunan (milestone tahunan) telah and lifeof-project targets) and annual work plans (annual milestones) has sudah diperbarui dan diringkas ke dalam satu dokumen yang komprehensif. already been updated and summarized into one comprehensive document. USAID / Kamboja akan bekerja dengan PSI / Kamboja untuk menyelesaikan baseline indikator, USAID/Cambodia will work with PSI/Cambodia to finalize indicator baselines, 17 17 Halaman 21 Page 21 Lampiran II Appendix II prestasi kumulatif, dan kehidupan-dari-proyek target dalam logframe yang cumulative accomplishments, and life-of-project targets in the logframe indikator. indicators. Sebuah logframe diperbarui akan diselesaikan pada tanggal 1 Juni 2011. An updated logframe will be finalized by June 1, 2011. 8. 8. Kami merekomendasikan bahwa USAID / Kamboja memerlukan data lebih tepat waktu untuk mendukung dilaporkan We recommend that USAID/Cambodia require more timely data to support reported hasil tahunan. annual results. Jika pelaksana tidak mampu untuk menyediakan data untuk tahun fiskal If the implementer is unable to provide the data for the fiscal year ditunjukkan dalam laporan kinerja, keterbatasan ini data perlu didokumentasikan secara jelas indicated in the performance reports, this data limitation needs to be clearly documented dalam pelaporan hasil. in the results reporting. Batasan data akan disajikan dan didokumentasikan dalam TA 2011 semi- Any data limitation will be presented and documented in the FY 2011 semilaporan tahunan kepada USAID / Kamboja yang jatuh tempo pada tanggal 30 April 2011. annual report to USAID/Cambodia that is due on April 30, 2011. USAID / Kamboja akan memverifikasi bahwa langkah-langkah telah diambil pada tanggal 1 Juli 2011. USAID/Cambodia will verify that these steps have been taken by July 1, 2011. 9. 9. Kami merekomendasikan bahwa USAID / Kamboja meminta pelaksana untuk menyerahkan resmi We recommend that USAID/Cambodia require the implementer to submit formal laporan triwulanan seperti yang dipersyaratkan oleh perjanjian kerjasama proyek, atau mengubah quarterly reports as required by the project's cooperative agreement, or amend the koperasi perjanjian untuk memungkinkan pelaporan kinerja setengah tahunan sebagai gantinya. cooperative agreement to permit semiannual performance reporting instead. PSI / Kamboja akan memulai laporan triwulanan mulai dengan kuartal kedua PSI/Cambodia will initiate the quarterly reports starting with the second quarter of

TA 2011 yang disebabkan oleh USAID / Kamboja pada tanggal 30 April 2011. FY 2011 that is due to USAID/Cambodia on April 30, 2011. Yang selanjutnya The subsequent laporan triwulan akan datang untuk USAID / Kamboja oleh 1 Agustus 2011 dan penerimaan quarterly report will come to USAID/Cambodia by August 1, 2011 and receipt of laporan untuk kuartal ketiga TA 2011 akan memverifikasi bahwa PSI / Kamboja the report for the third quarter of FY 2011 will verify that PSI/Cambodia has mematuhi rekomendasi ini. complied with this recommendation. Aksi final diharapkan pada 31 Agustus, Final action is expected by August 31, 2011. 2011. Kami meminta persetujuan RIG / Manila bahwa keputusan manajemen telah dibuat pada semua sembilan We request RIG/Manila's concurrence that management decisions have been made on all nine rekomendasi. recommendations. Komentar Umum laporan tersebut: General Comments on the report: 1. 1. Audit proyek komunikasi perubahan perilaku: Kami menghargai panggilan telepon pada bulan Maret Audit of behaviour change communication projects: We appreciate the phone call on March 2, 2011 yang RIG telah dengan perwakilan dari PSI / Kamboja dan USAID / Kamboja 2, 2011 that RIG had with representatives from PSI/Cambodia and the USAID/Cambodia OPHE kantor. OPHE office. Bantuan tambahan yang disediakan oleh RIG telah membantu dalam mempersiapkan The additional assistance provided by RIG has been helpful in preparing a tanggapan terhadap temuan audit. response to the audit findings. Kami juga ingin mengakui RIG yang mengindikasikan bahwa We would also like to acknowledge that RIG indicated that perubahan spesifik akan dilakukan untuk Ringkasan Hasil dan Temuan Audit berdasarkan specific changes would be made to the Summary of Results and the Audit Findings based teleconference ini. on this teleconference. Diskusi kami mengacu pada pernyataan di bawah ini: Our discussion was in reference to the statement below: Audit Pemasaran Sosial dan Intervensi Perubahan Perilaku untuk HIV / AIDS, Audit of Social Marketing and Behavior Change Interventions for HIV/AIDS, Kesehatan Reproduksi dan Seksual dan Survival Anak di Kamboja Proyek, halaman 2: Sementara Reproductive and Sexual Health and Child Survival in Cambodia Project, page 2: While proyek ... 'telah berhasil meningkatkan akses ke produk kesehatan dan memberikan pelatihan the project... ' has successfully increased access to health products and provided training kepada individu dan organisasi untuk meningkatkan kapasitas nasional Kamboja, proyek to individuals and organizations to increase Cambodian national capacity, the project memiliki dampak terbatas ditunjukkan dalam meningkatkan kesehatan masyarakat miskin dan rentan has demonstrated limited impact in improving the health of poor and vulnerable Kamboja. Cambodians. Hal ini karena hanya salah satu dari delapan populasi berisiko ditargetkan oleh This is because only one of eight at-risk populations targeted by the proyek telah menunjukkan perubahan positif dalam perilaku melalui peningkatan pengetahuan, project has demonstrated a positive change in behaviors through improved knowledge, kesadaran, dan mendukung sikap. " awareness, and supportive attitudes ." Meskipun kami menghargai revisi pernyataan di atas, USAID / Kamboja percaya bahwa While we appreciate the revisions to the statement above, USAID/Cambodia believes that

pernyataan spesifik dalam temuan audit tidak secara akurat mencerminkan mendalam temuan specific statements within the audit findings do not accurately reflect the in-depth findings 18 18 Halaman 22 Page 22 Lampiran II Appendix II disajikan dalam laporan RIG. presented in the RIG report. Pertimbangkan kemajuan pada indikator utama untuk program ini, Consider the progress on key indicators for the program, diringkas di bawah ini: summarized below: Indikator menunjukkan kemajuan meliputi: Indicators showing progress include: Persentase laki-laki berisiko tinggi perkotaan yang melaporkan penggunaan kondom yang konsisten dengan Percentage of high risk urban men who report consistent use of condoms with Sayang mitra meningkat dari 58% pada tahun 2008 menjadi 69% pada tahun 2010; sweetheart partners increased from 58% in 2008 to 69% in 2010; Persentase laki-laki berisiko tinggi perkotaan yang melaporkan penggunaan kondom yang konsisten dengan Percentage of high risk urban men who report consistent use of condoms with mitra komersial meningkat dari 85% pada tahun 2008 menjadi 96% pada tahun 2009. commercial partners increased from 85% in 2008 to 96% in 2009. Sementara ada While there was a menurun dari 2006 hingga 2008, penurunan ini tidak dalam periode proyek. decrease from 2006 to 2008, this decrease was not in the project period. Mengubah perilaku individu dapat memakan waktu lama, mungkin lebih lama daripada yang bisa dilacak dalam Changing individual behavior can take a long time, perhaps longer than can be tracked within kerangka waktu dari proyek lima tahun. the time frame of a five-year project. Jika mempertimbangkan kemajuan terhadap data dasar sebelum If considering progress against baseline data prior to 2008: 2008: Persentase pekerja risiko tinggi hiburan perkotaan perempuan (EW) yang melaporkan Percentage of high risk urban female entertainment workers (EW) who report penggunaan kondom konsisten dengan kekasih meningkat dari baseline 41% pada tahun 2006 consistent condom use with sweethearts increased from a 41% baseline in 2006 menjadi 51% pada tahun 2010. to 51% in 2010. Persentase laki-laki yang berhubungan seks dengan laki-laki (LSL) yang melaporkan konsisten Percentage of men who have sex with men (MSM) who report consistent penggunaan kondom dengan pasangan tidak tetap membayar dan non-membayar meningkat menjadi 81%. condom use with paying and non-paying casual partners increased to 81%. Data dasar langsung sebanding tidak tersedia. Directly comparable baseline data is not available. Namun, menggunakan tahun 2006 However, using the 2006 survei surveilans perilaku (BSS) yang disaggregates MSM oleh 'rambut pendek' behavioral surveillance survey (BSS) which disaggregates MSM by 'short hair' 'rambut panjang' dan dan menggunakan ukuran langsung dibandingkan tersedia - selalu 'menggunakan and 'long hair' and using the directly comparable measure available - 'always use kondom '(sama seperti PSI / Kamboja' s definisi penggunaan kondom yang konsisten) - yang condom' (same as PSI/Cambodia's definition of consistent condom use) the awal adalah 44% untuk rambut pendek dan 42% untuk rambut panjang. baseline was 44% for short hair and 42% for long hair. Baseline dikutip dalam The baseline cited in the

logframe adalah 47%. logframe was 47%. Indikator lain yang menunjukkan kemajuan jika satu orang untuk memeriksa data sebelum Another indicator that suggests progress if one were to examine data prior to the dasar baseline [1] [1] :: Persentase wanita saat menikah usia reproduksi (wra) menggunakan yang modern Percentage of currently married women of reproductive age (WRA) using modern metode jarak kelahiran [angka prevalensi kontrasepsi (CPR)] birth spacing methods [contraceptive prevalence rate (CPR)] [2] [2] meningkat dari increased from dasar dari 43% pada tahun 2007 menjadi 46% pada 2010. baseline of 43% in 2007 to 46% in 2010. 2. 2. Berbasis populasi survei: PSI / Kamboja tidak melakukan survei berdasarkan populasi Population-based surveys: PSI/Cambodia does not conduct population-based surveys (Selanjutnya disebut sebagai TRAC) untuk dua populasi - orang yang hidup dengan HIV / AIDS (ODHA) (hereafter referred to as TRaC) for two populations people living with HIV/AIDS (PLHIV) dan pengguna narkoba suntikan (penasun). and injection drug users (IDU). PSI / Kamboja sumber daya, seperti yang dijelaskan dalam desain PSI/Cambodia resources are, as described in the design dokumen, sangat condong ke intervensi yang menargetkan populasi berisiko tinggi yang document, heavily skewed towards interventions that target high-risk populations which are mendorong epidemi HIV yang ada di Kamboja - Klien Laki-laki, EW, dan MSM untuk HIV. driving the existing HIV epidemic in Cambodia - Male Clients, EW, and MSM for HIV. Para The Perwakilan Teknis Perjanjian Officer (AOTR) akan mencari bimbingan dari Agreement Officer's Technical Representative (AOTR) will seek guidance from the Perjanjian Officer (AO), apakah AOTR dapat menginstruksikan PSI untuk meliputi survei Trac Agreement Officer (AO) as to whether the AOTR can instruct PSI to include TraC surveys [1] [1] Pada jangka menengah dari proyek ini, indikator ini secara statistik tidak signifikan. At the midterm of this project, this indicator is statistically insignificant. [2] [2] Kriteria pengambilan sampel survei TRAC terbatas pada perempuan yang 'saat ini ingin menunda atau mencegah kehamilan dan TRaC survey sampling criteria are limited to women that 'currently wish to delay or prevent pregnancy' and Oleh karena itu indikator lebih tinggi dari Survei Kesehatan Demografi Kamboja (CDHS). indicators are therefore higher than Cambodia Demographic Health Survey (CDHS) . 19 19 Halaman 23 Page 23 Lampiran II Appendix II untuk ODHA dan IDU melalui revisi rencana kerja atau jika amandemen ke Koperasi for PLHIV and IDU through a revision to its work plan or if an amendment to the Cooperative

Perjanjian diperlukan untuk menyertakan aktivitas baru. Agreement is required to include this new activity. 3. 3. Daerah lain perbaikan: Pernyataan tidak mencerminkan peningkatan dalam kunci Other areas of improvement: The statement does not reflect the improvement in key tingkat output indikator yang menunjukkan dampak positif terhadap pencapaian keseluruhan output level indicators which demonstrate a positive impact toward achieving overall Program tujuan. program objectives. Temuan dalam laporan audit tidak mencerminkan tren penggunaan kondom The findings in the audit report do not reflect the upward trend of condom use dan relevan dukungan dari program PSI / Kamboja di Kamboja sejak tahun 1993. and relevant support of PSI/Cambodia's programs in Cambodia since 1993. Kamboja adalah salah satu dari sedikit negara yang menunjukkan penurunan HIV Cambodia is one of the few countries to demonstrate a decrease in HIV prevalensi global, sebagian besar ke Departemen Kesehatan (Depkes) yang dipimpin dan prevalence globally, in large part to the Ministry of Health (MoH)-led and PSI / Kamboja didukung 100% menggunakan kondom dan kondom Program sosial PSI/Cambodia supported 100% condom use program and condom social upaya pemasaran, yang mengakibatkan peningkatan dramatis dalam perilaku (lihat 2010 marketing efforts, which resulted in dramatic increases in behavior (see the 2010 BSS data untuk tren jangka panjang terhadap 2006). BSS data for long term trends against 2006). Kunci tingkat output (akses) indikator melebihi target lima tahun dalam dua pertama Key output-level (access) indicators exceeded five year targets in the first two tahun proyek; ini penetrasi termasuk dari outlet risiko tinggi untuk HIV, years of the project; these included penetration of high risk outlets for HIV, diukur di outlet tertentu, dan peningkatan produk perencanaan KB ditemukan di measured across specific outlets, and increases in FP planning products found in baik perkotaan dan pedesaan. both urban and rural areas. Target sedang dinegosiasikan kembali dan akan Targets are being renegotiated and will be kemudian meningkat. subsequently increased. Program ini telah menunjukkan peningkatan dalam penjualan jangka pendek (ST) FP The program has demonstrated increases in sales of short-term (ST) FP metode dan penyediaan jangka panjang (LT) metode kontrasepsi, menghasilkan methods and provision of long-term (LT) methods of contraception, resulting in a 34% pertumbuhan dalam beberapa tahun perlindungan (CYP) 2007-2010 untuk non- 34% growth in couple years of protection (CYP) from 2007 to 2010 for nonkontrasepsi kondom [pil kontrasepsi oral (OCP), suntikan, implan, condom contraceptives [oral contraceptive pills (OCP), injectables, implants, intrauterin perangkat (IUD)]. intrauterine devices (IUDs)]. PSI / Kamboja program account untuk 45% -49% dari PSI/Cambodia programs account for 45%-49% of yang CYP dihasilkan di Kamboja - hanya di bawah setengah dari semua wanita yang menggunakan modern the CYP generated in Cambodia - just under half of all women using a modern Metode kontrasepsi melakukannya dengan dukungan USAID, PSI/Cambodia- contraceptive method do so with the support of USAID-funded, PSI/Cambodiaberhasil program pemasaran sosial. managed social marketing programs.

 Program ini juga pada lagu pada tingkat lainnya keluaran-target dan telah memenuhi atau The program is also on track on other output-level targets and has met or melampaui hampir setiap indikator tingkat kegiatan. exceeded nearly every activity-level indicator. 4. 4. Paparan berbagai sumber informasi tentang FP: Sangat penting untuk dicatat bahwa melalui USAID Exposure to multiple sources of information on FP: It's important to note that USAID through PSI / Kamboja berinvestasi dalam berbagai saluran komunikasi untuk mencapai tujuan program dan PSI/Cambodia invests in a variety of communication channels to achieve program goals and tujuan. objectives. Media massa termasuk pengembangan empat metode spesifik iklan Mass media included the development of four method-specific advertisements untuk kedua TV dan radio, yang bertujuan untuk memperkenalkan empat metode didominasi tersedia di for both TV and radio, aiming to introduce the four methods predominantly available in Kamboja - yaitu kontrasepsi oral, suntikan, implan, dan IUD. Cambodia namely oral contraceptives, injectables, implants, and IUDs. Semua empat tempat yang All four spots were luas ditayangkan. widely aired. TV tiga tambahan pelengkap dan radio spot penargetan suami, An additional three complementary TV and radio spots targeting husbands, mendorong mereka untuk terlibat dalam keputusan KB dan dukungan istri mereka dalam penggunaan encouraging them to be involved in FP decisions and support their wives in the use of kontrasepsi, juga dikembangkan dan ditayangkan. contraception, were also developed and aired. Terbuka iklan (billboard) dan poster, Outdoor advertising (billboards) and posters, dan informasi, pendidikan, dan komunikasi (KIE) bahan juga mendukung and information, education, and communication (IEC) materials also supported the kampanye. campaign. Kampanye media massa yang didukung dengan unit mobile video, yang lagi-lagi Mass media campaigns are supported with mobile video units, which again hadir semua metode yang tersedia. present all methods available. Penyedia didukung dengan bahan perubahan perilaku Providers are supported with behavior change materials berfokus pada masing-masing dari empat metode yang tersedia. focusing on each of the four methods available. 20 20 Halaman 24 Page 24 Lampiran II Appendix II Sebuah investasi penting belum proporsional akhir dibuat pekerja outreach untuk berkomunikasi A final important yet proportionate investment is made in outreach workers to communicate langsung dengan wra. directly with WRA. Seperti halnya program komunikasi interpersonal, program-program As with any interpersonal communications program, these programs perlu diperkuat terus-menerus dan penjangkauan pekerja memerlukan jaminan dan mutu pelatihan need continual strengthening and outreach workers need training and quality assurance (QA) / pengawasan. (QA)/supervision. Semua PSI / sub-hibah Kamboja mitra menerima kunjungan triwulanan oleh All PSI/Cambodia sub-grant partners receive a quarterly visit by PSI / Kamboja pemantauan tim. PSI/Cambodia monitoring teams. Tim terdiri dari PSI / Kamboja antarpribadi The teams consist of PSI/Cambodia interpersonal

komunikasi, pemantauan dan evaluasi, dan staf keuangan anggota yang monitor communication, monitoring and evaluation, and finance staff members who monitor the kualitas intervensi, sistem pemantauan internal, dan akurasi keuangan quality of interventions, the internal monitoring systems, and the accuracy of financial sistem. systems. Setiap mitra sub-hibah yang diperlukan untuk mengembangkan dan melaksanakan pemantauan triwulanan Each sub-grant partner is required to develop and implement quarterly monitoring rencana yang meliputi pengamatan rutin sesi komunikasi interpersonal, dan plans which include regular observations of interpersonal communication sessions, and wawancara dengan kelompok sasaran. interviews with target groups. Penjangkauan pekerja telah dilatih untuk memberikan yang adil dan Outreach workers have been trained to provide fair and akurat informasi tentang semua metode yang tersedia. accurate information on all methods available. Mengingat kompleksitas informasi Given the complexity of information disajikan kepada perempuan, pesan ini sering disajikan dalam siklus, di mana penekanan ditempatkan presented to women, messaging is often presented in cycles, where an emphasis is placed pengetahuan tentang satu metode tertentu selama siklus. on knowledge of one particular method during a cycle. Selama waktu dari bidang Audit During the time of the audit field kerja, pekerja penjangkauan yang berfokus pada IUD. work, outreach workers were focusing on IUDs. Secara umum, petugas penjangkauan semua yang hadir In general, outreach workers present all metode yang tersedia dan merujuk wanita ke pusat-pusat kesehatan publik dan swasta untuk melahirkan umum methods available and refer women to public and private health centers for general birth spasi. spacing. Namun, AKDR tetap fokus penting dari program ini. Still, IUDs remain an important focus of the program. Hal ini karena wra This is because WRA biasanya memiliki pengetahuan yang tinggi dan kesadaran metode ST, sementara pengetahuan dan penggunaan typically have high knowledge and awareness of ST methods while knowledge and use of IUD tetap rendah. IUDs remain low. Hambatan Kunci untuk penggunaan AKDR adalah akses dan ketersediaan, sehingga memanfaatkan penjangkauan Key barriers to IUD use are access and availability, so utilizing outreach pekerja untuk referensi adalah saluran yang tepat untuk meningkatkan penggunaan. workers for referrals is an appropriate channel to increase use. Dalam rangka mengatasi In order to address kesenjangan pengetahuan dan perilaku IUD, waktu tambahan ini sering dihabiskan untuk mendidik knowledge and behavioral gaps of the IUD, additional time is often spent on educating perempuan tentang metode ini. women about the method. 5. 5. Meningkatkan akses ke berbagai pilihan FP dalam masyarakat: IUD yang didukung oleh Increasing access to the range of FP options in a community: IUDs are supported by PSI / Kamboja program, bersama dengan sekeranjang metode lain, seperti IUD di Kamboja PSI/Cambodia programs, along with a basket of other methods, as the IUD in Cambodia telah lama diabaikan. has long been neglected. Selama bertahun-tahun AKDR tidak tersedia secara luas; beberapa penyedia For years the IUD was not widely available; few providers mendukung penyediaan IUD dan, ketika mereka melakukannya, AKDR mahal. supported the provision of IUDs and, when they did, IUDs were expensive. PSI / Kamboja PSI/Cambodia's

USAID-program yang didukung mendobrak hambatan mendasar bagi AKDR dalam upaya untuk USAID-supported programs break down fundamental barriers to the IUD in an attempt to bahkan keluar lapangan bermain yang sebenarnya bias terhadap metode ST, mengingat even out the playing field which is actually biased toward ST methods, given the ketersediaan luas kontrasepsi oral dan injeksi. widespread availability of oral contraceptives and injectables. PSI / Kamboja beroperasi dalam PSI/Cambodia operates within konteks program kesehatan holistik reproduksi di Kamboja, di mana berbagai kegiatan the context of a holistic reproductive health program in Cambodia, where various activities terjadi yang dapat menekankan salah satu metode di atas yang lain. occur which may emphasize one method over another. Sebagai contoh, Depkes berbasis masyarakat For instance, MoH community-based distributor telah lama dipromosikan kontrasepsi oral secara eksklusif dan mendapatkan keuntungan melalui distributors have long promoted the oral contraceptive exclusively and gain profit through penjualan metode ST. the sale of ST methods. PSI / Kamboja mitra dilatih untuk mendukung semua metode; PSI/Cambodia's partners are trained to support all methods; alat khusus telah dikembangkan untuk memperkenalkan semua metode, dan PSI / Kamboja specific tools have been developed to introduce all methods, and PSI/Cambodia is berkomitmen untuk memastikan bahwa informasi yang akurat, jelas, dan benar disajikan selama committed to ensuring that accurate, clear, and correct information is presented during setiap sesi perubahan perilaku. every behavior change session. Harap beritahu kami jika kita dapat menjelaskan setiap komentar dan kami berharap untuk memperkuat Please let us know if we can clarify any comments and we look forward to strengthening the proyek meskipun pelaksanaan rekomendasi audit. project though the implementation of the audit's recommendations. 21 21 Halaman 25 Page 25 Lampiran III Appendix III Auditor Review Tahun Fiskal Proyek (TA) 2010 Indikator Kinerja dan Hasil Dilaporkan Auditor Review of the Project's Fiscal Year (FY) 2010 Performance Indicators and Reported Results Sumber: SMBCI Proyek TA 2010 Laporan Kinerja Tahunan Source: SMBCI Project's FY 2010 Annual Performance Report Auditor Tinjauan Auditor Review ## Indikator Kinerja Performance Indicators TA 2010 FY 2010 Aktual Actual TA 2010 FY 2010 Target Target Indikator Indicator is Tujuan? Objective? Baseline? Baseline? Tahunan Annual Sasaran? Target?

Life-of- Life-ofProyek Project Sasaran? Target? 11 Jumlah orang yang terlatih dalam terkait HIV Number of individuals trained in HIV-related institutional capacity building 483 483 250 250 Ya Yes Tidak Not yang berlaku. applicable. Ya Yes Tidak ada No 22 Number of local organizations provided with technical assistance for HIV-related institutional capacity building 16 16 16 16 Ya Yes Tidak Not yang berlaku. applicable. Ya Yes Tidak ada No 33 Number of individuals trained in strategic information (includes monitoring and evaluation, surveillance, and/or MIS) 150 150 100 100 Ya Yes Tidak Not yang berlaku. applicable. Ya Yes Tidak ada No 44 Number of local organizations provided with technical assistance for strategic information 16 16 16 16 Ya Yes Tidak Not yang berlaku. applicable. Ya Yes Tidak ada No 55

Number of targeted condom service outlets 5,399 7,500 7,500 Ya Yes Tidak Not yang berlaku. applicable. Ya Yes Tidak ada No 66 Number of individuals trained to promote HIV/AIDS prevention through other behavior change beyond abstinence and/or being setia faithful 899 899 480 480 Ya Yes Tidak Not yang berlaku. applicable. Ya Yes Tidak ada No 77 98% of direct sex workers report consistent condom use with clients by 2012 N / A N/A N / A N/A Tidak ada None terdaftar. listed. Tidak ada No Yes (in indikator) indicator) 88 Increase consistent condom use in "highrisk sweetheart relationships" among highrisk urban female entertainment workers from X% in 2009 to Y% in 2012 50,5% 50.5% Untuk menjadi To be ditentukan determined No. The indicators are not explicit, Tidak ada None terdaftar. listed. Tidak ada No Tidak ada No 99

Among high-risk urban men with high-risk sweetheart relationships, significant improvement in subjective norms about proposing condom use to sweetheart 2.42 2.42 Signifikan Significant perbaikan improvement from baseline as targets yang are tergabung incorporated ke mereka. into them. 2.56 in Year ? Ya Yes Tidak ada No 10 10 Among high-risk urban female entertainment workers, significant increase on beliefs about background and trust in partner 3.16 3.16 Untuk menjadi To be ditentukan determined Tidak ada None terdaftar. listed. Tidak ada No Tidak ada No 22 22 Halaman 26 Page 26 Lampiran III Appendix III Source: SMBCI Project's FY 2010 Annual Performance Report Auditor Review ## Indikator Kinerja Performance Indicators TA 2010 FY 2010 Aktual Actual TA 2010 FY 2010 Target Target Indicator is Tujuan? Objective? Baseline? Tahunan Annual Target? Life-ofProyek Project Target?

11 11 98% of men who report commercial sex report consistent use of condoms with commercial sex workers by 2012 95,6% 95.6% 85% 85% Tidak ada None terdaftar. listed. Ya Yes Yes (in indikator) indicator) 12 12 Increased percentage of high-risk urban men with high-risk sweethearts who use condoms consistently with their "sweethearts" from 59% in 2008 to 62% in 2010 2010 69.4% 62% 62% No. The indicators are not explicit, 59% in 2008 2008 Ya Yes Tidak ada No 13 13 Among high-risk urban men with high-risk sweethearts, increase from 93.3% in 2008 to 94% in the belief that condoms are appropriate and necessary to use with a sweetheart by 2010 87.3% 94% 94% as targets yang are tergabung incorporated ke mereka. into them. 93.3% in 2008 2008 Ya Yes Tidak ada No 14 14 Among high-risk urban men with high-risk sweethearts, significant increase in the mean score for scaled construct on beliefs

about background and trust in a partner 3.06 3.06 Signifikan Significant Perbaikan Improvement 3.11 in 2008 2008 Ya Yes Tidak ada No 15 15 Increase from 83% (short-haired MSM) and 94% (long-haired MSM) in 2007 to 88% (short-haired MSM) and 97% (long-haired MSM) of men who have sex with men (MSM) using condom at last sex with nonpaying, paying male partner by 2012 N / A N/A 88% shorthaired MSM, 96% longhaired MSM No. The indikator indicator is not explicit; tidak does not measure only one aspect at waktu. a time. Target Target termasuk dalam included in indikator. indicator. 83% and 94% in 2007 2007 Ya Yes Yes (in indikator) indicator) 23 23 Halaman 27 Page 27 Lampiran III Appendix III Source: SMBCI Project's FY 2010 Annual Performance Report Auditor Review ## Indikator Kinerja Performance Indicators TA 2010 FY 2010 Aktual Actual TA 2010 FY 2010

Target Target Indicator is Tujuan? Objective? Baseline? Tahunan Annual Target? Life-ofProyek Project Target? 16 16 Significant improvement in key behavioral determinant which affect men who have sex with men to consistently use condoms with their male partners N / A N/A Baseline Baseline didirikan established No. The indikator indicator is not explicit, as a target is termasuk di dalamnya. included in it. Tidak ada None terdaftar. listed. Tidak ada No Tidak ada No 17 17 Outlet penetration for condoms will be maintained or increased in the following high-risk outlets by 2010: No. The indikator indicator is not explicit, as a target is termasuk di dalamnya. included in it. Tidak ada None terdaftar. listed. Ya Yes Tidak ada No Phnom Penh Phnom Penh 17.1 Brothel 96,3% 96.3% 100% 100% 17.2 Guest house 92,3% 92.3% 95% 95%

17.3 Beer garden 70,5% 70.5% 65% 65% 17.4 Massage parlor 62,8% 62.8% 55% 55% 17.5 Karaoke bar 70,8% 70.8% 50% 50% Other urban areas 17.6 Brothel 100% 100% 100% 100% 17.7 High-risk outlets 82.9% 60% 60% 18 18 Condoms (all sources) sold and distributed in Cambodia exceed 31.5 million in 2008 (social marketing sales minimum 26 million) and show continued growth in the total market over time 23,190,032 28,000,000 28,000,000 No. The indikator indicator is not explicit; tidak does not measure only one aspect at waktu. a time. Target dan Target and lainnya other salah incorrect data included di dalamnya. in it. Tidak ada None terdaftar. listed. Ya Yes Tidak ada No 18.1 18.1 PSI/Cambodia social marketed condoms (Number One and OK brand) 18,269,874 20,000,000 20,000,000 18.2 Condoms distributed by the public sector

1,120,158 4,250,000 4,250,000 18.3 Condoms sold by private companies 3,800,000 3,800,000 3,750,000 3,750,000 24 24 Halaman 28 Page 28 Lampiran III Appendix III Source: SMBCI Project's FY 2010 Annual Performance Report Auditor Review ## Indikator Kinerja Performance Indicators TA 2010 FY 2010 Aktual Actual TA 2010 FY 2010 Target Target Indicator is Tujuan? Objective? Baseline? Tahunan Annual Target? Life-ofProyek Project Target? 19 19 Number of United Health Network lembaga swadaya masyarakat (LSM) nongovernmental organizations (NGOs) contracted to conduct effective HIV/AIDS behavior change interventions as well as assisting with social marketing distribution of essential health products and services in hard to reach areas 16 16 16 16 Ya Yes Tidak Not yang berlaku. applicable. Ya Yes Tidak ada No 20 20 Increase in the % of currently married women of reproductive age using modern birth-spacing methods from 42.6% in 2007 to 50% by 2012 46% 46% 48% 48%

No. The indikator indicator is not explicit, as a target is termasuk di dalamnya. included in it. 42.6% in 2007 2007 Ya Yes Yes (in indikator) indicator) 21 21 10% annual increase in use of family planning commodities by women from the two lowest income quintiles 45% 45% 10% increase No. The 46% total use in 2007 Ya Yes Tidak ada No 22 22 Significantly increase in misconception scale from 2.3 out of 4 to 2.8 out of 4 (18% increase) on women's misconceptions on hormonal methods 2.9 2.9 Signifikan Significant Meningkatkan Increase (2.5) (2.5) indicators are not explicit, as targets yang are tergabung incorporated 2.3 in 2007 Ya Yes Tidak ada No 23 23 Coverage of oral contraceptive pills in target area villages increases from 50% coverage to 65% coverage or higher by 2012 65% 65% 55% 55% ke mereka. into them. 50% in

2008 2008 Ya Yes Yes (in indikator) indicator) 24 24 Oral contraceptive pills, all sources, exceed 5,700,000 (minimum social marketed sales of 2,500,000 in 2009) and show continued 10% annual growth in the total market over time: data disaggregated by urban/rural point of sale and source of distribution. 5,915,776 6,270,000 No. The indikator indicator is not explicit; tidak does not measure only one aspect at waktu. a time. Target dan Target and lainnya other salah incorrect Tidak ada None terdaftar. listed. Ya Yes Tidak ada No 24.1 PSI/Cambodia social marketed OK Pill 3,359,652 3,000,000 3,000,000 24.2 24.2 Oral contraceptive pills sold by private sektor sector 80,000 80,000 153,300 153,300 25 25 Halaman 29 Page 29 Lampiran III Appendix III Source: SMBCI Project's FY 2010 Annual Performance Report Auditor Review ## Indikator Kinerja Performance Indicators TA 2010 FY 2010 Aktual Actual TA 2010 FY 2010 Target Target

Indicator is Tujuan? Objective? Baseline? Tahunan Annual Target? Life-ofProyek Project Target? 24.3 Oral contraceptive pills sold by public sector 2,476,124 3,116,700 25 25 Injectable contraceptive methods, all sources, exceed 600,000 in 2009 (minimum socially marketed of 280,000 in 2009) and show 10% annual growth in total market over time: data disaggregated by urban/rural point of sale and source of distribution 1,226,895 660,000 660,000 No. The indikator indicator is not explicit; tidak does not measure only one aspect at waktu. a time. Target dan Target and lainnya other salah incorrect data included di dalamnya. in it. Tidak ada None terdaftar. listed. Ya Yes Tidak ada No 25.1 PSI/Cambodia social marketed OK injection 565,645 308,000 308,000 25.2 25.2 Injectable contraceptive sold by private sektor sector 4,200 4,200 3,000 3,000 25.3 25.3 Injectable contraceptive distributed by public

sektor sector 657,050 349,000 349,000 26 26 Number of United Health Network NGOs contracted to conduct effective behavior change interventions with target populations and/or with social marketing distribution of essential health products and services in hard or reach areas [sic] 99 88 Ya Yes Tidak Not yang berlaku. applicable. Ya Yes Tidak ada No 27 27 Number of United Health Network NGOs and partners provided with ongoing technical assistance for targeted communication material development 44 88 Ya Yes Tidak Not yang berlaku. applicable. Ya Yes Tidak ada No 28 28 Number of diarrhea treatment kits and/or ORS socially marketed sold and distributed in total market 2,842,750 350,000 350,000 Ya Yes Tidak ada None terdaftar. listed. Ya Yes Tidak ada No 28.1 28.1 Diarrhea treatment kits sold through PSI/Cambodia social marketing 86,350 100,000 100,000 28.2 ORS distributed by private sector

336,000 336,000 206,800 28.3 ORS distributed by public sector 2,420,400 43,200 43,200 26 26 Halaman 30 Page 30 Lampiran III Appendix III Source: SMBCI Project's FY 2010 Annual Performance Report Auditor Review ## Indikator Kinerja Performance Indicators TA 2010 FY 2010 Aktual Actual TA 2010 FY 2010 Target Target Indicator is Tujuan? Objective? Baseline? Tahunan Annual Target? Life-ofProyek Project Target? 29 29 Number of cases of child diarrhea treated in USAID-assisted programs 86,350 100,000 100,000 Ya Yes Tidak Not yang berlaku. applicable. Ya Yes Tidak ada No 30 30 Liters of drinking water disinfected by target populations using US Government (USG)supported household water treatment produk product 28,178,000 10,000,000 10,000,000 Ya Yes Tidak Not yang berlaku. applicable. Ya Yes Tidak ada No

31 31 Number of people trained in child health and nutrition through USG-supported health area program 152 152 10 10 Ya Yes Tidak Not yang berlaku. applicable. Ya Yes Tidak ada No 32 32 Number of people trained in monitoring and evaluation with USG assistance 44 44 Ya Yes Tidak Not yang berlaku. applicable. Ya Yes Tidak ada No 33 33 Percentage of caregivers of children under 5 in target areas who know that the best treatment for children with mild diarrhea is ORS plus zinc N / A N/A Baseline Baseline didirikan established Ya Yes Tidak ada None terdaftar. listed. Tidak ada No Tidak ada No 27 27 Halaman 31 Page 31 Lampiran IV Appendix IV Performance Indicators With Definition Problems Source: SMBCI Project's FY 2010 Annual Performance Report Auditor Review ## Indikator Kinerja Performance Indicators TA 2010 FY 2010 Aktual Actual FY 2010 Target Masalah Problem

99 Among high-risk urban men with high-risk sweetheart relationships, significant improvement in subjective norms about proposing condom use to sweetheart 2.42 2.42 Signifikan Significant perbaikan improvement from baseline "Significant improvement" (also noted in indicator) has not been didefinisikan. defined. Result reported as a numeral against an undefined target does not reveal if the activity has accomplished its objective. 10 10 Among high-risk urban female entertainment workers, significant increase on beliefs about background and trust in partner 3.16 3.16 TBD TBD 14 14 Among high-risk urban men with high-risk sweethearts, significant increase in the mean score for scaled construct on beliefs about background and trust in a partner 3.06 3.06 Signifikan Significant perbaikan improvement 15 15 Increase from 83% (short-haired) and 94% (long-haired) in 2007 to 88% (short-haired MSM ) and 97% (long-haired MSM) of MSM using condom at last sex with nonpaying, paying male partner by 2012 N / A N/A 88% for shorthaired MSM and 96% for longhaired MSM "Short-haired" and "long-haired" have not been formally defined. 16 16 Significant improvement in key behavioral determinant which affect MSM to consistently use condoms with their male partners N / A N/A Baseline Baseline didirikan established

Neither "significant improvement" nor "key behavioral determinant" telah didefinisikan. has been defined. 18 18 Condoms (all sources) sold and distributed in Cambodia exceed 31.5 million in 2008 (social marketing sales minimum 26 million) and show continued growth in the total market over time 23,190,032 28,000,000 28,000,000 "Continued growth in total market over time" has not been defined. In addition, this is a second measurement under this indicator, which makes it difficult to conclude if the indicator is met or not. 22 22 Significant increase in misconception scale from 2.3 out of 4 to 2.8 out of 4 (18% increase) on women's misconceptions on hormonal methods 2.9 2.9 Signifikan Significant increase (2.5) "Significant improvement" has not telah didefinisikan. been defined. Target says 2.5, but indicator says 2.8. Result reported as a numeral against an undefined target does not reveal if the activity has accomplished its objective. 28 28 Halaman 32 Page 32 Lampiran V Appendix V Performance Indicators Stating Multiple Objectives Source: SMBCI Project's FY 2010 Annual Performance Report Auditor Review ## Performance Indicators Problems With Measuring More Than One Activity TA 2010 FY 2010 Aktual Actual FY 2010 Target Multiple Measurements 15 15 Increase from 83% (short-haired) and 94% (long-haired) in 2007 to 88% (short-haired MSM ) and 97% (long-haired MSM) of MSM using condom at last sex with nonpaying,

paying male partner by 2012 N / A N/A 88% for shorthaired MSM and 96% for longhaired MSM Tracking two different activities in one indicator: short-haired and long-haired MSMs 18 18 Condoms (all sources) sold and distributed in Cambodia exceed 31.5 million in 2008 (social marketing sales minimum 26 million) and show continued growth in the total market dari waktu ke waktu over time 23,190,032 28,000,000 28,000,000 Measuring a number of products sold/distributed in addition to continued growth in general. 24 24 Oral contraceptive pills, all sources, exceed 5,700,000 (minimum social marketing sales of 2,500,000 in 2009) and show continued 10% annual growth in the total market over time: data disaggregated by urban/rural point of sale and source of distribution. 5,915,776 6,270,000 25 25 Injectable contraceptive methods, all sources, exceed 600,000 in 2009 (minimum social marketing of 280,000 in 2009) and show 10% annual growth in total market over time: data disaggregated by urban/rural point of sale and source of distribution 1,226,895 660,000 660,000 29 29 Halaman 33 Page 33 Lampiran VI Appendix VI Performance Indicators Not Fairly Representing Project Performance Source: SMBCI Project's FY 2010 Annual Performance Report ## Indikator Kinerja Performance Indicators TA 2010 FY 2010 Aktual Actual TA 2010 FY 2010 Target Target

Do the Reported Results Fairly Represent Project Kinerja? Performance? 99 Among high-risk urban men with highrisk sweetheart relationships, significant improvement in subjective norms about proposing condom use to sweetheart 2.42 2.42 Signifikan Significant perbaikan improvement from baseline No. Target of "significant improvement," but no formal definition of what that means. Reporting an average survey score of 2.42 has little meaning. Ada There was a decrease in subjective norms from 2.56 in 2009 to 2.42 in 2010. 2010. 10 10 Among high-risk urban female entertainment workers, significant increase on beliefs about background and trust in partner 3.16 3.16 TBD TBD No. No identified target. 13 13 Among high-risk urban men with high-risk sweethearts, increase in the belief that condoms are appropriate and necessary to use with a sweetheart 87.3% 94% 94% No. Men believing condoms are necessary to be used with a sweetheart (or entertainment worker) have actually decreased 6% since the beginning of the projecta fact that is not explicitly included in the performance report. 14 14 Among high-risk urban men with high-risk sweethearts, significant increase in the mean score for scaled construct on beliefs about background and trust in a mitra partner 3.06 3.06 Signifikan Significant perbaikan improvement No. "Significant improvement" target is not formally didefinisikan. defined. Reporting an average survey score of 3.06 has

little meaning. In fact, there has been no statistically significant change since the beginning of the project. 21 21 10% annual increase in use of family planning commodities by women from the two lowest income quintiles 45% 45% 10% increase No. Reported results are represented as a percentage increase in users. However, reported results are actually the total percentage of users. The actual increase in users from 2009 to 2010 was about 7%, though there was also roughly a 7% decrease in use from 2008 to 2009. 30 30 Liters of drinking water disinfected by target populations using USG-supported household water treatment product 28,178,000 10,000,000 10,000,000 No. Water treatment tablets are measured in terms of liters of disinfected water once sold or distributed to vendors regardless of when they may be used. One tablet disinfects 20 liters of water, though targeted populations are told to use two tablets on the same amount of water if it is not clear. The water disinfected calculation does not take this into account. The project reported distributing 564,000 water treatment tablets, which could contribute to only 11,280,000 liters of safe drinking water in the best of kondisi. conditions. 30 30 Halaman 34 Page 34 Appendix VII Timeliness of Reported Data for Key Impact-Related Performance Indicators Source: SMBCI Project's FY 2010 Annual Performance Report Auditor Review ## Indikator Kinerja Performance Indicators TA 2010 FY 2010 Dilaporkan Reported Hasil Results Tanggal Date of Data Data Koleksi Collection Komentar Comments 77 98% of direct sex workers report consistent condom use with clients by 2012

N / A N/A N / A N/A No results reported. 88 Increase consistent condom use in "high-risk sweetheart relationships" among high-risk urban female entertainment workers from X% in 2009 to Y% in 2012 50,5% 50.5% Tahun Fiskal Fiscal Year 2009 2009 Reported results represent data collected in a sebelumnya fiskal tahun. previous fiscal year. Reporting them as current results in the fiscal year 2010 annual report is not an effective way to evaluate current Proyek project kinerja. performance. 99 Among high-risk urban men with high-risk sweetheart relationships, significant improvement in subjective norms about proposing condom use to sweetheart 2.42 2.42 Tahun Fiskal Fiscal Year 2009 2009 10 10 Among high-risk urban female entertainment workers, significant increase on beliefs about background and trust in partner 3.16 3.16 Tahun Fiskal Fiscal Year 2009 2009 11 11 98% of men who report commercial sex report consistent use of condoms with commercial sex workers by 2012 95,6% 95.6% Tahun Fiskal Fiscal Year 2009 2009 12 12 Increased percentage of high-risk urban men with high-risk sweethearts who use condoms consistently with their "sweethearts" from 59% in 2008 to 62% in 2010 69.4% Tahun Fiskal Fiscal Year 2009 2009 13 13

Among high-risk urban men with high-risk sweethearts, increase from 93.3% in 2008 to 94% in the belief that condoms are appropriate and necessary to use with a sweetheart by 2010 87.3% Tahun Fiskal Fiscal Year 2009 2009 14 14 Among high-risk urban men with high-risk sweethearts, significant increase in the mean score for scaled construct on beliefs about background and trust in a mitra partner 3.06 3.06 Tahun Fiskal Fiscal Year 2009 2009 15 15 Increase from 83% (short-haired) and 94% (long-haired) in 2007 to 88% (shorthaired MSM ) and 97% (long-haired MSM) of MSM using condom at last sex with nonpaying, paying male partner by 2012 N / A N/A N / A N/A No results reported. 16 16 Significant improvement in key behavioral determinant which affect MSM to consistently use condoms with their male partners N / A N/A N / A N/A 20 20 Increase in the % of currently married women of reproductive age using modern birth-spacing methods from 42.6% in 2007 to 50% by 2012 46% 46% Tahun Fiskal Fiscal Year 2010 2010 No concerns noted regarding ketepatan waktu timeliness of reported data. 21 21 10% annual increase in use of family planning commodities by women from the two lowest income quintiles 45% 45% Tahun Fiskal Fiscal Year 2010 2010 22 22 Significant increase in misconception scale from 2.3 out of 4 to 2.8 out of 4 (18% increase) on women's misconceptions on hormonal methods 2.9 2.9 Tahun Fiskal Fiscal Year

2010 2010 30 30 Liters of drinking water disinfected by target populations using USG-supported household water treatment product 28,178,000 Tahun Fiskal Fiscal Year 2010 2010 31 31 Halaman 35 Page 35 US Agency for International Development US Agency for International Development Kantor Inspektur Jenderal Office of Inspector General 1300 Pennsylvania Avenue, NW 1300 Pennsylvania Avenue, NW Washington, DC 20523 Washington, DC 20523 Tel: 202-712-1150 Fax: 202-216-3047 www.usaid.gov / OIG www.usaid.gov/oig