Setelah memahami apa itu evaluasi dampak pada postingan sebelumnya, Pengantar Evaluasi Dampak, kali ini kita akan membahas permasalahan yang mendasar dalam evaluasi dampak. Pertama, mari reviu kembali terkebih dahulu konsep dari evaluasi dampak. Peneliti yang menggunakan metode evaluasi dampak sebenarnya sedang tertarik pada pertanyaan tentang pentingnya suatu kebijakan atau program dibuat. Berikut contohnya:
- Apakah sertifikasi guru dapat meningkatkan nilai ujian siswa?
- Apakah tekanan dari sesama remaja dapat mengurangi kejadian merokok remaja?
- Apakah penyediaan seragam bagi remaja putri dapat mengurangi kejadian hamil usia dini?
Untuk menjawab pertanyaan-pertanyaan semacam itu sangat membutuhkan usaha yang cukup keras. Evaluasi dampak akan menginvestigasi apakah suatu program menyebabkan perubahan pada outcome yang disasar. Pada kesempatan ini kita akan membahas masalah mendasar yang terdapat pada evaluasi dampak.
Misalnya program Bantuan Siswa Miskin (BSM) akan dievaluasi dampaknya terhadap capaian prestasi siswa. Dalam persamaan regresi, kasus tersebut dapat ditulis sebagai berikut.
Dimana Y adalah outcome tingkat prestasi siswa, D adalah dummy variabel bernilai 1 jika individu mendapatkan treatment dan bernilai 0 jika individu tidak mendapatkan treatment, dan X adalah covariat. Apa masalah yang akan timbul?
- Purposive program placement. Karena program didesain berdasarkan kebutuhan dari suatu komunitas atau individu sehingga individu yang terpilih masuk ke grup treatment atau kontrol sangat tergantung pada desain program tersebut. Oleh karena itu, penempatan program tidak dapat dilakukan secara random, padahal randomisasi adalah kunci penting dalam melakukan evaluasi dampak.
- Self-selection into the program. Dalam hal ini akan aterdapat karakteristik individu yang dapat diobservasi (observable characteristics) dan yang tidak dapat diobesrvasi (unobservable characteristics/factors). Sedangkan, unobservable characteristics berkorelasi dengan error term.
Untuk setiap individu, akan ada dua outcome Y potensial, Y(1) dan Y(0). Y(1) adalah outcome jika individu menerima treatment D(1). Y(0) adalah outcome jika individu tidak menerima treatment D(0). Secara matematis, besarnya outcome potensial yang akan dihasilkan oleh seorang individu i dapat dituliskan sebagai berikut:
Causal effect-nya adalah Y(1)i - Y(0)i.
Namun pada kenyataannya, seorang individu tidak dapat menjadi grup treatment dan gurup control dalam waktu yang bersamaan. Hal ini karena di dunia ini tidak ada dunia yang paralel (no parallel world), sehingga tidak pernah akan tersedia counterfactual. Oleh karena itu, kita hanya dapat membedakan hasil dari kelompok individu yang menerima treatment dengan kelompok individu yang tidak menerima treatment. Permasalahan ini disebut juga dengan missing data problem.
Secara lebih spesifik, potential outcome dapat ditulis sebagai berikut:
E[Yi|Di=1] - E[Yi|Di=0]
= {E[Y1i|Di=1] + E[Y0i|Di=1]}- {E[Y1i|Di=0] + E[Y0i|Di=0]}
= E[Y1i|Di=1] + E[Y0i|Di=1]- E[Y1i|Di=0] - E[Y0i|Di=0]
= E[Y1i|Di=1] - E[Y1i|Di=0] + E[Y0i|Di=1]- E[Y1i|Di=0]
= ATE + Bias
ATE adalah Average Treatment Effects, yaitu nilai dampak dari suatu treatment. Sedangkan BIASnya adalah selection bias. Bias ini dapat menjadi besar, sehingga hasil evaluasi dampak dari penelitian sangat berisiko terhadap bias ini.
Untuk memperkecil bias pada tingkat yang minimal, tantangannya terletak pada bagaiana menentukan countercctual atau mengidentifikasi grup treatment dan grup control. Secara statistik kedua grup tersebut harus identik, kecuali hanya pada status terkena treatment atau tidaknya saja.
Sekarang mari ubah ruang lingkup kita menjadi lebih besar menjadi grup instead of individual. Secara statistik, jika jumlah anggota grup sangat besar, maka karakteristik kedua grup dapat dikatakan tidak berbeda. Dalam hal ini grup control yang valid adalah grup control yang memiliki rata-rata karakteristik yang sama dengan grup treatment, tidak dipengaruhi oleh grup treatment, dan bereaksi terhadap intervensi dengan cara yang sama dengan grup treatment. Tantangannya adalah menemukan grup control yang memiliki sifat tersebut.
Mari lihat metode perbandingan secara sederhana, yaitu:
- With and without comparisons, membandingkan outome dari dua grup yang berbeda pada saat yang sama. Satu grup sebagai grup yang dikenai treatment, grup yang lainnya tidak dikenai treatment.
- Before and after comparisons, membandingkan outcome kelompok individu yang sama pada waktu yang berbeda, sebelum dikenai treatment dan setelah dikenai treatment.
Tentu kedua metode ini memiliki kelemahan yang besar karena keduanya tidak mengakomodasi adanaya faktor lain selain program itu sendiri sehingga kita tidak dapat menyimpulkan bahwa perubahan outcome adalah sebagai akibat dari pemberian treatment. Lalu bagaimana solusinya?
Standar ideal dan utamanya adalah dengan menerapkan random assignment sehingga status treatment dari individu (Di) bersifat independen terhadap potential outcome.
E [Y0i | Di = 1] = E [Y0i | Di = 0]
Sehingga:
E[Yi|Di=1] - E[Yi|Di=0]
= {E[Y1i|Di=1] + E[Y0i|Di=1]}- {E[Y1i|Di=0] + E[Y0i|Di=0]}
= E[Y1i|Di=1] + E[Y0i|Di=1]- E[Y1i|Di=0] - E[Y0i|Di=0]
= E[Y1i|Di=1] - E[Y1i|Di=0] + E[Y0i|Di=1]- E[Y1i|Di=0]
= ATE + 0
= ATE
Contoh penggunaan random assignment dalam prakteknya dapat dipelajari dalam paper berikut ini:
- School quality and student performance (Krueger, 1999)
- Human capital production function (Fryer, 2016)
- Teacher quality (Duflo, Hanna, Ryan, 2010)
- Neighborhood effects (Katz, Kling, Liebman, 2001; Kling, Liebman, Katz, 2007; Ludwig et al., 2013)
- Anti-poverty programs (Hanna and Karlan, 2016)
- Discrimination (Bertrand and Mullainathan, 2004)
Demikian diskusi tentang Causal Inference and the Problems of Counterfactual. Untuk diskusi selanjutnya kita akan membahas tentang metode-metode evaluasi dampak yang sering digunakan dalam peneitian, antara lain:
- Difference in Difference (DID)
- Propensity Score Matching (PSM)
- Regression Discontinuity Design (RDD)