randomize evaluation

Program Magister Sains Fakultas Ekonomi dan Bisnis UGM

2011

Pricing and Access:Lessons from Randomized Evaluations

in Education and Health

Edy Purwanto 311198

Outline

• Randomized Evaluations • Pandangan Penulis Tentang RE• Contoh Randomized Evaluation

Randomized Evaluations

Pengukuran Dampak Dampak adalah perbedaan antara indikator hasil

dengan program dan indikator hasil tanpa program.

Tetapi, kita tidak dapat melihat seseorang atau sesuatu dalam keadaan yang berbeda pada saat bersamaan.

Jadi, meskipun indikator hasil setelah program dapat diamati, indikator hasil tanpa program, yg biasa disebut kontra-fakta (counter-factual), tidak dapat diamati.

Pengukuran Kontra-fakta– Perlu kelompok pembanding (control group) yg

setara dan terpercaya.– Tidak cukup hanya dengan mengandalkan:

• Perbandingan sebelum-setelah (before-after): Hal-hal lain di luar program dapat terjadi sehingga perbandingan tidak valid.

• Perbandingan dengan/tanpa (with/without): Perbedaan dapat muncul karena alasan-alasan di luar program.

• Misalkan kita mengamati nilai suatu indikator sebelum sebuah program dijalankan Y1 (teramati)

Y0 t=0

• Kemudian nilai indikator tsb meningkat setelah program dijalankan

Y1 (teramati)

Y0 t=0 t=1 waktu Intervensi

• Hal ini tidak otomatis bahwa selisih nilai tsb merupakan dampak dari program karena ada kontra-fakta

• Dampak program adalah selisih antara nilai indikator setelah program dg kontra-fakta

Y1 (teramati)

Y1

* (kontra-fakta)

Y0 t=0 t=1 waktu Intervensi

Y1 – Y0 bukan Dampak

Dampak = Y1 – Y *

• Keuntungan RE: Tidak terpaku pada metodologi penelitian yang telah ada, mudah disampaikan dan mudah dijelaskan ke lembaga donor.

• Namun dalam menilai studi apapun, ada dua jenis masalah yang harus difikirkan yaitu :– Internal validity: berhubungan dengan kemampuan untuk

penarikan kesimpulan, yaitu variable yang dapat kita gunakan untuk memperkirakan dampak dari program dan bukan pengaruh dari faktor yang lain(program lain, kontaminasi, pengurangan sample dsb)

– External validity: berhubungan dengan kemampuan untuk menggeneralisasi , yaitu kita bisa menggeneralisasi perkiraan dampak dari program ini untuk populasi lain, periode waktu, negara, dll (penentuan sample sangat berpengaruh )

• Penggunaan RE dalam dalam Evaluasi Program Counter- factual ??

• Untuk mengetahui dan memecahkan permasalahan selection bias , maka RE dikembangkan lebih lanjut dengan menggunakan:1. PSM ( Propensity-Score Matching )2. D in D ( Difference-in-Difference )3. IV ( Instrumental Variable ) Impact evaluation

Pandangan Dani Rodrik (2)

• RE merupakan ilmu baru dalam ekonomi pembangunan melengkapi 2 ilmu Ekonomi pembanguan yang telah ada sebelumnya yaitu Macro-development (pertumbuhan ekonomi, perdagangan internasional dan fiskal/kebijakan macro) dan micro-development(Keuangan micro, pendidikan, kesehatan dan program sosial lain).

• RE sementara lebih ke Micro

Namun Dani Rodrik mengungkapkan sulit untuk melihat dampak pengenaan biaya pada pemberian kelambu nyamuk di klinik kehamilan untuk wanita hamil di kenya dengan randomized evaluation.- Tidak dapat menjangkau mereka yang paling

membutuhkan- Tidak mendorong kepada masyarakat untuk

menggunakannya kesimpulan: Hasil tidak dapat digeneralisasi karena tergantung kondisi validity eksternal

Contoh lain: PROGRESA di Mexico, • Bantuan uang untuk anak sekolah• Kehadiran anak sekolah meningkat• Apakah ini bisa digeneralisasi ?• Mungkin tergantung pada kondisi awal?

• Dani rodrik tetap mengharapkan, Macro-development seharusnya lebih terbuka dalam menerima penemuan RE karena micro-development telah menerima. Diharapakan macro-development mau menggunakan RE

• Contoh: Hasil studi di Cina

Pandangan Michael Kremer & Alaka Holla (4)

RE merupakan metode baru:• Memperbaiki metode lama 1 pengukuran• Dapat pelajaran lebih yang dapat digunakan dalam peningkatan

Human Capital Invesment

Penggunaan RE untuk melihat pengaruh pengenaan biaya dan pemberian insentif terhadap keberhasilan program bantuan kesehatan dan pendidikan:

• Temuan sementara dari PSI (Population Services International ) menemukan bukti sementara: jika sesuatu bantuan diberikan secara gratis kepada semua orang maka sebagian masyarakat cenderung untuk tidak menghargai barang tersebut dan sebagian cenderung untuk tidak menggunakan.

• Tapi temuan tersebut mendapat banyak kritik sehingga WHO, World bank dan PSI memberikan bantuan dalam bentuk gratis tetapi terpilih / tertentu contohnya : pemberian bantuan kelambu nyamuk di kenya hanya untuk wanita hamil.

• Jika dampak dari sebuah program sangat halus, rumit dan sulit untuk diprediksi maka kita tidak dapat mengeneralisasi dampak tersebut

• Jadi sebuah program yang berhasil disuatu negara belum tentu berhasil dinegara lain karena terdapat beberapa perbedaan kareakteristik masyarakatnya.

• Disisi lain sebenarnya jika teori-teori sudah cukup akurat maka randomizes evaluation tidak diperlukan.

• Misal: Jika pendidikan benar-benar akan meningkatkan penghasilan dimasa yang akan datang dan tingkat upah benar-benar hanya berkorelasi dengan pendidikan tidak dipengaruhi oleh faktor lain ( seperti etos kerja, latar belakang kelurga, keberuntungan , dll) maka kita bisa menentukan berapa besar biaya sekolah yang tepat

Dalam kenyataan tidak ada sehingga RE tetap diperlukan

Pengaruh harga terhadap kesejahteraan tidak hanya ditentukan antara harga dan benefit tapi juga ditentukan:• Ada eksternalitas positif dari beberapa produk• Kendala keuangan dapat menyebabkan human

capital investmen kurang optimal. • Masalah konsistensi waktu dapat menyebabkan

kurangnya investasi. • Untuk teknologi baru mungkin ada eksternalitas

informasi.

Contoh RE: Kesehatan & Pendidikan

Tujuan: 1. Apakah harga yang lebih tinggi akan

mengurangi akses2. Mencari bukti apakah harga mempengaruhi

psikologis sehingga mau menggunakan produk lebih baik sebagai effek sunk-cost

I. Perlakuan pengenaan biaya vs Gratis:

1. Pemberian obat cacing2. Pemberian Kelambu berinsektisida 3. Pemberian Kelambu / uang tunai4. Pemberian Seragam sekolah5. Pemberian buku, bantuan pembangunan

dan seragam sekolah

1. Pemberian obat cacing di kenya

Cacing ?Kontrol Gratis ( 3 tahun): tingkat kehadiran

naik 25 %, education level naik 0,14 tahunPerlakuan (th ke-4): membayar $ 0,3 Hasil

Akses turun 62 persen Sasaran menjadi tidak tepat

2. Pemberian Kelambu berinsektisida di kenya

Nyamuk & Malaria >> kelambu anak & bumil?

Kontrol gratis di tempat pemeriksaan kehamilan

Perlakuan: membayar maksimal $ 0,75Hasil

• Akses turun 75 % & tidak significan pada harga berapapun

• Sasaran menjadi tidak tepat

3. Pemberian Kelambu / uang tunai di Urganda

Kontrol : kelambu gratisPerlakuannya: uang tunai untuk beli kelambuHasil :

Akses kontrol 99 % , uang 85 % Penggunaan Jaring secara umum berbeda

secara significan Akses di balita kontrol 12-14 % lebih tinggi

dari uang dan significan

4. Gratis seragam di kenya

Seragam ?Perlakuan Gratis . Hasil• tingkat kehadiran naik 7 – 13 % persen &

khusus untuk siswa yang tadinya tidak pakai seragam tingkat kehadiran naik 15 persen,

• Perempuan remaja melahirkan anak turun 1,5 persen , termasuk kasus HIV/ AIDS masuk sekolah

5. Gratis buku, uang pembangunan dan seragam sekolah , Kenya

Hasil• Setelah lima tahun, jumlah sisa per kelas naik

8,9 %. • Setelah lima tahun kemajuan kelas meningkat

sebesar 16 persen.

Pelajaran :• Pengenaan biaya meskipun kecil, terutama dalam

program-program kesehatan , tidak menghasilkan manfaat program substansial. Sehingga program tidak dapat mencapai sasaran dengan tepat yaitu kelompok orang miskin .

Kesimpulan Tujuan

II. Pemberian Insentif

1. Progresa di Meksiko2. Tiga Model Bantuan Bersyarat3. Beasiswa untuk siswa perempuan

kelas 6

1. Progresa di Meksiko

Progresa ?Perlakuan :

• Bantuan sekolah 50-75 persen • Bantuan Kesehatan setara dengan

20 persen dari pendapatan rumah tangga

Hasil Sekolah: tingkat kehadiran meningkat 3,4

– 14,5 %, spillover 5 % Kesehatan: Kunjungan ke klinik

meningkat 2x, angka kesakitan batita turun 22,3 %, peningkatan tinggi badan 1 cm, penurunan anemia 25,5 %

Kontribusi dari hasil evaluasi :• Program dilajutkan & diperbaiki meskipun

terjadi pergantian pemerintahan • Cakupan Program diperluas

– Cakupan ditambah daerah miskin perkotaan– Manfaat diperluas ke sekolah persiapan– Komponen program dilengkapi dg kredit

mikro, perbaikan rumah, pendidikan orang dewasa, asuransi sosial.

2. Tiga Model Bantuan Bersyarat, Kolombia

3 bentuk bantuan bersyarat ?Perlakuan:

a. Progresa $ 15/month tergantung kehadiranb. 1/3 bantuan ditunda untuk pendaftaran

jenjang sekolah lebih tinggi (SMP)c. Seperti kelompok ke-2 ditambah $ 300

untuk pendaftaran SMA==73 % total biaya

Hasil:• Ketiganya meningkatkan kehadiran ke sekolah 2,8-5

%• Perlakuan pertama tidak memiliki efek pada saat

pendaftaran ke jenjang yang lebih tinggi . • Perlakuan ke-2 dan ke-3 meningkatkan pendaftaran

kesekolah berikutnya sebesar 3,6 persentase • Perlakuan ke-2 meningkatkan pendafatran ke yang

lebih tinggi 8,8 persentase dan perlakuan ke-3 sebesar 50 persentase

3.”Merit Beasiswa” untuk siswa perempuan kelas 6 di Kenya

“Merit beasiswa”?Perlakuan : Beasiswa untuk siswa perempuan

kelas 6, agar dapat melanjutkan ke kelas 7-8 sebesar $ 19,20

HasilSkor tes anak perempuan meningkat 0,18

point, spillover untuk laki-laki meningkatkan nilai 0,15 point

Tingkat kehadiran meingkat 5 % persentase

Pelajaran • Randomized Evaluation mengungkap

fakta bahwa harga sangat sensitif. Peningkatan yang kecil mempengaruhi pengambilan keputusan. Hal ini sangat sulit untuk merumuskan sebuah model yang konsisten dengan perilaku tersebut.

TERIMA KASIH

Back