methodische erfahrungen mit einer online- tracer-studie im berufsbildungsbereich dieter zürcher,...
TRANSCRIPT
Methodische Erfahrungen mit einer Online-Tracer-Studie im Berufsbildungsbereich
Dieter Zürcher, Katharina Walker, KEK-CDC Consultants
9. September 2010
Final Evaluation of the vocational education programme in the ICT sector of Usbekistan
Inhalt
1. GTZ-Vorhaben und Schlussevaluation
2. Ausgangslage der Daten
3. Evaluationsdesign der Tracer-Studie
4. Illustration der Online-Befragung
5. Herausforderungen
6. Zwischenfazit
2
GTZ-Vorhaben und Schlussevaluierung
Berufliche Ausbildung im Bereich ICT•Projektdauer: 2002 – 2010
•13 Mio. EUR Projektkosten (GTZ und KfW)
•32 Berufscolleges
•Drei Vertiefungsrichtungen: Elektronik, Programmierung, Business
•Unterstützung des Zentrums für Fachschul- und Berufsbildung
•Zusammenarbeit mit der Privatwirtschaft
Schlussevaluation durch KEK-CDC ConsultantsKlassische Evaluation mit Einbezug einer Tracer-Studie
3
“A graduate tracer study tracks down a group of graduated trainees who have participated in VET programmes in specific trades and explores their current and past employment activities“ (HELVETAS, Tracer Studies for Vocational Education and Training Programmes – a Practical Tool Kit)
Ausgangslage der Daten
1. Tracer-Studie der Jahrgänge 2007 und 2008• Absolventen- und Firmenbefragung• Schriftliche, persönliche und telefonische Befragung
Diese bestätigen gute Erreichung der Projektziele
2. Monitoring • Befragung der Lehrkräfte, Schüler und Unternehmen in den Jahren 2006 und
2007
4
4) Rabotaete li Vi v danniy moment? da (dalee vopros 5) 216 (70,82%) net (dalee vopros 13 ) 89 (29,18%) ____________ ______________ Summe 305 ohne Antwort 0
70.82% der antwortenden Absolventen von 2008 arbeiten 1 Jahr nach der Graduierung
Evaluationsdesign - Begründung der Befragungsmethodik (1)
5
2010 Neue Befragungsmethodik
Begründung Online-Tracer-Studie
1. Kosten-Nutzen-ÜberlegungenTracer-Studien 2007/08: 70 resp. 90 Arbeitstage für Befragung und Auswertung: Effektiver Aufwand bedeutend höher
2. ICT-Ausbildung
Schriftliche, persönliche und
telefonische Befragung
Online-Befragung, schriftliche Befragung
April Mai Juni Juli August September Oktober
Evaluationsdesign der Tracer-Studie (2)
6
„Tracing“ der Absolventen
Analyse Datenlage,
MachbarkeitVorbereitung Evaluation
Berufscolleges suchen
Kontaktdaten von
Absolventen
Auswer-tung
früherer Tracer-Studien
Überprüfen der Ergebnisse der Online-Befra-
gung, schriftliche Befragung
Vormission
Online-Befragung
Sekundäranalyse
Evaluation
Handels-kammer, lokaler
Evaluator
Erarbeitung Fragebogen, Übersetzung
Kontakt Firmen
Evaluationsdesign der Tracer-Studie (3)
1. Onlinebefragung der Absolventen und Firmen in Russisch und Usbekisch• Absolventen, die z.Z. in Beruf arbeiten
• Firmen (CEO und ICT-Spezialist)
2. Ausweitung der Tracer-Studie an drei ausgewählten Berufscolleges
• Im Rahmen der Evaluierungsmission
• Schriftliche Befragung in Rahmen von Alumni-Events
3. Sekundäranalyse der Tracer Studies von 2007/8• Nach Geschlecht
• Nach Vertiefungsrichtung
• Nach geografischer Lage (urban vs. ruraler Kontext)
7
Illustration der Online-Befragung (1)
8
E-Mail mit Hyperlink zum Online-Fragebogen
Illustration der Online-Befragung (2)
9
Online-Fragebogen
Illustration der Online-Befragung (3)
10
Auswertung des Online-Fragebogens
Herausforderungen
11
1. „Tracing“ der Absolventen• Zeitaufwändig
• Unvollständige Listen
• Kein Besitz von E-Mail-Adressen
2. E-Mail-Adressen der Firmen• Persönlicher Kontakt
• Skepsis gegenüber Befragungen
Anzahl E-Mail-Adressen
Anzahl Funktionierende E-Mail-Adressen
Fehlerquote E-Mail-Adressen
Rücklauf (Stand 07.09.10)
Absolventen 513 341 33.5% 25.5%
Firmen 316 248 21.5% 10.5%
№ п/пФамилия,имя,отчество
выпускникаЭлектронный адрес,
Контактные телефоны с кодом
Специальность, профессия
1 Айдарова Гулхаё Раджабовна [email protected]Информатика и информационные
технологии: техник по ИКТ с уклоном на программирование
2 Жураева Нигора НикеевнаИнформатика и информационные технологии:
техник по ИКТ с уклоном на программирование
3 Худойбердиева Сарвиноз Зокировна Sarvinoz [email protected]Информатика и информационные
технологии: техник по ИКТ с уклоном на программирование
4 Батанова Людмила ВикторовнаИнформатика и информационные технологии:
техник по ИКТ с уклоном на программирование
5 Гафаров Артур ИсломовичИнформатика и информационные технологии:
техник по ИКТ с уклоном на программирование
6 Дустова Мухаббат АрслоновнаИнформатика и информационные технологии:
техник по ИКТ с уклоном на программирование
7 Золотарев Максим ВячеславовичИнформатика и информационные технологии:
техник по ИКТ с уклоном на программирование
8 Лезвинская Лилия Анатольевна [email protected]Информатика и информационные
технологии: техник по ИКТ с уклоном на программирование
9 Махмудова Мукаддас РауповнаИнформатика и информационные технологии:
техник по ИКТ с уклоном на программирование
10 Оньков Тимур ГандьевичИнформатика и информационные технологии:
техник по ИКТ с уклоном на программирование
Zwischenfazit
• Befragungsmethodik der Online-Befragung: In der Schweiz weit verbreitet, in Usbekistan kaum bekannt
• „Tracing“ der Absolventen: Schulleitern vor Ort den Nutzen einer Tracer-Studie erklären
• Befragung der Absolventen: Anreiz dank Sackmesser• Schlussfolgerung: Verfälschung der Ergebnisse• Repräsentativität / Generalisierbarkeit: Online-
Befragung mit schriftlicher Befragung vor Ort ergänzen
12
13
VIELEN DANK FÜR IHRE AUFMERKSAMKEIT!