technology based assessment marc rittberger dipf frankfurt am main 60486 frankfurt am main dipf...
TRANSCRIPT
Seite 1
Technology Based Assessment
Marc Rittberger
DIPF Frankfurt am Main60486 Frankfurt am Main
DIPF Berlin10243 Berlin
Seite 2
Inhalt
• DIPF
• Technology Based Assessment
• Programme for International Student Assessment – PISA
• Programme for the International Assessment of Adult Competencies
– PIAAC
• Fazit
Seite 3
Selbstverständnis:
• Erkenntnisgetriebene Grundlagenforschung, innovative Entwicklungsarbeiten und
Anwendungen zum Nutzen der Gesellschaft im Bildungsbereich
• Bildungswissenschaftliche Forschung und nationales Kompetenzzentrum für
Bildungsinformation zum Gelingen von Bildung, indem das DIPF
• Wissen über Bildung generiert
• Wissen über Bildung geordnet und strukturiert
• Wissen über Bildung aus historischer Perspektive betrachtet
• Kompetenz- und Kommunikationszentrum im Bildungswesen
• Mitglied der Leibnizgemeinschaft mit 85 weiteren Instituten
Seite 4
• 260 Beschäftigte
• 18 Professuren (davon 5 Juniorprofessuren, 3
Emeritus)
• > 100 Semesterwochenstunden Lehre
• ~ 50 DoktorandInnen
• > 22 Millionen Gesamtbudget
• >11 Millionen Drittmittel
DIPF 2010
Seite 5
Bildungsforschung
• Bildung und Entwicklung
• Lehr-Lern-Prozesse und kognitive Funktionen im Alter
• Bildungsqualität und Evaluation
• Schul- und Unterrichtsqualität sowie
Kompetenzdiagnostik
• Steuerung und Finanzierung
• Indikatorenforschung, Bildungsrecht und
Steuerungskonzepte im Schulwesen
PISA 09, PISA 12, PIAAC
Seite 6
Bildungsinformation• Bibliothek für Bildungsgeschichtliche Forschung
• 1870 als Deutsches Schulmuseum gegründet• Kommunikationszentrum für die historische
Bildungsforschung• Informationszentrum Bildung:
• ganzheitliche Unterstützung des wissenschaftlichen Forschungsprozesses durch Information, Technologie und Beratungsleistung und informationswissenschaftliche Forschung PISA 09, PISA 12,
PIAAC
Pedocs, LZA, SCA, Mauswiesel, Lesen Weltweit, Tagging, IWWB
Seite 7
Inhalt
• DIPF
• Technology Based Assessment
• Programme for International Student Assessment – PISA
• Programme for the International Assessment of Adult Competencies
– PIAAC
• Fazit
Seite 8
Technology Based Assessment
• Messung von Kompetenzen im Kontext der pädagogisch-psychologischen
Diagnostik kontextspezifische kognitive Leistungsdispositionen
• Kompetenzmessung zur Steuerung von Bildungssystemen stärkerer Outputorientierung
• Assessment: Beurteilung von Personen hinsichtlich bestimmter Merkmale
oder bestimmter Eignungen
Seite 9
Schematische Darstellung einer Hierarchie von Test, Skala, Aufgabe und Item am Beispiel von
Testinhalten in PISA 2003 Prenzel et.a. 2003, zitiert nach Hartig & Klieme 2007
Seite 10
Seite 11
Technologiebasiertes Testen
• Äquivalenzproblematik Mode Effect Studies• Geringe Probleme bei Fragebögen• Leistungstests problematischer Problem der flexiblen Handhabung
• Gleiche technische Voraussetzungen notwendig• Testfairness: Vertrautheit mit Technologie• Verbesserung der Testgütekriterien:
• Objektivität durch Standardisierung• Reliabilität: Reduzierung der Mess- und Auswertungsfehler• Validität: bspw. durch adaptive Verfahren
• Ökonomisierung der Erhebungen• Vielfältigere Testinhalte und –formate• Datensicherheit und Persönlichkeitsschutz
Seite 12
DatenverarbeitungAutomatische Berechnungenvon statistischen Kennwerten
ItemerstellungEinfache StimuliKomplexe Stimuli & Interaktion
Personen ManagementSampling Prozeduren
Datenaufbereitung Automatische Codierung
ItemweiterentwicklungÜbersetzung, Kalibrierung
Item BankingMetadaten-ManagementTest ZusammenstellungTestung
Testsicherheit,Integration von Tests,Verzweigung, Adaptation,Dataspeicherung, Feedback
Datenmanagement Data-WarehouseAutomatische Reports
Assessmentprozess
Seite 13
Inhalt
• DIPF
• Technology Based Assessment
• Programme for International Student Assessment – PISA• Programme for the International Assessment of Adult Competencies
– PIAAC
• Fazit
14Seite 14
PISA 2009 ERA: Elektronisches Lesen: Konzeption und Logik
• Suche nach einer bestimmten Information:
Wann findet der nächste Kinderbuch-Sonntag im Frankfurter Literaturhaus statt?
Und um was genau wird es dann gehen?
15Seite 15
Elektronisches Lesen: Konzeption und Logik
• Vom Print-Lesen differierende Anforderungen beim Lesen elektronischer Texte:
• Selbsttätige Textstrukturierung
• Informationsintegration
• Medium-spezifische Lesestrategien, z.B.:
• Identifikation der Textsorte
• Identifikation der Textstruktur
• Identifikation von Glauwürdigkeitsindikatoren
16Seite 16
Elektronisches Lesen: Konzeption und Logik
• Vom Print-Lesen differierende Anforderungen beim Lesen elektronischer Texte
bezogen auf das Reading Literacy Framework:
Aspekt von Lesekompetenz ERA-Spezifische Anforderungen/Aufgaben
Informationen ermitteln Auffinden einer Information innerhalb einer komplexen Website
Textbezogenes Interpretieren Integration von Information von unterschiedlichen Webseiten
Reflektieren und Bewerten Beurteilen der Glaubwürdigkeit von Internetseiten
17Seite 17
Elektronisches Lesen: Konzeption und Logik
• Testkonzeption:
• Abdeckung eines breiten Spektrums von Aufgaben – Beispiele:• Finden von Informationen auf Webseiten (Informationen ermitteln)• Integrieren unterschiedlicher Informationen aus verschiedenen Quellen (z.B.
einem Blogeintrag und einer Webseite) (Textbezogenes Interpretieren)• Beurteilen der Glaubwürdigkeit von Treffern bei einer Suchanfragen oder der
Glaubwürdigkeit von Websites (Reflektieren und Bewerten)
18Seite 18
Elektronisches Lesen: Konzeption und Logik
• Testkonzeption:
• Abdeckung eines breiten Spektrums von Aufgaben hinsichtlich Anforderungen:
Lesen
Nav
igat
ion
19Seite 19
Beispiel: Testeinheit "Café der Philosophen"
Aufgabe 1: "Du bist auf derStartseite des Cafés derPhilosophen. Klicke auf den Link fürKonfuzius. Was meinteKonfuzius mit 'Ren' "?
Frieden und Wohlstand Leben in Chaos und Krieg Das Verhalten der Herrscher Menschlichkeit anderen gegenüber Leben in Harmonie
20Seite 20
Beispiel: Testeinheit "Café der Philosophen"
Aufgabe 2: "Welche der folgendenVorstellungen fasst die Lehre vonZenon zusammen"?
Ein langes Leben führt zum Glück Logische Vernunft führt zum Glück Deinen Gefühlen folgen führt zum
Glück Glück führt zur Tugend
21Seite 21
Beispiel: Testeinheit "Café der Philosophen"
Aufgabe 3: "Was sehen sowohl ZenonAls auch Bentham den verfügbarenInformationen zufolge als einzentrales Thema an?"
Wählen zwischenwidersprüchlichen Anforderungen
Entwickeln von Gesetzen überMänner und Frauen
Streben nach individuellem Glück Verstehen anderer Menschen
22Seite 22
Technologische Herausforderungender ERA-Implementierung
Entwicklung der ERA-Skala:• Ziel: ERA-Items sollen interaktive Hypertext-Umgebungen simulieren• Autorenwerkzeug (HTB) mit graphischer Benutzeroberfläche zur Entwicklung von
Items durch “Lese”-Experten • Softwareunterstützung der Itemübersetzung• Computerbasierte Testplattform (TAO) zur Testzusammenstellung und -auslieferungLösungen:• Generierung von Flash innerhalb eines ActionScript-Frameworks (AsWing)• Model Driven Architecture - Ansatz in und mit Eclipse• Nutzung von XLIFF (XML Localization Interchange File Format) und OpenSource-
Tools• Reine Web-Plattform (PHP und Flash), weltweit zugreifbar
23Seite 23
Technologische Herausforderungender ERA-Implementierung
Auslieferung der ERA-Skala:
• In über 20 Länder mit unterschiedlichen Sprachversionen
• Entsprechend “Lokalisierung” von Text und Texteingabe
• Hohe Heterogenität der Hard-/Softwareumgebungen an Schulen (zwischen und
innerhalb von Ländern)
Lösungen:
• ERA-Boot-CD, baut auf Knoppix auf
• Datenspeicherung auf USB-Stick – wahlweise auch als Boot-Medium
• Einsatz mehrerer Eingabemethodeneditoren für Chinesisch, Japanisch, Koreanisch
• Boot-System umfasst Client und Server
Seite 24
Inhalt
• DIPF
• Technology Based Assessment
• Programme for International Student Assessment – PISA
• Programme for the International Assessment of Adult Competencies – PIAAC
• Fazit
25Seite 25
• Erfassung kognitiver Kompetenzen, die wahrscheinlich persönlichem und gesellschaftlichem Erfolg zugrunde liegen
• Vergleich mit früheren Assessments (IALS, ALL) zur Lese- und Rechenfähigkeit von Erwachsenen
• Bestimmung des Einflusses dieser Kompetenzen auf gesellschaftliche und ökonomische Ergebnisse auf Individual- und Aggregatebene
• Hilfe zur Identifikation von politischen Maßnahmen, die zur Verbesserung dieser Kompetenzen beitragen
PIAAC-Ziele – International vergleichendes, multizyklisches Assessment von Erwachsenen (16-64 Jahre)
26Seite 26
AustraliaAustriaBelgiumCanadaCzech RepublicChile DenmarkEstoniaFinlandFranceGermanyHungaryIreland
ItalyJapanSouth KoreaNetherlandsNorwayPolandPortugalRussian Fed.Slovak RepublicSpain SwedenUnited Kingdom United States
PIAAC: 26 teilnehmende Länder
27Seite 27
• Erweiterte Erfassung von Erwachsenenkompetenzen, um für politische Entscheidungsträger relevante Informationen bereitzustellen (Erweiterte Konstrukte, z.B. Literacy inkl. ERA; neue Konstrukte, z.B. Problems Solving in Technology-rich Environment)
• Assessment-Design, das computer-basiertes adaptives Testen wie auch papierbasiertes Testen beinhaltet
• Open-source Testplattform zur Item- und Testentwicklung sowie zur Testauslieferung
PIAAC-Innovationen
28Seite 28
Erfasste KompetenzenErfasste Kompetenzen
Components
Core cognitive
Non-cognitive
ICT/PS in TRE
Hintergrundvariablen, wie z.B.
Bildungsbiographie, Persönlichkeit
Lesefähigkeiten (Literacy)
einschließlich ERA, Rechenfähigkeiten
(Numeracy)
Problemlösen unter Verwendung von Informations- und Kommunikations-technologie (ICT)
Basale Lesefähigkeiten, wie z.B. Wortverständnis
29Seite 29
Vorgängerstudien(Papier-basiert)
PIAAC
Vergleichbarkeit von Messungen
Computer-basiert
Papier-basiert
Vergleichbarkeit über Administrierungsmodi hinweg
IALS
ALL
Vergleichbarkeit über die Zeit
Computerbasiert Testen:- Adaptives Testen- New Literacy (www)- Problemlösen (ICT)
Zur Ermittlung von Trends
Für Personen erforderlich, die nicht ICT-literal sind
30Seite 30
PIAAC
Vergleichbarkeit PBA-CBA
Computer-basiert
Paper-basiert
Vergleichbarkeit über Administrierungsmodi hinweg
Für den querschnittlichen Vergleich
Vergleichbarkeit muss erreicht werden in den Bereichen:
- Layout
- Antwortmodus
- Antwortbewertung
- über nationale Anpassungen hinweg
31Seite 31
Vergleichbarkeit PBA-CBA: Layout
Layout von Literacy-Aufgaben:
• Hoch- vs. Querformat, d.h. für CBA in der Höhe geringerer Platz
• Autorentool CBA Item Builder ist keine Desktop Publishing Software (Text-/Bildlayout)
PBA CBA
Layout-anpassungenErforderlich, z.B. breitere
Spalten
32Seite 32
Vergleichbarkeit PBA-CBA: Antwortmodus
Antwortmodus von Literacy-Aufgaben:
• PBA: freie Antwort, Einkreisung von Textteilen (z.B. richtige Antwort: Nudeln, Klassik)
• CBA: Markieren des Textes durch Klicken und Ziehen per Maus
PBA CBAAntwortmarkierung
33Seite 33
Vergleichbarkeit PBA-CBA: Antwortbewertung
Antwortbewertung von Literacy-Aufgaben:
• PBA: Beurteilung der Antwort durch geschulte menschliche Beurteiler
• CBA: Automatische Beurteilung durch Vergleich der Antwortmarkierung mit dem
nutzerdefinierten Minimal- und Maximalbereich für eine richtige Antwort
PBA CBATextbereich für richtige Antwort
Textbereich für falsche Antwort
34Seite 34
Vergleichbarkeit PBA-CBA: Nationale Anpassung
Nationale Anpassung der Antwortbewertung:
• PBA: Schulung nationaler Beurteilerteams mit Hilfe zentral geschulter Beurteiler
• CBA: Anpassung der Textbereiche für eine richtige Antwort im Laufe
Itementwicklung durch nationale Experten mithilfe eines speziellen graph. Editors
PBA CBATextbereich für richtige Antwort
Textbereich für falsche Antwort
35Seite 35
• Auslieferung als Haushaltsstudie (Laptops)• Parallel laufende Studien, vorhandene Hardware• Maximale Abschottung erforderlich
Lösungen:• Virtuelle Maschine (VM)• VM bootet Linux (Client und Server)• Volle Bildschirmkontrolle durch VM• Einfache externe API zur Anbindung von nationaler Studiensoftware
PIAAC – Technische Herausforderungen
36Seite
Inhalt
• DIPF
• Technology Based Assessment
• Programme for International Student Assessment – PISA
• Programme for the International Assessment of Adult
Competencies – PIAAC
• Fazit
37Seite
Technology Based Assessment
• Erste Schritte zur Ablösung von Papierbasierten Tests
• Übergangszeit mit verschiedenen Modi
• 21st century initiative (Cisco, Intel, Microsoft)
• Motoren
• International: OECD
• National: BMBF