his workshop Òelektronische pr fungenÓ 5./6. november … · folie (ver ndert) von michael...

HIS Workshop “Elektronische Prüfungen”

5./6. November 2008

Neue Wege in der PrüfungskulturCornelia Ruedel

E-Learning Center, Universität Zürichhttp://www.elc.uzh.ch

03.11.2008 / 2

Agenda:

• Aktuelle Prüfungsalltag

• Probleme mit den konventionellen Prüfungen

• Anforderungen an das neue Prüfungssystem

• E-Assessment Kreislauf

• Überblick über Innovationsfelder mit Beispiele

• Fragen

03.11.2008 / 3

Alltag an der Universität

Aktuelle Prüfungssituation

an der Universität Zürich

• vermehrtes Prüfungs-aufkommen durchdie Bologna Reform

• Prüfungsdurchführungund -auswertung ist einegrosse Personalbelastung

Universitärer Dreikampf: Prüfung, Hausarbeit, Referat

03.11.2008 / 4

Probleme mit

konventionellen Prüfungen

Schriftlich:

fragliche Validität und Reliabilität,

zeitaufwendige Korrektur,

Problem: Handschrift

Mündlich:

fragliche Validität,Reliabilitätund Fairness,jeder Prüfling hat andere BedingungenZeitaufwendige Durchführung

03.11.2008 / 5

Universitäres Assessment:Gegensätzliche Vorstellungenvon Studium und Lehre

Perspektive der

Dozierenden

Perspektive der

Studierenden

Welche Lehrinhalte sollen

vermittelt werden?

Was und wie sollen die

Studierenden lernen?

Was sind die Lerninhalte?

Folie (verändert) von Gabi Reinmann: Blended Assessment, Vortrag bei e-teaching.org am 10. Dez. 2008

Leistungsnachweis als

Ausgangspunkt und

wichtiges «Herzstück»

Welche Lehr-Lernkonzeption

sind geeignet?

Wie kann das Lernziele bewertet

werden?

Leistungsnachweis als

Endpunkt und

lästiges «Anhängsel»!

Was sind die Prüfungskriterien?

Was muss ich wissen?

Wie kann ich am Ziele am

effektives erreichen?

Minimal- oder Maximalprinzip

Unterschiedliche

Erwartungen

03.11.2008 / 6

The Higher Education AcademyMaclellan (2002): Perceptions of

Assessment

Anforderungen an ein neues

Prüfungssystem

+ mehr Vielfalt in der Prüfungsform

+ mehr Feedback für die Studierenden

+ weniger Zeitaufwand für Dozierende

= ist das möglich?

Quelle: http://edorigami.edublogs.org/2008/07/17/21st-century-assessment-2/

E-Assessment als Chance

03.11.2008 / 8

Trends in E-Assessment

1991 - Verminderung der Prüfungskorrekturen (summativ)

1996 - Verbessertes Feedback an die Studierenden (formativ)

2001 - Einbau von Lösungshinweisen im Feedback (formativ und summativ)

2006 - Verminderung des Aufwand bei der Fragenerstellung (formativ und summativ)

Folie (verändert) von Michael McCabe: Remarkable Pedagogical Benefits of Reusable Assessment Objects, Aug. 2008, ENAC Potsdam

03.11.2008 / 9

Zukunftsfelder

«E-Assessment»

03.11.2008 / 10

E-Assessment Kreislauf

03.11.2008 / 11

Vorbereitung Durchführung Auswertung Ergebnisse

Format

Zeitpunkt

/-raum

BewertungFunktion Feedback

PrüferIn

Prüfungsort

Kompetenz

E-Assessment Repositories

Staff Development

Zukunftsfelder

E-Assessment

03.11.2008 / 12

Format

Zeitpunkt

/-raum


PrüferIn

Prüfungsort

Kompetenz


Staff Development


Zukunftsfelder

E-Assessment

03.11.2008 / 13

Vorbereitung: Kompetenz

Was wird geprüft?

• Sachkompetenz

• Methodenkompetenz

• Sozialkompetenz

• Selbstkompetenz

Projekte:

• Bewertung der Reflektion mittels Diskussionsforum ander University of Leicester

• Online-Mikroskope der University of Derby

• Open Comment der Open University

03.11.2008 / 14

Vorbereitung: Kompetenz:

University of Derby: Mikroskope

für Cambridge University

Screenshots von Bioscope entwickelt von der University of Derby mit TRIADS für Cambridge Assessment

03.11.2008 / 15





03.11.2008 / 16





03.11.2008 / 17


Open University: Open Comment

03.11.2008 / 18



03.11.2008 / 19



03.11.2008 / 20



03.11.2008 / 21

Literaturhinweis

Diskussionsforum

Lee, R (2005) Using asynchronous discussion to support initial teacher education aboutEnglish as anadditional language in NALDIC Quarterly, 3.2(http://www.naldic.org.uk/ITTSEAL2/ite/Asynchronousdiscussion.cfm)

Salmon, G. (2000) E-moderating - the key to teaching and learning online. Kogan Page London

Open Comment

Project from the Open University led by Dr. Denise Whitelock (mehr Informationen:http://kn.open.ac.uk/public/workspace.cfm?wpid=8194)

Online Microscope

Maughan, S. and Mackenzie, D.M. (2004) Bioscope: The Assessment of Process andOutcomes using the TRIAD System. IN: Proceedings of the 8th CAA Conference,Loughborough: Loughborough University, UK(http://www.caaconference.com/pastConferences/2004/proceedings/Maughan_Mackenzie.pdf)

Mackenzie, D.M., OﾕHare,D., Paul,C., Boyle,A., Edwards, D., Williams,D. & Wilkins, H. (2004)Assessment for Learning: the TRIADS Assessment of Learning Outcomes Project and thedevelopment of a pedagogically friendly computer based assessment system, p.22. In OﾕHare,D & Mackenzie, D.M. (Eds) Advances in Computer Aided Assessment, SEDA Paper 116pp11-24. Staff and Educational Development Association Ltd., Birmingham.

03.11.2008 / 22

Format

Zeitpunkt

/-raum


PrüferIn

Prüfungsort

Kompetenz


Staff Development


Zukunftsfelder

E-Assessment

03.11.2008 / 23

Vorbereitung: Funktion

Wie wird geprüft?

• Beispiel:• Adaptive testing: PTO Online (http://www.pto.uzh.ch/)

E-Assessment

Steuerung

SelektionLeistungs-

bewertung

Lernlenkung

form

ativ

summativ

diagnostisch

adaptiv

03.11.2008 / 24


Universität Zürich: PTO

Psychopathology Taught Online

http://www.pto.uzh.ch/

03.11.2008 / 25





03.11.2008 / 26





03.11.2008 / 27

Format

Zeitpunkt

/-raum


PrüferIn

Prüfungsort

Kompetenz


Staff Development


Zukunftsfelder

E-Assessment

03.11.2008 / 28

Vorbereitung: Format

Welche Prüfungsform wird verwendet?

• Klassische Formen (Offene Fragen)• E-Assessment (geschlossene + halboffene Fragen)• Neue Formen

• E-Portfolio• Neue Web 2.0 Formen (Wiki, Blog, Podcast)• Rollenspiele, Simulationen

Beispiele für Digital Storytelling on YouTube• Did you know: http://www.youtube.com/watch?v=K04o2ic4g-A• Pay attention:

http://www.youtube.com/watch?v=gT2E2F0DmyE&feature=related

03.11.2008 / 29

Literaturhinweis

Digital Storytelling

• Alexander, B. and Levine, A (2008) Web 2.0 Storytelling:Emergence of a New Genre(http://connect.educause.edu/Library/EDUCAUSE+Review/Web20StorytellingEmergenc/47444)

• 7 Things you hould know about ... Digital Storytelling,Educause Learning Initiative(http://www.educause.edu/ir/library/pdf/ELI7021.pdf)

03.11.2008 / 30

Vorbereitung: Format

Universität Zürich:

Rechtswissenschaften

Interaktives Rollenspiel

03.11.2008 / 31

Format

Zeitpunkt

/-raum


PrüferIn

Prüfungsort

Kompetenz


Staff Development


Zukunftsfelder

E-Assessment

03.11.2008 / 32

Vorbereitung: PrüferIn -

Authorithy

Wer bewertet?

• Self Assessment• Peer Assessment• Group Assessment• Teacher Assessment

Beispiele Peer Assessment:

• WEBPA (Loughborough University)http://www.webpaproject.com/

• University of Dundeehttp://www.dundee.ac.uk/learning/centre/ilt/selfpeer.htm

• University of Glamorgan(http://www.comp.glam.ac.uk/staff/pdavies/CAA%202008/phil_davies_2008.doc )

03.11.2008 / 33

Vorbereitung: PrüferIn

Loughborough University:

Peer Assessment: WebPA

03.11.2008 / 34


Loughborough University:

Peer Assessment: WebPA

03.11.2008 / 35


University of Glamorgan:

First Stage => Self Assess own Work

Second Stage (button on server) => Peer Assess 6 Essays

Comments – BothPositive and Negative

in the variouscategories. Provides aSubjective Framework

for Commenting &Marking

03.11.2008 / 36

Format

Zeitpunkt

/-raum


PrüferIn

Prüfungsort

Kompetenz


Staff Development


Zukunftsfelder

E-Assessment

03.11.2008 / 37

Durchführung: Prüfungsort

Wo wird «assessed»?

• On-campus vs. off-campus

• Supervised vs. unsupervisored

• Static vs. mobile

Beispiele:

• Classroom-based Mobile Voting Systems

• Mobile Assessment mit PDA/Mobiles

03.11.2008 / 38


West Suffolk College

• Innovativer Einsatz von E-Portfolios in der Aus- und Weiterbildung von Köchen

• Mobile Sammeln von Arbeitsproben

• Software von Paperfree Systems Ltd

03.11.2008 / 39


Mobile Assessment

M-learning:Tribal CTAD

M-Learning bietet Software andie für PDAs, Mobile Phones,Pocket PC‘s und das Internetgenutzt werden können

Anwender sind u.a.:•Healty for Life (Birmingham Core SkillsPartnership and Birmingham TeenagePregnancy Project)

•Maths4Life (finanziert von UK-Government Department for Children,Schools and Families)

• Link:http://www.m-learning.org/

03.11.2008 / 40

Format

Zeitpunkt

/-raum


PrüferIn

Prüfungsort

Kompetenz


Staff Development


Zukunftsfelder

E-Assessment

03.11.2008 / 41

Durchführung: Prüfungszeitraum

Wo wird «assessed»?

•Continuous vs einmal

Beispiel:

• Mikrobiologie Universität Zürich Vortrag von Dr. Kurt Hanselmann am 6. Mai 2008 zum Thema: „E-Assessment in den Naturwissenschaften“(http://www.elc.uzh.ch/veranstaltungen/elforum.html)

03.11.2008 / 42

Prüfungsvielfalt:

• Self-Testing (20%) 10 Frageblöcke a 10 Fragen

+ Self-Study: Key Word Search (10%)

+ Self-Study: Case Study (20%)

+ E-Prüfung (20%)

+ E-Prüfung (20%)

+ Extra Credits (bis 5%) für Einreichen zukünftiger Prüfungsfragen

Durchführung: Prüfungszeitraum

Universität Zürich:

Microbiology Dr. Kurt Hanselmann

OpenBook

03.11.2008 / 43

Format

Zeitpunkt

/-raum


PrüferIn

Prüfungsort

Kompetenz


Staff Development


Zukunftsfelder

E-Assessment

03.11.2008 / 44

Auswertung: Bewertung

Wie wird bewertet?

• Manuell vs. automatisch• Traditionell vs. innovative• Confidence-based marking

Beispiele:

• Certainty-Based Marking @ University College LondonTony Gardner-Medwin

• Confidence-Based Marking @ University of GlamorganPhil Davies

• Confidence-Based Marking @ TU Graz

03.11.2008 / 45

Literaturhinweis

• Certainty-Based Marking @ University College LondonTony Gardner-Medwin (http://www.ucl.ac.uk/~ucgbarg/pubteach.htm)Gardner-Medwin AR (2006) Confidence-Based Marking - towardsdeeper learning and better exams In : Innovative Assessment inHigher Education. Ed.: Bryan C and Clegg K. Routledge, Taylor andFrancis Group, London (http://www.ucl.ac.uk/lapt/innovass6.doc)

• Confidence-Based Marking @ University of GlamorganPhil Davies (http://www.comp.glam.ac.uk/staff/pdavies/caa.htm)Davies, P (2005) The Continual Assessment of Confidence orKnowledge with Hidden MCQ?, IN: Proceedings of the 9thInternational CAA Conference.(http://www.caaconference.com/pastConferences/2005/proceedings/DaviesP1.pdf)

• Verwendung von Bewertungsrastern (Rubrics)House of E-Learning - Prüfungsraum Linkliste:(http://www.elc.uzh.ch/elgrundlagen/kursentwicklung/pruefungsraum/rubrics.html)

03.11.2008 / 46


Confidence / Certainity Based

Marking

• Anwendung an University College London (Medizin) und University of Glamorgan (IT) und neu bei der TU Graz (IT)• Ansatzpunkt: Kritik an MC-Fragen - Ratefaktor• Studierende müssen anzeigen wie «confident» sie bei der Beantwortung sind

Confidence-Based Marking

01Low(c=1)

-22Mid(c=2)

-63High(c=3)

wrongRightcertainty

01not

-12fairly

-24very

wrongRightconfidence

University College London

Bewertungsskala

Glamorgan

03.11.2008 / 47


University College London:

Tony Gardner-Medwin (Medizin)

03.11.2008 / 48


University of Glamorgan:

Phil Davies (IT)

03.11.2008 / 49


University of Glamorgan

Rubrics für Peer Assessment

03.11.2008 / 50

Format

Zeitpunkt

/-raum


PrüferIn

Prüfungsort

Kompetenz


Staff Development


Zukunftsfelder

E-Assessment

03.11.2008 / 51

Ergebnisse: Feedback

Welches Feedback bekommen die Studierenden?

• Mündlich vs. schriftlich

• Prüfung vs. Frage

Schriftliche Feedback-Variationen

Bestanden/Nicht-Bestanden

+ Gesamtnote

++ Note/Prozent nach Themenschwerpunkt

+++ Aufgeschlüsselt nach Fragen

++++ Ausführliche Kommentar

+++++ mit Lernhinweisen

03.11.2008 / 52

Literaturhinweise

• REAP - (http://www.reap.ac.uk/)Nicol, D.J. & Macfarlane-Dick, D. (2006). Formative assessment andself-regulated learning: A model and seven principles of goodfeedback practice. Studies in Higher Education, 31(2), 199-218(http://www.reap.ac.uk/public/Papers/DN_SHE_Final.pdf)

• FAST- (http://www.open.ac.uk/fast/)Gibbs, G. & Simpson, C. (2004-5) Conditions under which assessmentsupports students' learning. Learning and Teaching in HigherEducation, 1 (1), 3-31.(http://www.open.ac.uk/fast/pdfs/Gibbs%20and%20Simpson%202004-05.pdf)

• OpenMark - E-Assessment System using von der Open University inMoodle (http://www.open.ac.uk/openmarkexamples/) und(http://labspace.open.ac.uk/course/view.php?id=3484)

03.11.2008 / 53


Open University: OpenMark

03.11.2008 / 54



03.11.2008 / 55



03.11.2008 / 56

Format

Zeitpunkt

/-raum


PrüferIn

Prüfungsort

Kompetenz


Staff Development


Zukunftsfelder

E-Assessment

03.11.2008 / 57

Staff Development

Wie werden die Dozierenden

unterstützt?

• Kurse

• Tools

Beispiele

• OpenMentor (Open University)

• Online Kurse(University of Dundee & Leeds Metropolitan University)

03.11.2008 / 58

Staff Development

Widgets: Open Mentor

03.11.2008 / 59

Weiterbildung Kurs

Napier University &

Leeds Metroplitan University

Surf‘s UpStudent Assessment using Rich

Feedback

University of Dundee

Assessment Online - 6-wöchiger Kurs zum Thema E-Assessment mit Questionmark Perception

03.11.2008 / 60

Format

Zeitpunkt

/-raum


PrüferIn

Prüfungsort

Kompetenz


Staff Development


Zukunftsfelder

E-Assessment

03.11.2008 / 61


Wie werden Fragen weiter-verwendet werden?

• Fragenpools• Reusable assessment objects

Beispiele

• COLA Project• SOLAR Project• University of Portsmith (Dr. Michael McCabe)

03.11.2008 / 62

E-Assessment Repositories:

COLA Projekt

(COLEG On-Line Project)

• Projekt der Vereinigung - Scottish Colleges OpenLearning Exchange Group

• Projekt zur Förderung der Benutzung vor virtuellenLernumgebung

• LMS:• 2005: Blackboard, Granada Learnwise, Teknical's Virtual

Campus and WebCT• 2008: Moodle

• Fragenpool:• 2005: über formative 250 E-Assessments mit bis zu 20

Fragen• 2008: über 450 Assessments

03.11.2008 / 63


COLA Projekt


03.11.2008 / 64


COLA Projekt


03.11.2008 / 65


SOLAR Project

Das Solar Project ist eine Initiative der SQA (Scottish QualificationAuthority) um „automatically marked summative assessment“Schottischen Berufsschulen (Further Education Colleges)bereitzustellen. Es ist ein „Repostitory“ für Prüfungen, die dieColleges für andere Benutzer zur Verfügung stellen.Das SOLAR Project ist ein erster gelungener Versuch mit einemRepository und wird von 30 Colleges mehr und weniger genutztwird.

Link: http://www.sqasolar.org.uk/mini/27322.html

03.11.2008 / 66


University of Portsmith

Reusable Assessment Objects

Probleme mit Fragenpools:

• Grosse Anzahl von Fragen notwendig

• Unterschiedliche Anforderungen für summative undfromativen Einsatz (z.B. Sicherheitsansprüche,Feedback)

Reusable Learning

Objects (repositories)Assessment Questions

(banks)

Reusable Assessment

Objects

(e.g. Maple TA)

03.11.2008 / 67




Multi-Questions

A multi-question is a computer generated questions with randomparameters (data) and algorithms (rules)

• What can be randomised? Not just numbers ....• Characters, symbols, words, text, lists, sets, tables, ...• Graphs, diagrams, pictures, videos, animations, sounds, ...• Algebraic formulae, equations ...

• Where can randoms appear? Not just questions ....• Questions: stem, keys, distractors, choices, answers• Feedback, solutions, hints, help

Folie (verändert) von Michael McCabe: Remarkable Pedagogical Benefits of Reusable Assessment Objects, Aug. 2008, ENAC Potsdam

03.11.2008 / 68




03.11.2008 / 69

Future of E-Assessment

Fragen?

Cornelia Rüdel

[email protected]

Blog: http://forschung.pruefung.net/

his workshop Òelektronische pr fungenÓ 5./6. november … · folie (ver ndert) von michael...

Documents