LERNET Workshop 18.-19.09.03
Innovative CBT-Architektur im Internet für den EIB
- Ergebnisse der Evaluation -
OFFISOldenburger Forschungs- und
Entwicklungsinstitut für Informatik-Werkzeuge und –Systeme e. V.
Prof. Dr. Claus MöbusJ. Feindt, C. Janßen, S. Sölbrandt, H.-J. Thole,
Jens Krefeldt, Holger de Vries
2Ergebnisse der Evaluation
Inhalt
Übersicht I-can-EIB
Evaluationsobjekt: I-can-EIB Avatar
Evaluationsdesign: Pre-Post-Test
Statistische Auswertung
Ergebnisse und Konsequenzen
3Ergebnisse der Evaluation
Übersicht I-can-EIB
Avatar3D-Chat
TreeTaggerTopicMap
FAQ-Liste
Frage-Baukasten
(+Hilfe-System)
Natürlichsprachliche Eingabe
(+Sprachausgabe)
4Ergebnisse der Evaluation
Avatar
Avatar-Animation mit Sprachausgabe
5Ergebnisse der Evaluation
Avatar
Interface
• Java API• Javascript API
Animations- Editor
• Gestik, Mimik• Emotion
Visual3D- Editor
• Export/Import standardisierter 3D-Repräsentationsformate• Modifizierung des Aussehens
Speech
• WebSpeech API (Logox)
6Ergebnisse der Evaluation
Attribute: aktiv bedrängend … nervös
Pre-Post-Test Design
idealer menschlicher Berater
idealer Avatar
I-can-EIB-Berater
Pre-Test Post-Test
Attribute: aktiv bedrängend … nervös
Attribute: aktiv bedrängend … nervös
Attribute: aktiv bedrängend … nervös
idealer menschlicher Berater
idealer Avatar
I-can-EIB-Berater
Attribute: aktiv bedrängend … nervös
Attribute: aktiv bedrängend … nervös
t-Test für abhängige Stichproben
t-Test für unabhängige Stichproben
7Ergebnisse der Evaluation
Vergleich der Mittelwerte Pre-Test:t-Test für unabhängige Stichproben
Signifikante Abweichungen der Mittelwerte zwischen IM-IA:---
Signifikante Abweichungen der Mittelwerte zwischen IM-ICE:motiviert p=0,02868begeistert p=0,02351
Signifikante Abweichungen der Mittelwerte zwischen IA-ICE:---
8Ergebnisse der Evaluation
Vergleich der Mittelwerte Post-Test:t-Test für unabhängige Stichproben
keine signifikanten Abweichungen
9Ergebnisse der Evaluation
t-Test für abhängige Stichproben:Pre-Post-Vergleich „Idealer
menschlicher Berater“
Signifikante Abweichungen
möchte ihn wieder sehen p=0,00366motiviert p=0,05109wachsam p=0,0489streng p=0,0377
10Ergebnisse der Evaluation
t-Test für abhängige Stichproben:Pre-Post-Vergleich „Idealer Avatar“
Signifikante Abweichungen
interessiert p=0,01746aufmerksam p=0,00375wachsam p=0,01397
11Ergebnisse der Evaluation
t-Test für abhängige Stichproben:Pre-Post-Vergleich „I-can-EIB-Avatar“
keine signifikanten Abweichungen
12Ergebnisse der Evaluation
Pre-Test: Offene Fragen
1. In welchen Themenbereichen halten Sie den Einsatz von virtuellen Assistenten für sinnvoll?
• keine/gar nicht• Beratung• Hilfethemen• Frage-Antwort-Systeme• neue/schwierige Themen• …
2. Wie beurteilen Sie das Verhalten und das Aussehen des virtuellen Assistenten?
• egal• gut• schlicht• zurückhaltend und visuell ansprechend• ruhig und sachlich• „na ja“• …
3. Wie bewerten Sie die Effizienz bzw. Effektivität des virtuellen Assistenten?
• bringt mich nicht weiter• wichtig• gut• gut, solange er nicht zu aufdringlich
wird• …
4. Ist Ihnen die Gegenwart eines virtuellen Assistenten recht? Bitte begründen Sie die Antwort.
• ja, für Hilfe• nein, ich arbeite mich selbst durch
Programme und greife auf Hilfetexte zurück
• ja, für schnelle Unterstützung bei Fehlbedienungen
• ja, aber nur auf Abruf• …
13Ergebnisse der Evaluation
Post-Test: Offene Fragen
1. In welchen Themenbereichen halten Sie den Einsatz von virtuellen Assistenten für sinnvoll?
• egal• gar nicht• Beratung• Hilfethemen• …
2. Wie beurteilen Sie das Verhalten und das Aussehen des virtuellen Assistenten?
• langweilig• gut• geschmacklos• bescheiden• schlicht• visuell ansprechend, wie Office XP• normal, nicht übertrieben• …
3. Wie bewerten Sie die Effizienz bzw. Effektivität des virtuellen Assistenten?
• als Hilfssystem gut• gut, wenn er Tipps gibt• ein direkter Ansprechpartner wäre mir
lieber• …
4. Ist Ihnen die Gegenwart eines virtuellen Assistenten recht? Bitte begründen Sie die Antwort.
• ja, bei allen Themen• ja, als Hilfesystem• zur Fragestellung wünschenswert• ja, in schwierigen Themenbereichen• nein, er sollte lediglich durch
Fragestellung aktivierbar sein• …
14Ergebnisse der Evaluation
Konsequenzen
Avatar
3D-Chat
TreeTaggerTopicMap
FAQ-Liste
Frage-Baukasten
(+Hilfe-System)
Natürlichsprachliche Eingabe
(+Sprachausgabe)
Freie Gestaltung
Anfangsberatung
Wissen für Anfangsberatung und Anfangsbewertung
themen- und rollenspezifische Räume mit Projektionsflächen
15Ergebnisse der Evaluation
Vielen Dank für Ihre Aufmerksamkeit ...