Wilhelm Frank, Hubert LobnigWilhelm Frank, Hubert Lobnig
7. Österreichische 7. Österreichische Gesundheitsförderungs-Gesundheitsförderungs-
konferenzkonferenz
St. Veit/GlanSt. Veit/Glan25. Mai 200525. Mai 2005
SelbstevaluationSelbstevaluation
Wilhelm Frank Wilhelm Frank – ARWIG– ARWIG(Arbeitskreis wissenschaftsbasierte Gesundheitsversorgung)(Arbeitskreis wissenschaftsbasierte Gesundheitsversorgung)
Hubert Lobnig Hubert Lobnig – Lemon Consulting– Lemon Consulting
Wilhelm Frank, Hubert LobnigWilhelm Frank, Hubert Lobnig
BegrifflichesBegriffliches
Selbstevaluation Selbstevaluation ≠ interne Evaluation≠ interne Evaluation Aber: Selbstevaluation ist immer interne Aber: Selbstevaluation ist immer interne
EvaluationEvaluation Engl.: self conducted evaluation oder Engl.: self conducted evaluation oder
autonomous evaluationautonomous evaluation AkteureAkteure
Wilhelm Frank, Hubert LobnigWilhelm Frank, Hubert Lobnig
SelbstevaluationSelbstevaluation
Definition: Unter Selbstevaluation werden Definition: Unter Selbstevaluation werden systematische, datenbasiertesystematische, datenbasierte Verfahren der Verfahren der Beschreibung und Bewertung verstanden, bei Beschreibung und Bewertung verstanden, bei denen die praxisgestaltenden Akteure identisch denen die praxisgestaltenden Akteure identisch sind mit den evaluierenden Akteuren.sind mit den evaluierenden Akteuren.
Die Akteure sind daher in einer DoppelrolleDie Akteure sind daher in einer Doppelrolle
Wilhelm Frank, Hubert LobnigWilhelm Frank, Hubert Lobnig
SelbstevaluationSelbstevaluation
Hauptfragen: Worüber will ich mehr wissen?Hauptfragen: Worüber will ich mehr wissen? Was will ich verbessern?Was will ich verbessern? Wie stelle ich die Intervention zählbar und Wie stelle ich die Intervention zählbar und
messbar fest?messbar fest? Etc.Etc.
Ziel: eigenes Handeln zu verbessern bzw. die Ziel: eigenes Handeln zu verbessern bzw. die Qualität zu belegen und zwar planmäßig, Qualität zu belegen und zwar planmäßig, dokumentiert und nachvollziehbar.dokumentiert und nachvollziehbar.
Wilhelm Frank, Hubert LobnigWilhelm Frank, Hubert Lobnig
Evaluation - SelbstevaluationEvaluation - Selbstevaluation
Externe EvaluationExterne Evaluation ObjektiverObjektiver Glaubwürdiger für Glaubwürdiger für
DritteDritte stark quantitativstark quantitativ Extern gefordertExtern gefordert Einfaches FeedbackEinfaches Feedback
SelbstevaluationSelbstevaluation RascherRascher BilligerBilliger Quantitativ und Quantitativ und
qualitativqualitativ EigenmotivationEigenmotivation Doppelte Doppelte
RückkoppelungRückkoppelung
Wilhelm Frank, Hubert LobnigWilhelm Frank, Hubert Lobnig
SelbstevaluationSelbstevaluation
Unterstützt Veränderungsprozesse in Unterstützt Veränderungsprozesse in kleinen Schrittenkleinen Schritten
Rasche Rückmeldung über Irrtümer oder Rasche Rückmeldung über Irrtümer oder ErfolgspfadeErfolgspfade
Schon kurzfristig positive Auswirkungen Schon kurzfristig positive Auswirkungen für die eigene Arbeit im Team oder in der für die eigene Arbeit im Team oder in der InstitutionInstitution
Wilhelm Frank, Hubert LobnigWilhelm Frank, Hubert Lobnig
Evaluation – nur Gutes?Evaluation – nur Gutes?
Evaluation ist generell negativ besetztEvaluation ist generell negativ besetzt Kontrolle, Controlling, externe Kontrolle, Controlling, externe
Überprüfung,........Überprüfung,........ Aber:Aber: Selbstevaluation ist etwas anderes!!!!!Selbstevaluation ist etwas anderes!!!!!
Positive Einstellung zur Selbstevaluation Positive Einstellung zur Selbstevaluation macht Sinn, vor allem für sich selbstmacht Sinn, vor allem für sich selbst
Wilhelm Frank, Hubert LobnigWilhelm Frank, Hubert Lobnig
Selbstevaluation - BedingungenSelbstevaluation - Bedingungen
Erfordern GestaltungsspielräumeErfordern Gestaltungsspielräume Klärung der EvaluationsaufgabeKlärung der Evaluationsaufgabe VerantwortungsdelegationVerantwortungsdelegation Strategien der Informationsverbreitung Strategien der Informationsverbreitung
(auch der Ergebnisse)(auch der Ergebnisse) Transparenz und vor allem Vertrauen als Transparenz und vor allem Vertrauen als
GrundlageGrundlage RessourcenRessourcen
Wilhelm Frank, Hubert LobnigWilhelm Frank, Hubert Lobnig
Selbstevaluation - MethodenSelbstevaluation - Methoden
Qualitative Methoden – Quantitative Qualitative Methoden – Quantitative MethodenMethoden
Erfordern Dokumentation, AufzeichnungenErfordern Dokumentation, Aufzeichnungen
Erinnern wir uns:Erinnern wir uns:
SYSTEMATISCHE sowieSYSTEMATISCHE sowie DATENBASIERTE VorgehensweisenDATENBASIERTE Vorgehensweisen
Wilhelm Frank, Hubert LobnigWilhelm Frank, Hubert Lobnig
Qualitative MethodenQualitative Methoden
Interviews mit Klienten, Projektleitern, Auftraggebern, Interviews mit Klienten, Projektleitern, Auftraggebern, Beobachtern Beobachtern ExperteninterviewsExperteninterviews Reviews, Peer- ReviewsReviews, Peer- Reviews
- Audits- teilnehmende Beobachtungen- Klausuren oder Meetings mit dem Evaluationscharakter- Analyse von Prozessdokumenten
Wilhelm Frank, Hubert LobnigWilhelm Frank, Hubert Lobnig
ProzessdokumenteProzessdokumente Daten aus dem Projektverlauf:Daten aus dem Projektverlauf: Tagesnotizen, Protokolle, Unterlagen von SitzungenTagesnotizen, Protokolle, Unterlagen von Sitzungen Notizen (Feldnotizen, Beobachtungen)Notizen (Feldnotizen, Beobachtungen)
- Arbeitsaufzeichnungen (Working diaries, lfd. Arbeitsprotokolle)- Ereignisbeschreibungen (nicht triviale besondere Ereignisse)- Berichte (Zwischenberichte etc.)- Experteneinschätzungen (Audits)
Eckdaten des Settings:- Krankenstände, Dienstpläne, Absenzen, Materialienverbrauch
Wilhelm Frank, Hubert LobnigWilhelm Frank, Hubert Lobnig
Selbstevaluation – Methoden IISelbstevaluation – Methoden II
Systematisch Systematisch strukturiert strukturiert Design Design Datenbasiert Datenbasiert methodenorientiert methodenorientiert
Selbstevaluation ist ebenfalls zu planen im Selbstevaluation ist ebenfalls zu planen im Sinne von:Sinne von:
Welche Daten werden (vom Akteur selbst) Welche Daten werden (vom Akteur selbst) wann, womit, mit welchem wann, womit, mit welchem Zweck,.........erhoben (Design)Zweck,.........erhoben (Design)
Wilhelm Frank, Hubert LobnigWilhelm Frank, Hubert Lobnig
VerwertungsstrategienVerwertungsstrategien
Design determiniert weitgehend die Design determiniert weitgehend die Verwertbarkeit der DatenVerwertbarkeit der Daten
Korrekte Verwertung der Daten durch Korrekte Verwertung der Daten durch Methoden der empirischen Methoden der empirischen Sozialforschung / StatistikSozialforschung / Statistik
Wilhelm Frank, Hubert LobnigWilhelm Frank, Hubert Lobnig
Selbstevaluation als Selbstevaluation als KommunikationsprozessKommunikationsprozess
Die Positionierung der Evaluation im ProjektDie Positionierung der Evaluation im Projekt
- - SupportingSupporting: Unterstützung der Entscheidungsträger durch Übermittlung : Unterstützung der Entscheidungsträger durch Übermittlung von Informationen über Programme, Zielsetzungen, Ergebnisse, von Informationen über Programme, Zielsetzungen, Ergebnisse, Faktoren, die zu effizienterem Einsatz von Mitteln und Personen führen Faktoren, die zu effizienterem Einsatz von Mitteln und Personen führen könnten, etc… könnten, etc…
- Diagnosing: Identifizierung von Problemen, Unterstützung bei der Entwicklung von Problemlösungsstrategien
Wilhelm Frank, Hubert LobnigWilhelm Frank, Hubert Lobnig
Selbstevaluation als Selbstevaluation als KommunikationsprozessKommunikationsprozess
ConsultingConsulting: Bereitstellung relevanter Informationen für : Bereitstellung relevanter Informationen für Problemlösungen auf der Basis von Evaluationsdaten und – Problemlösungen auf der Basis von Evaluationsdaten und – ergebníssen. Unterstützung in der Benutzung der Daten für die ergebníssen. Unterstützung in der Benutzung der Daten für die Weiterentwicklung der Projekte. Weiterentwicklung der Projekte.
InformingInforming: Kommunikation der Daten in verständlicher Form und : Kommunikation der Daten in verständlicher Form und unter Berücksichtigung zeitlicher Verpflichtungen und Entwicklungen unter Berücksichtigung zeitlicher Verpflichtungen und Entwicklungen
LinkingLinking: Benützen und Kommunizieren von Informationen aus : Benützen und Kommunizieren von Informationen aus unterschiedlichen Teilen der Organisation bzw. des Projektes, unterschiedlichen Teilen der Organisation bzw. des Projektes, Verbindungen mit Informationen aus der relevanten Umwelt der Verbindungen mit Informationen aus der relevanten Umwelt der Organisation herstellen. Organisation herstellen.
Wilhelm Frank, Hubert LobnigWilhelm Frank, Hubert Lobnig
ErgebnisinterpretationErgebnisinterpretation
Bei jeder Analyse: Vorsicht vor dem alles Bei jeder Analyse: Vorsicht vor dem alles dominierenden Effekt des ZUFALLSdominierenden Effekt des ZUFALLS
Wäre abgedeckt durch die schließende Wäre abgedeckt durch die schließende Statistik, erfordert jedoch spezielle Statistik, erfordert jedoch spezielle Kenntnisse, daher eher seltenKenntnisse, daher eher selten
Bedenke: wir haben i.d.R. keine Bedenke: wir haben i.d.R. keine Normwerte, Referenzwerte, StandardsNormwerte, Referenzwerte, Standards Interpretation birgt die Gefahr von Interpretation birgt die Gefahr von FehlschlüssenFehlschlüssen
Wilhelm Frank, Hubert LobnigWilhelm Frank, Hubert Lobnig
Wilhelm Frank, Hubert LobnigWilhelm Frank, Hubert Lobnig
Selbstevaluation - StandardsSelbstevaluation - Standards
NützlichkeitNützlichkeit
DurchführbarkeitDurchführbarkeit
FairnessFairness
GenauigkeitGenauigkeit
Quelle: DeGEval, EmpfehlungenQuelle: DeGEval, Empfehlungen
Wilhelm Frank, Hubert LobnigWilhelm Frank, Hubert Lobnig
Selbstevaluation - NützlichkeitSelbstevaluation - Nützlichkeit
Identifizierung der Beteiligten und BetroffenenIdentifizierung der Beteiligten und Betroffenen Klärung der EvaluationszweckeKlärung der Evaluationszwecke Glaubwürdigkeit und Kompetenz des Evaluators Glaubwürdigkeit und Kompetenz des Evaluators
(der Evaluatorin)(der Evaluatorin) Auswahl und Umfang der InformationAuswahl und Umfang der Information Transparenz von WertenTransparenz von Werten Vollständigkeit und Klarheit der BerichterstattungVollständigkeit und Klarheit der Berichterstattung RechtzeitigkeitRechtzeitigkeit Nutzung und Nutzen der EvaluationNutzung und Nutzen der Evaluation
Wilhelm Frank, Hubert LobnigWilhelm Frank, Hubert Lobnig
Selbstevaluation - DurchführbarkeitSelbstevaluation - Durchführbarkeit
Angemessene VerfahrenAngemessene Verfahren Diplomatisches VorgehenDiplomatisches Vorgehen Effizienz der EvaluationEffizienz der Evaluation
Wilhelm Frank, Hubert LobnigWilhelm Frank, Hubert Lobnig
Selbstevaluation - FairnessSelbstevaluation - Fairness
Formale VereinbarungenFormale Vereinbarungen Schutz individueller RechteSchutz individueller Rechte Vollständige und faire ÜberprüfungVollständige und faire Überprüfung Unparteiische Durchführung und Unparteiische Durchführung und
BerichterstattungBerichterstattung Offenlegung der ErgebnisseOffenlegung der Ergebnisse
Wilhelm Frank, Hubert LobnigWilhelm Frank, Hubert Lobnig
Selbstevaluation - GenauigkeitSelbstevaluation - Genauigkeit
Beschreibung des EvaluationsgegenstandesBeschreibung des Evaluationsgegenstandes KontextanalyseKontextanalyse Beschreibung von Zwecken und VorgehenBeschreibung von Zwecken und Vorgehen Angabe der InformationsquellenAngabe der Informationsquellen Valide und reliable InformationenValide und reliable Informationen Systematische FehlerprüfungSystematische Fehlerprüfung Analyse qualitativer und quantitativer Analyse qualitativer und quantitativer
InformationenInformationen Begründete SchlussfolgerungenBegründete Schlussfolgerungen Meta-AnalysenMeta-Analysen
Bitte um IHRE Bitte um IHRE WortmeldungenWortmeldungen
Bei Fragen: Bei Fragen: [email protected]@chellochello.at.at