09/03/2017 1

-L’évaluation: processus, approches des théories. -Du rêve d’objectivité au sens de l’évaluation.

AM Guillemin

Promotion Hamilton

Année 2016/2017

09/03/2017 2

09/03/2017 3

09/03/2017 4

Sources: C Morisot , cours promotion De Sévigné S4

B Suchaut, cours U. Bourgogne, sciences de l’éducation

JM De Kétele : revue française de pédagogie (1993)

M.Nagels : 17 mars conseil CREAD Université européenne de Bretagne

J Hamon, la fièvre de l’évaluation. revue Sciences Humaines, octobre 2009,n°208

Site H.A.S.: construction et utilisation des indicateurs dans le domaine de la santé

Dominique Raulin: enseigner ou évaluer, revue l’école des parents, 2009 n° 579

F M Gérard, l’indispensable subjectivité de l’évaluation, FMG, 2002

WWW.cadredesante.com: M Catanas: l’indispensable considération de subjectivité de l’évaluation.

09/03/2017 5

objectifs

Approfondir le questionnement sur le concept d’évaluation

Repérer les principaux éléments de la théorie relatifs au concept d’évaluation

Comprendre le caractère subjectif de l’évaluation

Identifier les liens entre objectifs, critères, indicateurs.

09/03/2017 6

Plan du cours

1) Généralités

2) Vers une définition

3) Approches théoriques

4) Limites, biais

5) Les outils

6) Évaluation des compétences

7) La fièvre de l’évaluation

8) Conclusion

9) En pratique

09/03/2017 7

1) Généralités, questionnement

09/03/2017 8

Évaluer…qu’est ce que c’est?

Pour vous?...

Approche plurielle: mesurer ( quantitatif),

apprécier ( jugement qualitatif)

interpréter ( analyser, donner du sens, adapter, remédier…)

09/03/2017 9

Evaluer …

Quand?

pourquoi? Pour quoi? Pour qui?

Comment?

09/03/2017 10

Evaluer, quelles fonctions?

A quoi sert l’évaluation?

09/03/2017 11

Fonctions de l’évaluation ( Figari 1988)

Avant l’apprentissage E diagnostique: analyse des situations, des

besoins, des profils et des pré requis des apprenants. Pour orienter pour adapter

NB: se fait avant la séquence Appelée aussi E pronostique ( prédictive): le

diagnostic permet de prédire, d’élaborer le projet

09/03/2017 12

Pendant l’apprentissage

E formative: fonction pédagogique,

accompagne l’apprentissage, remédie au cours de la séquence

09/03/2017 13

Après l’apprentissage E Sommative (très présente)

E certificative

E normative

Vérifie, dresse un bilan, certifie par une note, un

diplôme, peut permettre aussi de prendre des décisions

09/03/2017 14

Le modèle de Figari montre 3 fonctions: Orientation

Régulation

validation

09/03/2017 15

2 lectures dans l’évaluation ( Ardoino,Berger 1986)

Contrôler: on est davantage dans le quantitatif On vérifie, avec des critères objectifs

exactitude, rigueur, mesure

Evaluer: on est davantage dans le qualitatif Apprécie, donne du sens par rapport à une

valeur, critères plus subjectifs

09/03/2017 16

2) Vers une définition

09/03/2017 17

Évaluation, définition

Étymologiquement : évaluer: extraire de la valeur

Définition De Ketele ( 1982)

« L’évaluation c’est… recueillir un ensemble d’informations pertinentes, valides et fiables, puis… examiner le degré d’adéquation entre cet ensemble d’informations et un ensemble de critères choisis adéquatement en vue de fonder la prise de décision. »

09/03/2017 18

Autre définition ( Stufflebeam 1980)

Processus par lequel on définit, obtient et fournit des informations utiles permettant de juger les décisions possibles Processus: activité continue Définit: identifie les information pertinentes Obtient: collecte, analyse, mesure Fournit: communique les données Informations: faits à interpréter Utiles: qui satisfont aux critères de pertinence Décisions possibles: actions d’enseignement,

orientation…

09/03/2017 19

3) Approches théoriques

Quelques paradigmes:

09/03/2017 20

3.1 Paradigme de l’intuition pragmatique

Banal et courant

Pas besoin de critères, d’indicateurs, c’est intuitif pour l’évaluateur. L'évaluateur le mieux placé est celui qui a mené l’apprentissage

C’est le contexte qui détermine les exigences ( ex: il faut la moyenne)

09/03/2017 21

09/03/2017 22

3.2 Paradigme docimologique

Orienté vers fiabilité, validité;

recherches sur les biais et leurs origines Techniques ( ordre des copies,…)

Caractéristiques des apprenants

…

> 1990, approche plus statistique ( notation, mesure.)

09/03/2017 23

3.3 Paradigme sociologique

L’évaluation rend plus visible les différences entre les élèves

Les critères de jugement renforcent les inégalités (Perrenoud)

Si on traite tous les évalués égalitairement, on renforce les inégalités

Notion d’équité pour rattraper les inégalités culturelles

09/03/2017 24

3.4 Paradigme centré sur les objectifs

« évaluer, c’est comparer des objectifs et des performances »

Beaucoup de travaux

Critique: découpage en objectifs trop nombreux

Formulation des objectifs en comportement observables « béhaviorisme »; tout ne serait que comportement

…

09/03/2017 25

3.5 Paradigme de l’évaluation formative

Centré sur le processus ( à améliorer en cours de formation) et sur l’apprenant qui apprend (Les erreurs font partie du processus d’apprentissage)

Bien opposer évaluation formative et sommative

09/03/2017 26

3.6 Il existe d’autres paradigmes

09/03/2017 27

4) Les limites, les biais

Différences de caractéristiques entre évaluateurs

Infidélité d’un même correcteur ( contexte, ordre des copies..)

09/03/2017 28

quelques discordances ou biais repérés dans les pratiques d’évaluation

Effet de stéréotypie: l’évaluateur maintient un jugement immuable sur la performance d’un élève, quelque soit ses variations effectives.

Les biais liés au statut scolaire de l’élève (bon ou mauvais élèves, redoublant ou non), à son origine sociale, à son genre (garçon ou fille), à son apparence physique.

Les biais de comparaison entre élèves. Effet de trop grande indulgence ou de trop grande

sévérité. Effet de Halo (l’écriture, le comportement,

l’habillement…) …

09/03/2017 29

Donc…

Rappel de la définition: «… obtient et fournit des informations utiles permettant de juger les décisions possibles… » L’évaluation est subjective ( le jugement est

subjectif)

09/03/2017 30

5) Les outils

Pas d’évaluation sans travail sur les critères (explicites ou implicites) qui donnent du sens à l’évaluation

Pour info:

Déf: n. m. (du grec kritêrion, « discernement ») Principe qui permet de distinguer, d'établir la réalité ou la valeur de quelque chose. Élément d'appréciation sur lequel se fonde un jugement ou s'opère un choix.

09/03/2017 31

5.1 Les critères?

« élément auquel on se réfère pour porter un

jugement, une appréciation » (HAS) Doivent être limités en nombre Sont subjectifs Ne sont pas directement observables Ce sont souvent des concepts ( autonomie,

justesse, rigueur, créativité…) Doivent entre en cohérence avec les objectifs,

les stratégies pédagogiques NB: idée: associer les apprenants à l’élaboration des

critères d’évaluation

09/03/2017 32

5.2 Les indicateurs?

Sont la manifestation concrète d’un critère

Sont observables, sont les données que l’on va recueillir

Sont quantitatifs ( nombre, taux…) ou qualitatifs ( présence, absence)

Il faut faire des choix dans les indicateurs qu’il est possible de prendre en compte

09/03/2017 33

Comment construire des indicateurs? Quelles informations à collecter?

Éléments quantitatifs

Éléments de comportement, plus qualitatifs qui décrivent une conduite, une participation

Une opinion: ( traitement qualitatif ou quantitatif)

09/03/2017 34

Des exemples:

Critère: Autonomie de l’étudiant: Indicateurs: prend des initiatives, recherche

les informations

Critère: curiosité intellectuelle: Indicateur: pose des questions

Critère : sécurité dans la réalisation du soin: Indicateur: vérifie la prescription selon les

règles de bonne pratiques…

09/03/2017 35

Des exemples:

Critère: pauvreté d’une population Indicateur: revenus annuels ou mensuels

Critère: qualité de la prise en charge des femmes en maternité pour un accouchement Indicateur: taux de césarienne!!!! interprétation

09/03/2017 36

09/03/2017 37

Année

1011

global Niveau 3 Niveau 2 Niveau 1

Taux de

césarienne

global

18.6% 18.2% 18.2% 19.5%

Taux de

césariennes

programmées

sur patientes

à risque

16.1% 11.6% 16% 22.2%

09/03/2017 38

Ex : critère: respect de l’asepsie lors de la pose d’un cathéter court IV

Indicateurs: Effectue un cycle bétadiné

Met des gants stériles

Solidarise cathéter et tubulure en respectant les bonnes pratiques

Met un pansement occlusif

…

09/03/2017 39

Exemple de critères et d’indicateurs proposés par la HAS

OBJECTIF: STANDARDISER LA PRATIQUE DE POSE ET D’ENTRETIEN DES CATHÉTERS VEINEUX PÉRIPHÉRIQUES: critère: la pratique de la pose des cathéters est standardisée Existence et accessibilité d’un protocole écrit et conforme aux

dernières recommandations nationales sur la pose et l’entretien d’un cathéter veineux périphérique

OBJECTIF: APPLIQUER LES PRÉCAUTIONS STANDARD, critère: les précautions standard sont respectées Port de gants pour l’insertion du cathéter Élimination immédiate du mandrin du cathéter dans un conteneur pour

objets piquants et tranchants situé à proximité

09/03/2017 40

OBJECTIF: RESPECTER LES BONNES PRATIQUES D’ANTISEPSIE LORS DE LA POSE, critère: l’antisepsie est respectée Réalisation d’une désinfection des mains (friction

avec un produit hydroalcoolique ou lavage avec un savon antiseptique) immédiatement avant l’insertion du cathéter

Réalisation d’une phase de détersion (savonnage suivi d’un rinçage) avant l’application de l’antiseptique

Utilisation d’un antiseptique en solution alcoolique

09/03/2017 41

OBJECTIF: RESPECTER LES BONNES PRATIQUES D’ANTISEPSIE POUR LES MANIPULATIONS DU CATHÉTER, DES TUBULURES ET DES ROBINETS, critère: l’antisepsie est respectée lors de la manipulation du robinet à 3 voies Désinfection des embouts et des robinets avant

leur manipulation à l’aide de compresses stériles imprégnées d’un antiseptique alcoolique

09/03/2017 42

OBJECTIF: ÉVALUER LE MAINTIEN DU CATHÉTÉRISME, critère: le maintien du cathéter est tracé

Traçabilité de la date de pose du cathéter dans le dossier patient

Traçabilité de la date de l’ablation du cathéter dans le dossier patient

Durée du cathétérisme inférieure ou égale à 4 jours

Traçabilité des éléments de la surveillance clinique quotidienne (présence ou absence de signes locaux ou généraux) du site d’insertion dans le dossier patient

09/03/2017 43

6) L’évaluation des compétences

compétence??? « Savoir agir complexe prenant appui sur la

mobilisation et la combinaison efficaces d’une variété de ressources internes et externes à l’intérieur d’une famille de situations » (Tardif J 2003)

09/03/2017 44

C. Morisot Février 2011 44

CG Conseil/DHOS

Février 2009

La compétence

Situation

professionnelle, activité

réalisée

Pour produire un résultat Résultat

Compétence

Savoirs pratiques associés

Savoirs méthodologiques associés

Savoirs théoriques associées

Expérience

Implication Moyens mis à disposition (équipements, organisation, management, …)

Savoirs relationnels et sociaux associés

09/03/2017 45

09/03/2017 46

L’autoévaluation

« l’auto-évaluation s’apprend, s’exerce et se forme et favorise l’apprentissage de savoirs en situation » (M Vial)

Permet, en référence à un résultat attendu, de porter un jugement sur sa propre action, pour prendre des décisions

09/03/2017 47

7) XIX° siècle :la fièvre de l’évaluation? Attention à …

La généralisation des indicateurs: bureaucratie de contrôle, toujours interroger l’utilité

L’augmentation des taches et la bureaucratisation des procédures

La politique du chiffre ( ex: statistiques policières)

Au sens du travail de l ’évalué qui peut chercher à correspondre aux attentes de l’évaluateur

L’impossibilité d’évaluer si personne n’adhère à la démarche et des objectifs

L’unique souci de rationnement

09/03/2017 48

Mais n’oublions pas …

Il ne peut plus y avoir de progrès mesuré sans évaluation

Si l’évaluation est bien comprise et délimitée, elle est célébrée et réclamée

Il est nécessaire de trouver un sens et que les objectifs soit compris et partagés par les évalués et les évaluateurs

L’évaluation participe à mettre en évidence de la valeur.

Il n’y a pas « d’évaluation pure », détachée des contingences et parfaitement objective

09/03/2017 49

8) CONCLUSION

l ’évaluation peut être abordée de différentes façons, en fonction des acteurs Le chercheur

Le responsable du système ou du dispositif

L’enseignant

L’apprenant

La société, les familles…

09/03/2017 50

09/03/2017 51

Ma conception de l’évaluation

Q.sort en 20 items

À faire personnellement

09/03/2017 53

Exerçons nous à évaluer: Évaluations de réponses d’étudiants IFSI

09/03/2017 54

Définissez la trachéotomie et la

trachéostomie

Guide de correction : 1 point + 1 point

- Trachéotomie : acte chirurgical dont le but est de pratiquer une ouverture à la face avant (antérieure) du cou au niveau de la trachée artère, entre le troisième et le quatrième anneau cartilagineux, dans l'espace délimité par le triangle située en dessous de la glotte et juste au-dessus du sternum. La trachéotomie est également l'autre nom du résultat de cette intervention.

- Trachéostomie : variété de trachéotomie dans laquelle on fixe par deux points de chaque coté les parois de la brèche trachéale au bord de l’incision cutanée.

Réponse 1 :

Trachéotomie = communication via une canule entre la trachée et l’air.

Trachéostomie =abouchement direct de la peau du cou à la trachée, après quelques jours de l’intervention, le patient n’a normalement pas besoin de canule

Réponse 2 :

Trachéotomie : geste chirurgical visant à connecter la trachée au milieu extérieur, par l’intermédiaire d’une incision faite au cou, pour rétablir les échanges gazeux

Trachéostomie : dispositif médical mis en place pour optimiser les échanges gazeux et permettre au trou de rester ouvert.

Réponse 3 :

Trachéotomie : Orifice avec présence de canule au niveau du larynx, sans modification anatomique, pour favoriser la respiration

Trachéostomie : après ablation du larynx dans les cancers du larynx, formation d’un orifice avec une canule au niveau de la trachée avec modification anatomique.

Réponse 4 :

Trachéotomie : chirurgie de la trachée qui vise à son ablation

Trachéostomie : prothèse abouchant la trachée à la peau pour aider les personnes à respirer.

Réponse 5 :

Trachéotomie : abouchement temporaire de la trachée à la peau pour être en contact direct avec l’extérieur de l’organisme, shuntant les voies aériennes supérieures partiellement.

Trachéostomie : c’est la même chose que la trachéotomie sauf que c’est un abouchement définitif.

09/03/2017 55

Expliquez le rôle de l’infirmière dans le cadre de la sécurisation du

circuit de distribution du médicament à l’hôpital

09/03/2017 56

retenir 4 parmi les 6 suivants: (0.50 x 4)

S’assurer de l’adéquation du stock de médicaments dans le service par rapport à la dotation accordée et procède aux commandes nécessaires.

Vérifier avant toute administration l’identité du malade et des médicaments au regard de la prescription médicale ainsi que les dates de péremption et le respect du mode d’emploi des médicaments.

Reconstituer et administrer les médicaments au malade.

Enregistrer la dose administrée et l’heure d’administration, de même concernant les stupéfiants, remet les conditionnements correspondant aux quantités consommées (traçabilité).

Fixer en accord avec le pharmacien les dispositions propres à éviter toute perte, vol ou emprunt des clefs du rangement des médicaments destinés à répondre aux besoins urgents.

Fixer en accord avec le pharmacien les modalités de conservation et de stockage des médicaments dans le service.

Réponse 1 :

Les 4 éléments que l’on peut citer sont la vérification de l’identité du malade, la vérification de la prescription médicale, la vérification du produit et la vérification des étiquettes

Réponse 2 :

Contrôler la concordance entre stock prévu et stock réel, commander le stock nécessaire, contrôler les emballages, contrôler la concordance entre prescription médicale datée signée et posologie et nom du médicament

Réponse 3 :

Vérification du dosage, de la prescription, de l’intégrité de l’emballage, de la date de péremption, du dosage.

Réponse 4 :

Vérification de l’identité du patient, de la prescription et de sa conformité, des dates de péremption, du mode d’administration du médicament (voie orale, IV, rectale…)

Réponse5 :

L’infirmière doit s’assurer que ce soit bien le bon malade, et elle doit effectuer une traçabilité. Elle doit aussi vérifier la prescription.