GUIDE DE L’EVALUATION

IPDET © 2014

Avec le soutien de :

Avril 2015

2

Table des matières Remerciements 3 Introduction 4 1. Présentation de l'évaluation du développement :

Termes, concepts et normes. 6 2. Comprendre les questions qui guident

l'évaluation du développement 9 3. Construire un système de suivi-évaluation axé sur les résultats 15 4. Comprendre le contexte et le programme de l’évaluation

La théorie du changement 28 5. A propos de l’approche d’évaluation 33 6. Développement des questions d'évaluation

Démarrage de la matrice de conception 42 7. Choix de conceptions pour des évaluations:

Cause à effet, normative et descriptive 49 8. Sélection et construction d'instruments de collecte de données 58 9. Le choix de la stratégie d’échantillonnage 68 10. Planification et réalisation de l'analyse de données 74 11. Evaluation des interventions complexes 88 12. Gestion d'une évaluation 95 13. Présentation des résultats 102 14. Guide de l’évaluateur: éthique, politique, critères

et principes directeurs de l’évaluation 114 Annexes 119

3

REMERCIEMENTS Ce guide est la traduction française des 14 modules de formation de l’IPDET (International Program for Development Evaluation Training) pour l’année 2014 et qui ont été donnés à l’université de Carleton d’Ottawa (Canada) du 9 juin au 14 juillet 2014. Le CDRT remercie les professeurs Linda G. Morra Imas et Ray C. Rist pour l’avoir autorisé à traduire et à publier ce document. Il remercie aussi la Fondation Friedrich-Naumann pour la Liberté et Mme Andrea Nuesse, sa représentante au Maroc, pour leur soutien pour la traduction et la publication de ce guide. Ce document a été révisé par des représentants du Réseau Francophone des Evaluateurs Emergents. Qu’ils trouvent ici l’expression de notre considération pour l’énergie, le dynamisme et le temps investi pour livrer ce travail d’assurance qualité et pour cette contribution bénévole. Ce document a vu le jour grâce aux efforts de Mr Ahmed Chehbouni, Président du CDRT et de Mme Noura Guemouria (membre du bureau du CDRT) qui ont bénéficié d’une bourse pour suivre la formation de l’IPDET dispensée à l’université de Carleton d’Ottawa (Canada) du 9 juin au 14 juillet 2014.

4

Introduction Le Centre de Développement de la Région de Tensift (CDRT) a entamé depuis fin novembre 2013 une démarche en vue de vulgariser et de faire connaître l’évaluation de projets, de programmes et de politiques publiques au niveau de la Région. Ces actions menées en collaboration avec l’Association Marocaine d’Evaluation (AME), sont un prélude pour l’appropriation et l’adoption des mécanismes et des méthodes d’évaluation dans l’optique de son institutionnalisation aux niveaux national et régional. Le contexte actuel est favorable à une telle démarche : Les différents énoncés politiques de l’État exprimés par le Roi Mohamed VI dans plusieurs discours royaux, particulièrement les discours de la Fête du Trône (Discours du Trône du 30 juillet 2001, 2005, 2006, 2007, 2008, 2009, 2010, 2011, 2012, 2013 et 2014) et le Discours Royal du 18 mai 2005 sur l’Initiative Nationale de Développement Humain), soulignent l’importance de l’évaluation des politiques publiques au Maroc et la nécessité de mettre en place des instances et mécanismes de suivi, de contrôle et d’évaluation. Le Rapport du cinquantenaire de l’Indépendance du Maroc (Rapport du cinquantenaire de l’Indépendance du Maroc 50 ans de développement humain et perspectives 2025) mentionne explicitement que « Les politiques publiques des gouvernants et des élus n’ont pas toujours été évaluées, ni réajustées, à l’aune de leur impact sur le bien--‐être des populations » (Royaume du Maroc, Rapport de synthèse général, 2005). La constitution marocaine adoptée en juillet 2011 consacre le principe de régionalisation dans le cadre d’une organisation territoriale décentralisée (art 1). Des mécanismes participatifs de dialogue et de concertation sont prévus au niveau des Conseils des régions pour favoriser l’implication des acteurs civils dans l’élaboration et le suivi des programmes de développement (art 139). Elle stipule à l’article 146 qu’ : « Une loi organique fixe notamment: Les règles de gouvernance relatives au bon fonctionnement de la libre administration, au contrôle de la gestion des fonds et programmes, à l’évaluation des actions et à la reddition des comptes ».

5

De son côté, la Commission Consultative de la Régionalisation, écrit dans son rapport sur la régionalisation avancée (page 20) : « Enfin, s’ajoutent des propositions visant à améliorer progressivement et avec l’appui de l’Etat les modes de gestion, les systèmes d’information, l’évaluation et la reddition des comptes, en les adaptant à la dimension de chaque collectivité territoriale et aux ressources humaines et financières dont elle dispose. » Enfin, le projet de loi organique sur les collectivités territoriales cite le suivi et l’évaluation dans un certain nombre d'articles:

Article premier: fixer les modalités de contrôle et d'évaluation des programmes,

Article 42: les mécanismes participatifs de dialogue et de consultation afin de contribuer à la préparation, au suivi et à l'évaluation du programme d’action de la collectivité.

Article 244 : prendre les mesures nécessaires en vue d'adopter la gestion par objectifs et le développement du système de suivi des projets et programmes

Article 245: Programmation de l'étude des rapports d'évaluation Article 249: L'Etat développe des outils qui permettent aux

collectivités territoriales d’adopter des systèmes modernes de gestion, en particulier des indicateurs de suivi, de réalisation, de performance et des systèmes d'information et le développement de mécanismes internes et externes pour une évaluation régulière.

C’est dans ce contexte que s’inscrit l’initiative du CDRT d’éditer ce guide de l’évaluation qui comprend 14 chapitres. Il a été traduit de l’anglais par les membres du CDRT dont les noms sont en annexe.

6

1. Présentation de l'évaluation du développement : Termes, concepts et normes.

L’évaluation, qu'est-ce que c'est? L'origine et l'histoire de la discipline de l'évaluation Le contexte de l'évaluation du développement Principes et normes pour l'évaluation du développement

Qu’est-ce que l’évaluation du développement ?

1. Définition du glossaire: • Le processus de détermination de la valeur ou l'importance d'une activité,

d’une politique ou d’un programme • Une évaluation, aussi systématique et objective que possible, d'une

intervention planifiée, en cours, ou terminée

2. Définition mise à jour : • L'évaluation systématique et objective de la conception, de la mise en œuvre et

des résultats d’un projet, d’un programme ou d’une politique planifiés en cours ou achevés,

• Une évaluation devrait fournir des informations crédibles et utiles, permettant d'intégrer les leçons apprises dans le processus de prise de décision des bénéficiaires et des donateurs

Types d’évaluations

• Prospective : • évalue la probabilité du succès d’un programme • détermine l’évaluabilité du programme

1. Evaluer les résultats probables des interventions proposées 2. Ou demander si un programme existant est évaluable

• Formative: axée sur l'amélioration des performances avant ou pendant la mise en œuvre

• Sommative: met l'accent sur les résultats directs (les conséquences) Utilisations de l’évaluation

Aide à prendre des décisions sur l'allocation des ressources Aide repenser les causes d'un problème Identifie les problèmes émergents Soutient le processus décisionnel pour des alternatives compétitives ou de

meilleures alternatives Soutient la réforme et l’innovation du secteur public Permet de créer un consensus sur les causes d'un problème et les manières d’y

répondre L’évaluation fournit des informations sur :

La stratégie Est-ce qu’on fait les bonnes choses ?

Les opérations

7

Est-ce que les choses sont bien faites? L’apprentissage

Qu'avons-nous appris? Y a-t-il de meilleures façons de faire?

Le Suivi & l’Evaluation Le Suivi :

un processus routinier continue de recensement d’indicateurs clés pour une activité, généralement interne

permet d’obtenir des données de base sur chaque indicateur utilisé pour déterminer la réalisation des objectifs fixés

est utilisé pour recueillir des informations sur les activités, les extrants et les résultats d'un programme pour mesurer la performance par rapport à des objectifs spécifiques

L’Evaluation : est périodique et limitée dans le temps analyse en profondeur certains enjeux, peut être interne, externe, ou participative fournit des informations sur les enjeux clés aux principales parties prenantes

Qui gère l’évaluation et qui la réalise ?

Des évaluateurs internes Avantages des évaluateurs internes :

connaissent en profondeur le programme connaissent les faiblesses et les points forts du programme peuvent poser les questions pertinentes.

Inconvénients des évaluateurs internes étant trop impliqués dans le programme ont de la difficulté à identifier

certains enjeux sont subjectifs pour influencer les décideurs.

Evaluateurs externes:

Avantages des évaluateurs externes Ont plus de crédibilité, d’indépendance. Ont une perception objective de l’évaluation. Sont plus spécialisés, possèdent les compétences nécessaires pour effectuer

une évaluation effective. Evaluation et indépendance Evaluation indépendante (glossaire de l'OCDE):

Une évaluation effectuée par des entités et des personnes libres de tout contrôle par les responsables de la conception et de la mise en œuvre de l'évaluation

La crédibilité d'une évaluation dépend en partie de si elle a été effectuée de manière indépendante

Critères d'indépendance de l'évaluation :

1. Indépendance organisationnelle 2. Indépendance comportementale 3. Protection contre les influences extérieures

8

4. Prévention des conflits d'intérêt Les activités de l’évaluateur

Consulte le principal client et toutes les parties prenantes clés Reconstruit ou construit la théorie du changement Conçoit l'évaluation Gère les budgets d'évaluation Réalise ou procède à l'évaluation (ou engage du personnel pour effectuer

l'évaluation) Identifie les normes d'efficacité Collecte, analyse, interprète et rapporte sur les données et les résultats

L’évaluation du développement est une sous-discipline de l'évaluation qui utilise une variété de méthodes et de pratiques. Ce sont les méthodes mixtes qui fonctionnent le mieux. La croissance des associations professionnelles d'évaluation Il y en avait plus de 100 en 2010. Elles créent un système de soutien, encouragent le professionnalisme et favorisent une bonne pratique. Association Internationale de l’Evaluation du Développement (International Development Evaluation Association -IDEAS) Existence de principes et de normes pour promouvoir la responsabilité, faciliter la comparabilité ainsi qu’améliorer la fiabilité et la qualité des services fournis. Le Comité d'aide au développement (CAD) a retenu un certain nombre de critères pour évaluer l'aide au développement :

pertinence efficacité efficience impact durabilité (susceptible d'être poursuivi avec un minimum d'effet à long terme

sur l'environnement) Les normes de qualité d’évaluations retenues par le CAD

• But, planification et conception • Portée de l'évaluation • Contexte • Méthodologie de l’évaluation • Les sources d'information • Indépendance • L'éthique de l'évaluation • Assurance de la qualité • Pertinence des résultats de l'évaluation • Complétude (exhaustivité)

9

2. Comprendre les enjeux qui guident l'évaluation du développement

Aperçu de l'évaluation dans les pays développés et en

développement Implications des enjeux émergents du développement

L’évaluation dans les pays développés

La plupart des 30 pays de l'OCDE ont des systèmes de Suivi & Evaluation (S&E) matures

Les pays précurseurs ont :

Des systèmes politiques démocratiques De fortes traditions empiriques Des fonctionnaires formés en sciences sociales Des systèmes administratifs et des institutions efficaces

Une forte culture de l’évaluation existe, quand:

1. L'évaluation est pratiquée dans de nombreux domaines politiques 2. Existence d’un nombre suffisant d’évaluateurs parmi le personnel maitrisant

des méthodes dans différentes disciplines spécialisées 3. Existence d’un discours national sur l'évaluation 4. La profession d’évaluateur existe avec ses propres sociétés ou des rencontres

avec des discussions portant sur les normes et l'éthique 5. Des arrangements institutionnels existent au sein du gouvernement pour la

réalisation d'évaluations et leur diffusion auprès des décideurs 6. Des arrangements institutionnels existent au sein des organes législatifs pour

la réalisation des évaluations et leur diffusion auprès des décideurs 7. Le pluralisme existe au sein de chaque domaine politique 8. Les activités d'évaluation ont également lieu au sein de l'institution supérieure

de contrôle 9. Les évaluations ne ciblent pas seulement la production technique ou le rapport

entre les intrants et les extrants, mais aussi les résultats des programmes et des politiques

Selon L'Institut Tavistock, 4 étapes sont nécessaires pour le développement de capacités en évaluation :

Mandater l'évaluation Coordonner l'évaluation Institutionnaliser l'évaluation Vers un système d'évaluation

Approches

1. L’approche pangouvernementale - Adoptée dans certains pays pionniers en S & E - S & E global et complet à tous les niveaux du gouvernement - Impulsion créée par les Objectifs du Millénaire pour le Développement

(OMD)

10

- Peut être complexe lorsque les ministères sont à des étapes différentes

2. L’approche de l’enclave Plus limitée, axée sur une partie ou un secteur du gouvernement (un

ministère ou un cabinet) Stratégie:

- Commence au niveau local, régional, ou étatique - Pilote des systèmes d'évaluation dans quelques ministères ou

organismes clés

3. L’approche mixte - Intègre les approches ‘ ‘pangouvernementale’ et ‘enclave’ - Certaines régions bénéficient d’une approche globale, d'autres d’une

attention plus sporadique L’évaluation dans les pays en développement

Ces pays font face à des défis semblables et différents Volonté politique faible qui peut ralentir le progrès Les problèmes de coopération et de coordination entre les ministères peuvent

entraver le progrès Les systèmes d’évaluation dans les pays en développement Les nouveaux systèmes d'évaluation nécessitent:

Une volonté politique au sein du gouvernement Des champions haut placés prêts à assumer des risques politiques Des institutions crédibles

Les pays en développement ont besoin de:

Établir une base pour l'évaluation Systèmes statistiques et de données, ainsi que des systèmes

budgétaires Recueillir systématiquement des informations de base Former des fonctionnaires dans la collecte de données et les méthodes de suivi

et d'analyse Autres problèmes concernant l’évaluation dans les pays en développement

Existence de deux systèmes budgétaires: Les dépenses de fonctionnement Les dépenses d'investissement

L' approche ‘pangouvernementale peut être trop difficile au début Mise en place des capacités institutionnelles pour l'évaluation Les efforts des organisations d’aide peuvent fournir ou créer:

Une assistance technique et financière pour construire des systèmes statistiques

Des réseaux de développement : réseaux informatiques en ligne la participation des collectivités (Development Gateway)

11

Les tendances récentes de Patton • L'évaluation comme un bien public mondial • La croissance des organisations professionnelles, des associations et des

sociétés et établissement de normes et de lignes directrices • Au-delà des études de flux (Rist) • Complexité croissante dans l'évaluation • Tendance vers plus d’évaluation formative

Les nouveaux enjeux ont des répercussions sur l’évaluation

• Mondialisation • Incidence croissante des conflits • Le terrorisme et le blanchiment d'argent • Écart grandissant entre riches et pauvres • Plus d’acteurs du développement • Vers la réduction de la dette • Se concentrer sur l'amélioration de la gouvernance • Vers un développement global, axé sur les résultats, coordonné et participatif

Sujets en haut de l’agenda du développement international Objectifs du Millénaire pour le Développement (OMD) et S&E:

1. Eliminer l'extrême pauvreté et la faim. 2. Assurer l'éducation primaire pour tous. 3. Promouvoir l'égalité des genres et l'autonomisation des femmes. 4. Réduire la mortalité infantile. 5. Améliorer la santé maternelle. 6. Combattre le VIH/SIDA, la malaria et d’autres maladies 7. Assurer la durabilité de l’environnement. 8. Mettre en place un partenariat mondial pour le développement.

Permettre aux pays en développement de renforcer leurs capacités et leurs systèmes statistiques et en évaluation Les organisations de développement sont appelées à fournir une assistance technique Consensus de Monterrey et S & E – 2002

A propos de plus de financement du développement pour atteindre les OMD 170 pays y ont adhéré et 50 chefs d'Etat ont assisté à la réunion Pas d’objectifs clairs et précis A souligné les responsabilités mutuelles et a appelé les pays en développement

à améliorer les politiques publiques et la gouvernance Déclaration de Paris sur l'efficacité de l'aide – 2005

• Convenu de redoubler d'efforts pour gérer l'aide aux pays en développement • Plus de 100 ministres, chefs d'agences et autres hauts fonctionnaires • Actions de suivi et indicateurs mesurables pour suivre les progrès vers une

aide efficace • Cinq principes clés: appropriation, alignement, harmonisation, gestion axée

sur les résultats et reddition de compte mutuelle.

12

L’enquête de 2007 sur la Déclaration de Paris montre : Une augmentation de la prise de conscience et une promotion du dialogue

pour améliorer la prestation de l'aide Une lente progression dans l'évolution des attitudes des donateurs et des coûts

des transactions élevés La nécessité de renforcer les stratégies de développement

Et l’enquête de 2008 montre que :

modifier la manière dont l'aide est fournie implique de nouveaux coûts On devrait utiliser des cadres de référence pour l’évaluation des performances

et des rapports axés sur les résultats Un besoin de systèmes de suivi plus crédibles

L'initiative PPTE (pays pauvres très endettés)

Destinée à réduire la dette extérieure à des niveaux soutenables pour les pays qui poursuivent la réforme de la politique économique et sociale

Approuvé par 180 pays, 41 pays d'accueil recevant un allègement de dette au titre de l'initiative PPTE en 2007

Liée à de plus large stratégies complètes nationales de réduction de la pauvreté Pays pauvres très endettés et suivi et évaluation

Favoriser la création de capacités en S & E Les pays doivent consentir à la responsabilité de rendre des comptes

(redevabilité) et à la transparence à travers le suivi et l'évaluation Les subventions soulèvent de nouveaux enjeux d'évaluation

Le rôle des Fondations

• Grandes fondations: (exemple Bill Gates, Ford, Buffet, Soras) • Font actuellement partie du dialogue sur les projets, les programmes et les

politiques au niveau mondial, national et sectoriel • Conçoivent et réalisent des évaluations • Le soutien de la Fondation pour le développement doit être envisagé dans

d’autres évaluations La prévention des conflits et la reconstruction post-conflit

Les conflits affectent actuellement plus d’un milliard de personnes La plupart des conflits sont difficiles à résoudre et les coûts globaux sont

énormes La pauvreté est une cause et une conséquence des conflits La reconstruction post-conflit exige une coordination de nombreuses

organisations de développement et de secteurs gouvernementaux Augmentation de l’attention portée par le S&E t sur la mesure du changement

dans: les communautés sociales, ethniques et religieuses et les relations La gouvernance et les institutions politiques Les droits de l'homme La sécurité Les structures économiques et la performance les ressources environnementales et naturelles les facteurs externes

13

La reconstruction post-conflit et le S&E Programmes multisectoriels financés par 50 à 80 organismes de

développement bilatéraux et multilatéraux Les évaluateurs doivent examiner le processus de coordination des

organisations de développement De nouveaux domaines pour l’évaluation:

déminage, démobilisation, réinsertion des ex-combattants, moyens de prévenir l’éclatement de conflits

Difficulté avec l’attribution à une seule organisation La gouvernance

Les programmes de gouvernance portent sur: la lutte contre la corruption, la gestion des dépenses publiques, la

réforme de la fonction publique, la réforme judiciaire, l'administration, la décentralisation, l'e-gouvernement et la prestation des services publics

Plusieurs indices de corruption utiles pour le S & E, par exemple,

Transparency International (TI) " Indice de Perception de la Corruption " La lutte contre le blanchiment d'argent et le financement du terrorisme

Problème: • Convertir ou transférer le produit de l'activité criminelle dans le but de

dissimuler ou de déguiser l'origine de la propriété • Problème international sérieux et croissant

Implication pour le S & E: • Groupe de travail d'action financière de l'OCDE (GAFI) sur le

blanchiment d'argent • Le suivi et l'évaluation est une partie du mandat du GAFI réalisée

multilatéralement, par un examen par des pairs et par évaluation mutuelle

Les envois de fonds par les travailleurs

Enjeux: l'argent envoyé par les travailleurs à distance à quelqu'un à la maison Actuellement: le montant global des envois est supérieur à l'aide officielle au développement

• Ces envois ont tendance à être plus stables que les flux de capitaux privés à fort impact sur la réduction de la pauvreté

• Implication pour le S & E : les organisations de développement doivent trouver des moyens pour assurer le suivi des envois de fonds, les évaluateurs doivent déterminer l'impact relatif de ces envois

Intégration du genre

Genre: des rôles socialement construits attribués aux femmes aux hommes L'analyse de genre: détermine l'accès aux ressources et leur contrôle par les

hommes et les femmes (et la manière systématique pour déterminer les impacts du développement sur les femmes et les hommes)

14

Genre et S&E L'égalité des sexes et l'autonomisation des femmes au niveau des OMD

sont des objectifs spécifiques, des cibles et des indicateurs pour les pays Le Comité d’Assistance au Développement (CAD) de l'OCDE décrit les

questions d'orientation Les implications sur le genre font partie de tout le S & E

lors de la conception au cours de l’examen

Le Développement du Secteur Privé (DSP) et le climat de l'investissement

Mesures: Prestataires des Services d’Investissement, Assistance Publique au Développement, Investissements Directs Etrangers,

DSP nécessaire à la réduction de la pauvreté Enjeux du climat de l'investissement Surveiller et évaluer le climat d'investissement, exemple : Base de données

Doing Business

Évaluer le DSP sur des indicateurs tels que: performance de l'entreprise durabilité économique effets environnementaux et sociaux développement du secteur privé

Durabilité Environnementale et Sociale

• La Responsabilité Sociale des Entreprises (RSE): prendre activement en compte les impacts économiques, environnementaux et sociaux et les conséquences des activités de développement

• Principes de l'Équateur (2003, mise à jour 2006) fournissent: - Un cadre de référence et des normes pour les activités de

financement et exposent des moyens pour déterminer, évaluer et gérer les risques environnementaux et sociaux

- Focalisent sur le S & E Les biens publics mondiaux

Définition: Les biens à consommer qui sont là pour tous, lorsque la consommation par une personne ne réduit pas la quantité pour les autres, par exemple les langues, les histoires, l'histoire, l'air pur

Les biens publics mondiaux affectent le monde entier L’évaluation des biens publics mondiaux est largement absente Manque d'objectifs clairs et d'indicateurs de performance vérifiables Ouvrage de référence de la Banque mondiale

15

3. Construire un système de suivi-évaluation axé sur les résultats

L’importance d’un système de S&E C’est quoi le système de suivi-évaluation (S & E) axée sur

les résultats? le S & E traditionnel et le S&E axé sur les résultats Dix étapes pour construire un système de S & E axé sur les

résultats Importance

• Il y a des pressions croissantes dans les pays en voie de développement pour améliorer les performances de leurs secteurs publics

• Implique une réforme par le suivi des résultats des actions du gouvernement ou des organisations dans le temps

• C’est un outil de gestion La puissance de la mesure des résultats

• Si vous ne mesurez pas les résultats, vous ne pouvez pas distinguer le succès de l'échec

• Si vous ne pouvez pas voir le succès, vous ne pouvez pas le récompenser • Si vous ne pouvez pas récompenser le succès, vous êtes probablement en train

de récompenser l'échec • Si vous ne pouvez pas voir le succès, vous ne pouvez pas apprendre du succès • Si vous ne pouvez pas reconnaître l’échec, vous ne pouvez pas le corriger • Si vous pouvez montrer les résultats, vous pouvez gagner le soutien du public

S&E axé sur les résultats

• Fournit des informations cruciales sur les performances du secteur public • Fournit un aperçu du statut d'un projet, d’un programme ou d’une politique

publique sur une période • Promeut la crédibilité et la confiance du public en rapportant sur les résultats

des programmes • Aide à formuler et à justifier des demandes budgétaires • Identifie des programmes ou des pratiques potentiellement prometteurs en

étudiant des mesures pilotes • Se focalise sur l'atteinte des résultats importants pour l'organisation et ses

parties prenantes • Fournit de l'information fréquente et à un moment opportun au personnel • Aide à établir des objectifs et des résultats clés • Permet aux gestionnaires d'identifier et de prendre des mesures pour corriger

les faiblesses • Supporte un agenda du développement qui s’oriente vers une plus grande

redevabilité envers les prêts d'aide

16

Suivi axé sur les résultats Le suivi axé sur les résultats (ce que nous appelons «suivi») est un processus continu de collecte et d'analyse des informations sur des indicateurs clés, et en comparant les résultats réels aux résultats escomptés Evaluation axée sur les résultats L’évaluation axée sur les résultats est une évaluation d'une intervention planifiée, en cours ou achevée pour déterminer sa pertinence, son efficience, son efficacité, son impact et / ou sa durabilité Différence entre le suivi axé sur les résultats et l’évaluation axée sur les résultats

• Suivi: suit le mouvement des indicateurs vers la réalisation d'objectifs spécifiques, prédéterminés

• Évaluation: comprend une vision plus large, en considérant le progrès face aux objectifs énoncés, à la logique de l'initiative, et à ses conséquences

• Les deux sont nécessaires pour mieux gérer les politiques publiques, les programmes et les projets

Comparaison Traditionnelle

• Inputs (Intrants) • activités • Outputs (Extrants)

Basée sur les Résultats • Combine le traditionnel avec l’évaluation des résultats et des impacts • Permet à l'organisation de modifier et de faire des ajustements à la théorie du

changement et / ou aux processus de mise en œuvre Rôles complémentaires du suivi et de l’évaluation Suivi : Clarifie les objectifs du programme Relie les activités et leurs ressources aux objectifs Traduit les objectifs en indicateurs de performance et fixe des objectifs et des

points de comparaison (données de référence) Recueille régulièrement des données sur ces indicateurs, compare les résultats

réels avec les objectifs fixés Rapporte le progrès aux gestionnaires et les alertes des problèmes

Evaluation : Analyses pourquoi les résultats escomptés ont été atteints ou non Evalue la contribution spécifique et causale des activités aux résultats Examine le processus de mise en œuvre Etudie les résultats non-atteints Permet de tirer des leçons, souligne les réalisations importantes ou

potentielles du programme et propose des recommandations pour l'amélioration

Brève introduction à la théorie du changement La théorie du changement est une représentation de comment un projet, un programme ou une initiative politique est supposé permettre l’atteinte des résultats et

17

des impacts. Elle identifie également les hypothèses sous-jacentes faites à l'égard de la façon dont le changement se produira. Composantes de la théorie du changement

• Intrants (Inputs) - ressources financières, humaines et matérielles • Activités - tâches entreprises • Extrants (outputs) - produits et services • Résultats (outcomes) - changements de comportement • Impacts - amélioration largement diffusée à long terme dans la société

Types clés de suivi

Indicateurs de performance

• Une variable qui traque les changements dans l'intervention du développement ou qui montre les résultats par rapport à ce qui était planifié

• La preuve cumulative d'un ensemble d'indicateurs est utilisée pour voir si une initiative fait des progrès

18

DIX ETAPES POUR CONSTRUIRE UN SYSTEME DE SUIVI-EVALUATION AXE SUR LES RESULTATS

Etape1: Réaliser une évaluation d’aptitude Qu’est-ce que l’évaluation d’aptitude ?

• Une approche systématique pour déterminer la capacité et la volonté d'un gouvernement ou d'une organisation à construire un système S & E axé sur les résultats

• L'approche met l'accent sur: la présence ou l'absence de défenseurs de la mise en place d’un système, les motivations, les rôles et responsabilités, la capacité organisationnelle et les obstacles qui empêchent de commencer

Motivations Trouvent les réponses à ces questions:

– Quels sont les déterminants du besoin de construire un système de S & E?

– Qui défend la construction et l'utilisation d'un système de S & E? – Qu'est-ce qui motive ceux qui défendent la construction d'un système

de S & E? – Qui va bénéficier du système? – Qui ne va pas en bénéficier?

Rôles et responsabilités Demander:

– Quels sont les rôles des ministères centraux et de tutelle dans l'évaluation de la performance?

– Quel est le rôle de la législature? – Quel est le rôle de l'agence de contrôle des finances publiques? – Est-ce que les ministères et les organismes se partagent l'information? – Qui produit des données dans le pays ? – A quels niveaux dans le gouvernement sont utilisées les données ?

Capacité organisationnelle

• Évaluer la capacité du gouvernement actuel concernant: – les compétences techniques – les compétences managériales

19

– les systèmes de données existants et leur qualité – la technologie disponible – les ressources financières disponibles – l’expérience institutionnelle

Entraves pour la mise en place d’un S&E

• Les raisons suivantes constituent-elles des entraves pour la mise en place d'un système de S & E ?

– manque de ressources financières – manque de volonté politique – absence d'un défenseur du système – absence d'une stratégie liée aux résultats, ou d’expérience

• Comment fait-on face à ces entraves ? Questions clés pour assurer le succès dans la mise en place d’un système de S&E

• Est-ce qu’un mandat clair existe pour le S & E au niveau national? • Est-ce que les documents, les lois et les règlementations de la stratégie de

réduction de la pauvreté sont en vigueur? • Existe-t-il un leadership et un soutien forts au plus haut niveau du

gouvernement? • Quel est le degré de fiabilité des informations qui peuvent être utilisées pour

les prises de décisions politiques et de gestion? • Quel est le degré d’implication de la société civile comme partenaire du

gouvernement dans la construction et le suivi des informations de performance?

• Y-a-t-il des poches d’innovation qui peuvent servir pour des pratiques ou des programmes pilotes?

Etape 2: Se mettre d'accord sur les résultats à suivre et à évaluer Pourquoi mettre l’accent sur les outcomes (résultats)?

• Cela rend explicite les objectifs visés par l’action gouvernementale • Les résultats (outcomes) sont ce qui produit les bénéfices • La définition claire des outcomes est la clé pour la conception et la

construction d’un système de S & E axé sur les résultats • Important! Budgétiser en fonction des outputs et gérer en fonction des

outcomes (résultats)! • («Sachez où vous allez avant de vous déplacer")

Questions à prendre en considération pour générer des outcomes (résultats)

• Y-a-t-il des objectifs nationaux / sectoriels déclarés? • Est-ce que des promesses politiques qui spécifient l'amélioration des

performances dans un domaine particulier ont été faites? • Est-ce que les données de sondage ou des tableaux de bord citoyens indiquent

des préoccupations spécifiques? • Est que les prêts des bailleurs de fonds sont reliés à des objectifs précis? • Est-ce que l’Autorité de législation est présente?

20

• Est-ce que le gouvernement a pris un engagement sérieux pour la réalisation des Objectifs du Millénaire pour le Développement ?

Développer les résultats pour une politique donnée: L’Education

Résultats (Outcomes)

• Les résultats ne sont généralement pas mesurés directement – seulement rapportés

• Les résultats doivent être convertis en un ensemble d'indicateurs clés • Lors du choix des résultats, "Ne pas le faire seul!" – le consensus est crucial

Etape 3: Sélectionner des indicateurs clés pour le suivi des résultats Indicateur de résultats

• C’est une variable spécifique, qui lorsque suivie systématiquement au fil du temps, indique le progrès (ou l'absence de celui-ci) face à un outcome ou un impact

– pour les nouveaux systèmes de S & E tous les indicateurs devraient être numériques

– Les indicateurs qualitatifs peuvent venir plus tard avec des systèmes de S & E matures

• Les indicateurs demandent: Comment reconnaitre le succès quand on le voit? L’indicateur du développement doit être :

– Clair – Pertinent – Economique – Adéquat – mesurable

21

Matrice pour la construction / l’utilisation des indicateurs

Développer un ensemble d’indicateurs de résultats pour un domaine politique : l’Éducation

Développer des Indicateurs

• Développez vos propres indicateurs pour répondre à vos besoins • Élaborer de bons indicateurs demande généralement plus qu’un essai • Énoncer tous les indicateurs de manière neutre – pas en mentionnant

"augmentation de ...» ou «diminution de... » • Pilotez, pilotez et pilotez !

Étape 4: Rassembler les données de base sur les indicateurs Données de référence et sources

• Données de référence: – Mesures pour savoir où en sommes-nous aujourd'hui?

• Principale source: – Données recueillies spécifiquement pour le projet

• Source secondaire: – Données collectées à d'autres fins – Peuvent permettre des économies mais attention, il faut s’assurer que

c’est vraiment l'information dont vous avez besoin Sources possibles

22

• Les documents écrits (en papier et en version électronique) • Individus impliqués dans l'intervention • Le grand public • Des observateurs qualifiés • Des mesures mécaniques • Système d'information géographique

Poursuivons l’exemple du développement de base de données pour un domaine politique: Éducation

23

Étape 5: Planifier l'amélioration: Sélectionner des objectifs réalistes Cibles:

• Les niveaux quantifiables des indicateurs qu'un pays ou une organisation cherche à atteindre à un moment donné

• Exemple: – Les exportations agricoles vont augmenter dans les trois prochaines

années de 20% par rapport aux données de référence L’identification des niveaux d'amélioration attendus ou désirés nécessite des cibles

Attention !

Il faut du temps avant d’observer les effets des améliorations, donc: - Soyez réalistes lors de la fixation des objectifs - Evitez de promettre trop et d’ainsi programmer votre propre échec

Poursuivons l’exemple, fixer des objectifs de performance pour un domaine politique: l’Éducation

24

Etape 6: Assurer le suivi des résultats Principaux types de suivi

Mise en œuvre des liens du suivi vers les résultats du suivi

25

Systèmes de suivi qui réussissent Pour être efficace, tout système de surveillance a besoin de ce qui suit:

– Appropriation – Gestion – Maintenance – Crédibilité

Etape 7: Utiliser les informations de l’évaluation L’Évaluation signifie s’informer sur:

• Si nous faisons les bonnes choses – Raison d'être / justification Stratégie – Théorie du changement claire

• Si nous faisons les choses correctement

– Efficacité dans l’atteinte des résultats escomptés Opération

– Efficience dans l’optimisation des ressources

• S’il y a de meilleures façons de le faire – Alternatives – Bonnes pratiques Apprentissage – leçons apprises

Quand utiliser l’évaluation?

• Chaque fois qu'il ya un résultat inattendu ou une performance aberrante qui nécessite une enquête plus approfondie

• Lorsque l'allocation des ressources ou du budget se fait entre les projets, programmes ou politiques

• Quand une décision est prise afin d'élargir ou non un projet pilote

26

• Quand il ya une longue période sans aucune amélioration et que les raisons de ce fait ne sont pas claires

• Lorsque des programmes ou des politiques similaires montrent des résultats divergents

Etape 8: Rendre compte des conclusions

• Fournit des informations sur l'état d’avancement des projets, programmes et politiques

• Donne des pistes de solutions aux problèmes relevés • Crée des opportunités pour envisager des changements • Fournit des informations importantes au fil du temps sur les tendances et les

directions • Aide à confirmer ou contester la théorie du changement

Lors de l’analyse et de la présentation des données:

• Comparer les données de l'indicateur entre le niveau de référence et les cibles fixées et fournir ces informations sous une forme visuelle facile à comprendre

• Comparer les informations actuelles avec les données antérieurs et rechercher à définir des modèles et tendances

• Soyez prudent afin d’éviter de tirer des conclusions hâtives basées sur une petite quantité d'informations. Plus vous aurez de données et plus vous pouvez être certain que les tendances déduites sont réelles

• Protéger les sources d’information: les personnes qui fournissent des mauvaises nouvelles ne devraient pas être punies. Des conclusions inconfortables peuvent indiquer de nouvelles tendances ou notifier aux gestionnaires les problèmes dès le début, leur laissant le temps nécessaire pour résoudre ces problèmes

Etape 9: Utiliser les conclusions Stratégies de partage de l'information

• Responsabiliser les médias • Adopter une législation pour assurer la «liberté de l'information" • Instituer un gouvernement connecté (informatisation et communication via

internet) • Ajouter des informations sur des sites Internet internes et externes • Publier des rapports budgétaires annuels • Engager la société civile et des groupes de citoyens • Renforcer le contrôle législatif • Renforcer l’office du vérificateur général • Partager et comparer les résultats des études avec les partenaires de

développement Dix utilisations des conclusions de l’étude

1. Répondre aux élus et aux exigences du public en matière de reddition de compte (redevabilité)

2. Aider à formuler et à justifier des demandes budgétaires 3. Aider à la prise de décisions sur l'allocation des ressources opérationnelles 4. Déclencher des examens en profondeur des problèmes de performance qui

existent et quelles corrections sont nécessaires

27

5. Aider à motiver le personnel à continuer d'apporter des améliorations au programme

6. Permettre le suivi de la performance du projet ou du programme par rapport aux objectifs fixés

7. Fournir des données pour les évaluations spéciales en profondeur des programmes

8. Aider à suivre de près la prestation de services par rapport à des résultats définis et précis

9. Soutenir les efforts stratégiques et autres planification à long terme 10. Permettre de communiquer avec le public pour établir la confiance du public

Etape 10: Assurer le maintien du système de Suivi-Évaluation (S&E) au sein de l'organisation Composants critiques cruciaux pour la pérennisation

• La demande • Rôles et responsabilités clairs • Informations fiables et crédibles • Reddition de comptes (redevabilité) • Capacité • Incitations

Commentaires finaux

• La demande pour le renforcement des capacités ne finit jamais ! Une organisation ne peut descendre qu’en chute libre

• Gardez les demandeurs de votre côté et aidez-les ! • Faire comprendre au ministère des Finances et au Parlement qu’ un système

de S&E a besoin de ressources durables • Recherchez toutes les occasions de lier les informations sur les résultats au

budget et aux décisions d’allocation des ressources • Commencez par des efforts pilotes pour démontrer des résultats efficaces

basés sur le suivi et l'évaluation • Commencez avec une stratégie d'enclave (par exemple des îles d'innovation),

par opposition à une approche pangouvernementale • Surveiller à la fois les progrès de mise en œuvre et l'atteinte des résultats • Complémenter le suivi de la performance avec des évaluations pour assurer

une meilleure compréhension des résultats du secteur public

28

4. Comprendre le contexte et le programme de l’évaluation

La théorie du changement

Analyse Front-End (Début – Fin) Identifier le client principal et les principales parties

prenantes Comprendre le contexte Enquêter sur les connaissances existantes Construire, utiliser et évaluer une théorie du changement

ANALYSE FRONT-END (Début – Fin) Décider d'évaluer: les coûts par rapport aux bénéfices Client et parties prenantes Timing Nature des ressources – le temps, les moyens financiers, l’expertise Conclusions d’évaluations similaires + méthodes + outils Les données existantes Théorie du changement

POURQUOI UTILISER UNE THÉORIE DU CHANGEMENT ? Montrer visuellement comment l'intervention est censée fonctionner et les

failles dans la logique [chaîne de résultats] Hypothèses et influences potentielles peuvent indiquer des risques pour la

réalisation des résultats escomptés Identifier les questions pour une évaluation Construire une compréhension commune de l'intervention

UTILISATION DES CONNAISSANCES POUR UNE THÉORIE DU CHANGEMENT Identifier les flux de connaissances qui expliquent ou prédisent un événement (une théorie) Exemple: les preuves de la recherche évaluative démontrent que les élèves

réussissent mieux lorsque les parents sont impliqués dans leurs études Utilisez ces connaissances pour élaborer une «théorie» sur la manière dont le programme doit permettre d’atteindre le changement escompté Exemple: si les parents dans les écoles primaires rurales zambiennes sont plus

impliqués dans les études de leurs enfants, les enfants vont étudier mieux

29

CHAÎNE DE RÉSULTATS POUR UN PROGRAMME DE FORMATION

Intrants à Activités à Extrants à Résultats immédiats

Résultats Intermédiaires à Impacts

Ressources Services Produits Bénéfices Bénéfices Changements

Argent Formation professionnelle qualifiante

Moyenne d'heures de formation des compétences par participant

Augmentation de l'alphabétisation

% des participants placés dans des emplois rémunérés au moins 5 $ l'heure

% des stagiaires avec un niveau de vie plus élevé que le groupe de contrôle après trois ans.

Personnel Alphabétisation Moyenne d’ heures d'alphabétisation.

Nouvelles compétences professionnelles acquises

Augmentation du % de femmes parmi la main-d'œuvre

Volontaires Conseil Amélioration des attitudes de travail

Equipement % de participants ayant terminé le programme

Participants éligibles

30

DIFFÉRENTS NIVEAUX DE RÉSULTATS Intervenant ou immédiat Sensibilisation accrue Amélioration des connaissances Amélioration des compétences Changement dans les attitudes

Intermédiaire Changement de comportement Mesures prises Amélioration de la prise de décision Nouvelle politique

THÉORIE DU CHANGEMENT AVEC HYPOTHÈSES

INFLUENCES POTENTIELLES SUR LES RÉSULTATS DU PROGRAMME

31

THÉORIE DU CHANGEMENT AVEC HYPOTHÈSES ET CONTEXTE

CONSTRUIRE UNE THÉORIE DU CHANGEMENT Quelles sont les connaissances qui sous-tendent l'intervention? Quelle est la logique de l'intervention? Quelles sont les principales hypothèses faites? Quelles sont les influences potentielles opérant dans le contexte de

l'intervention? EXERCICE: THÉORIE DU CHANGEMENT NON ÉTIQUETTÉE

32

MODÈLE AVEC HYPOTHÈSES ET INFLUENCES

33

5. À propos de l’approche évaluative

Approches évaluatives générales Défis pour aller de l’avant

Approches évaluatives générales

• Approche évaluative: «manière générale de rechercher ou de conceptualiser l'évaluation, qui intègre souvent une philosophie et un ensemble de valeurs» (Duigen, 2007)

• Toutes les approches nécessitent les mêmes étapes de planification Approches évaluatives

• Évaluation prospective • Évaluation de l’évaluabilité • Évaluation par objectifs • Évaluation sans objectifs • Évaluation multi site • Évaluation groupée ou intégrée (cluster évaluation) • Évaluation sociale • Évaluation sociale et environnementale • Évaluation participative • Cartographie des incidences • Évaluation rapide • Synthèse de l'évaluation et méta-évaluation • Approches émergentes

Évaluation prospective

• Evaluation dans laquelle un programme proposé est révisé avant qu’il commence (à priori)

• Tente de: Analyser ses chances de succès Prévoir son coût Analyser les propositions alternatives et les projections

Types de questions prospectives GAO (Government Accountability Office)

34

Activités pour les évaluations prospectives • L'analyse contextuelle de l'intervention • Examen des études évaluatives en lien avec des interventions similaires et

synthèse des résultats et des leçons du passé • Prédiction des chances de succès ou d’échec dans un contexte futur similaire

et suggestions sur l’amélioration de l'intervention proposée selon les volontés des décideurs

Évaluation de l’évaluabilité

• Une étude préliminaire pour déterminer si une évaluation serait utile et réalisable

• Clarifie les buts et objectifs, identifie les ressources, les lacunes et les informations qui doivent être obtenues

• Peut redéfinir l'objet et les méthodes • Peut faire gagner du temps et éviter des erreurs coûteuses

Les étapes de l'évaluation de l’évaluabilité • Révision des composantes qui définissent et décrivent l'intervention • Identifier les modifications à l'intervention • Entrevues avec les gestionnaires et le personnel sur leurs perceptions des buts

et objectifs de l'intervention • Interviewer les parties prenantes sur leurs perceptions des buts et objectifs de

l'intervention • Développement ou redéfinition d'une théorie de modèle du changement • Identifier les sources de données • Identification des personnes et des organisations qui peuvent mettre en œuvre

d'éventuelles recommandations de l'évaluation Les Avantages et les défis

• Les avantages: – permet de distinguer l'échec potentiel de la mise en œuvre et le défaut

de conception – augmente l'investissement des parties prenantes dans l'intervention – clarifie les mesures de la performance du programme – clarifie la compréhension du programme – augmente la visibilité et la responsabilité de l'intervention

• Les défis – peut prendre du temps – peut être coûteux si l'équipe d'évaluation ne fonctionne pas bien

ensemble Évaluation par objectifs L’évaluation par objectifs (ou basée sur les objectifs) :

– mesure à quel point une intervention a atteint ses objectifs – met l'accent sur les résultats énoncés – est utilisée par la plupart des systèmes d'évaluation des projets de

développement des organisations Critiques

• Met l'accent sur les résultats déclarés et néglige les objectifs implicites • Ne recherche pas les effets non intentionnels, à la fois positifs et négatifs

35

Évaluation non basée sur les buts (Goal-Free) • L'évaluateur évite délibérément de prendre connaissance des objectifs du

programme • Les buts prédéterminés ne doivent pas restreindre le champ d’étude de

l’évaluation • Met l'accent sur les résultats réels plutôt que sur les résultats attendus du

programme • L’évaluateur a peu de contact avec le directeur du programme et le personnel • Augmente la probabilité que les effets secondaires imprévus soient notés

Évaluation multi sites

• L'évaluation d'un ensemble d'interventions qui ont une même mission, une même stratégie et une même population cible

• Considère: – Ce qui est commun à toutes les interventions – Quelles caractéristiques varient et pourquoi – Les différences dans les résultats en fonction de ces variations

Les avantages de l’évaluation multi site : • Conception plus forte que l'évaluation d'une intervention unique dans un lieu

unique • A un échantillon plus large et un éventail de situations d'intervention plus

vaste • Des preuves plus solides de l'efficacité de l'intervention

Les défis de l’évaluation multi site : • Nécessite des collectes de données normalisées • Nécessite un personnel bien formé, l'accès à tous les sites et suffisamment

d'informations à l'avance pour concevoir les instruments de collecte de données

• Exige la compréhension des différences de mise en œuvre au sein de chaque intervention et de leurs communautés

Évaluation groupée ou intégrée (cluster)

• Concerne généralement des groupes d'interventions similaires ou connexes - «clusters»

• L'accent est mis sur les missions, stratégie, et populations cibles communes • Semblable à l’évaluation multi site, mais se concentre sur ce qui se passe dans

les groupes et sur les thèmes communs ainsi qu’aux leçons apprises • L’information est rapportée de manière globale seulement • La participation des acteurs est la clé • Non concernée par la généralisation ou la reproductibilité • Plus susceptible d'utiliser des approches qualitatives • Inconvénients:

• Ne montre pas de résultats pour les sites individuels ou les variations imprévues

• Montre seulement des informations globales Évaluation sociale

• S’intéresse aux différentes structures, processus et changements au sein d'un groupe ou d'une communauté

36

• Apporte des informations sociales pertinentes dans le processus de prise de décision pour la conception des programmes, la mise en œuvre, le suivi et l’évaluation

• Utilisée pour s’assurer que les impacts sociaux des projets de développement sont pris en compte

• Implique les parties prenantes pour s’assurer que les bénéficiaires visés trouvent les objectifs du projet acceptables

• Évalue les impacts négatifs et détermine comment les atténuer • Consensus des parties prenantes sur les mesures des résultats clés

Questions fréquentes lors de l’évaluation sociale : • Qui sont les parties prenantes? Les objectifs du projet sont-ils conformes à

leurs besoins, leurs intérêts et leurs capacités? • Quels sont les facteurs sociaux et culturels qui influent sur la capacité des

acteurs à participer ou à bénéficier des interventions proposées? • Quel est l'impact du projet ou du programme sur les différentes parties

prenantes, en particulier sur les femmes et les groupes vulnérables? Quels sont les risques sociaux qui pourraient affecter le succès du projet ou du programme?

• Quels arrangements institutionnels sont nécessaires pour la participation et la livraison du projet? Y a-t-il des mesures adéquates pour renforcer la capacité d’agir ?

Approches et outils : • Analyse des parties prenantes • Analyse du genre • Diagnostic rural participatif • Observation, entretiens, groupes de discussion • Cartographie, analyse des tâches, classement selon la richesse • Ateliers: planification du projet axée sur les objectifs, constitution d’équipes

équipes Évaluation sociale et environnementale

• L’évaluation environnementale était auparavant séparée de l’évaluation sociale, maintenant les deux formes d’évaluation sont conduites ensemble

• L’évaluation environnementale ne se limite pas uniquement aux projets spécifiquement «environnementaux»

• Les évaluations environnementales et sociales (E & S) abordent l'impact du développement sur les aspects environnementaux et sociaux.

• Les organisations de développement reconnaissent le rôle que les populations locales doivent jouer dans la conception et la mise en œuvre des interventions pour l'environnement et les ressources naturelles

• L’évaluation E&S peut constituer le seul objectif d’un exercice évaluatif ou elle peut être incluse dans l’évaluation d’un projet

• De nombreuses interventions peuvent avoir des impacts environnementaux • La plupart des organisations de développement adhèrent aux bases des

normes E & S • L’évaluation E&S doit évaluer l'impact potentiel, les stratégies d'atténuation,

leur mise en œuvre et leurs impacts E&S : Lignes directrices /normes /stratégies

• Utilisées pour évaluer l'impact de l'intervention

37

• Les sources incluent: 1. Les principes de l'Équateur : ensemble de principes pour aider les

institutions financières à déterminer, évaluer et gérer les risques environnementaux et sociaux dans le financement de projets

Site Web: http://www.equator-principles.com/index.php 2. ISO 14031 : Ensemble de normes internationales pour la gestion de

l'environnement Aide par l'établissement de processus pour :

a. le choix des indicateurs, la collecte et l'analyse des données, évaluation de l'information en fonction de critères de performance environnementale, les rapports et la communication, la révision périodique et l'amélioration de ce processus

b. Site Web: c. http://www.iso.org/iso/home/store/catalogue_tc/catalogue_det

ail.htm?csnumber=52297

3. Stratégies du développement durable: - Un manuel de référence : Sustainable Development Strategies

(Stratégies de développement durable), publié par l’OCDE et le PNUD et qui contient des idées et des études de cas sur les tâches principales dans l’établissement des processus de développement durable au niveau national ou local, ainsi que pour les organisations internationales

- Site Web: http://pubs.iied.org/9165IIED.html Évaluation participative

• Les représentants des organismes et les parties prenantes (y compris les bénéficiaires) collaborent à la conception, la réalisation, l'interprétation et l’émission du rapport d'évaluation

• Se distingue de l'audit, idéal d’indépendance • Se distingue d’un détachement scientifique • Partenariat fondé sur le dialogue et la négociation

Principes de base de l’évaluation participative :

• L'évaluation comprend le renforcement des compétences des participants • Les participants adhèrent à l'évaluation, prennent des décisions et tirent leurs

propres conclusions • Les participants s’assurent que l’évaluation se concentre sur les méthodes et

les résultats qu'ils jugent importants • Les gens travaillent ensemble à promouvoir l'unité du groupe • Les participants comprennent et trouvent tous les aspects de l’évaluation

intéressants • L’auto-responsabilisation est très appréciée • Les évaluateurs / animateurs agissent comme ressources

Caractéristiques de l'évaluation participative :

• Plus de réunions • Décisions de groupe • Les participants peuvent:

38

– Être invités à tenir un carnet ou journal – Interviewer d’autres personnes ou conduire des groupes de discussion – Organiser des ateliers sur le terrain – Rédiger le rapport

Comparaison de l’évaluation participative avec l’évaluation traditionnelle

• Participative – Axée sur la collaboration et l’appropriation des participants – Axée sur l’apprentissage – Conception flexible – Méthodes plus informelles – Les évaluateurs sont des facilitateurs

• Traditionnelle – Axée sur les attentes des bailleurs de fonds – Met l'accent sur l’imputabilité et le jugement – Conception prédéterminée – Méthodes formelles – Les évaluateurs sont des experts

Processus participatif

• Pas de solution unique • Respect de principes en lien avec la participation et l'inclusion • Les personnes les plus proches de la situation ont des informations précieuses

et utiles • Élaborer des stratégies pour développer la confiance et la communication

honnête • Partage de l'information et de la prise de décision • Créer un terrain équitable “even ground”

Les défis de l’évaluation participative

• Craintes que l'évaluation ne soit pas objective • Les plus proches de l'intervention peuvent ne pas voir ce qui se passe

réellement si ça ne correspond pas à leurs attentes • Les participants peuvent avoir peur de soulever des opinions négatives • Processus long • Clarifier les rôles, les responsabilités et le processus • Des habiletés de facilitateur sont requises • Formations ponctuelles

Avantages de l’évaluation participative

• Augmentation de l’adhésion, moins de résistance • Les résultats sont plus susceptibles d'être utilisés • Durabilité accrue • Augmentation de la crédibilité des résultats • Plus de souplesse dans les approches • Peut être un moyen systématique d’apprentissage par l'expérience

Cartographie des incidences

• Met l'accent sur un type spécifique de résultats: les incidences comme changement de comportement

39

• Un processus pour engager les citoyens dans la compréhension de leur communauté

• Une méthode de collecte et de traçage des informations sur la distribution, l'accès et l'utilisation des ressources au sein d'une communauté

• Un outil pour l'évaluation participative Partenaires

• Les individus, les groupes et les organisations qui interagissent avec les projets, programmes et politiques à différents niveaux

• Ceux qui peuvent avoir le plus de possibilités pour influencer le changement • La cartographie des incidences assume que les partenaires contrôlent le

changement Ce que font les partenaires :

• Contrôlent le changement, l’entravent ou l’améliorent • Fournissent l’accès aux ressources, idées ou occasions (ou pas) • Facilitent ou bloquent l'alignement

La cartographie des incidences et autres approches

• La cartographie des incidences ne cherche pas à remplacer les formes plus traditionnelles de l'évaluation

• La cartographie des incidences entre en complément avec d'autres formes d’évaluation en mettant l'accent sur le changement de comportement

Évaluation rapide

• Pont entre la collecte formelle et informelle des données • Destinée à être rapide tout en étant précise • Utilise une stratégie systématique pour obtenir les informations essentielles • Idéale pour examiner des processus et des enjeux • Utilisée quand il y a des contraintes de temps et de ressources ou manque de

données de base Approche d'évaluation rapide :

• Observation de l'intervention dans son contexte • Des compétences en écoute et en prise de notes sont requises • Utilise plus d'une source d'information • Peut utiliser les mêmes méthodes de collecte de données que les autres, mais

sur une échelle plus petite Synthèse de l'évaluation

• Une approche utile lorsque plusieurs évaluations d'interventions similaires ont déjà été menées

• Permet à l’évaluateur de sonder les interventions qui portent sur des objectifs ou thèmes similaires afin d’identifier les similitudes

• Utile lorsque vous voulez savoir "en moyenne, est ce que ça marche?" La synthèse de l'évaluation devrait inclure:

• Des procédures clairement énoncées pour identifier les évaluations et définir leur portée

• Critères de qualité transparents • Procédures d'application des critères de qualité

40

• Citations pour toutes les évaluations examinées • Descriptions sommaires de chaque évaluation incluse, synthèse et conclusions

sur les différents thèmes • Faiblesses et limites de la synthèse

Les avantages et les défis de la synthèse de l’évaluation

• Avantages – Utilise la recherche disponible – Évite la collecte de données originales – Est rentable

• Défis – Localiser toutes les études pertinentes – L'obtention de l'autorisation d'utiliser les données – Un même groupe peut avoir fait plusieurs études – L'élaboration d'une mesure crédible de qualité

Méta-évaluation La méta-évaluation est l'expertise d'une ou plusieurs évaluations par rapport aux normes de qualité professionnelles Évaluation axée sur l’utilisation

• Évaluation jugée par son utilité et par son utilisation réelle • Les évaluateurs identifient les décideurs qui utiliseront les informations issues

de l'évaluation Évaluation axée sur le renforcement des capacités

• L'utilisation de concepts d'évaluation, les techniques et les conclusions pour favoriser le renforcement des capacités d’agir et la responsabilisation

• Au-delà de l'évaluation participative, les gens créent des solutions à partir de leur propre expérience

Évaluation ‘réalistic’

• Une évaluation «fondée sur la théorie» (Pawson & Tilley, 2004) • Liée à la théorie du changement qui constitue une hypothèse de progrès social •

Évaluation inclusive Implique les moins favorisés (qui ont été traditionnellement sous-représentés) dans le cadre d'une enquête systématique afin de juger du mérite ou de la valeur d'une intervention L’analyse des bénéficiaires

• Forte implication du client final, c’est-à-dire les bénéficiaires du projet • Les bénéficiaires sont les acteurs clés et c’est pourquoi ils acquièrent les outils

nécessaires pour produire le changement souhaité Évaluation horizontale

• Combine une évaluation interne avec un examen externe par les pairs • Souvent utilisée pour apprendre et améliorer les méthodes d'évaluation qui

sont en cours de développement

41

Défis pour aller de l‘avant

• Les Objectifs Millénaires du Développement (OMD) ont des implications majeures pour l'évaluation du développement

• Passer de l'évaluation des objectifs du projet à l'évaluation des OMD • Devrait également passer par les organisations de développement qui font

l'évaluation pour les pays en développement bénéficiaires de l'aide pour faire l'évaluation

42

6. Développement des questions d'évaluation Démarrage de la matrice de conception

Provenance des questions Types de questions Identifier et choisir les questions Développer de bonnes questions d’évaluation Conception de l’évaluation

Questions de l’évaluation

• Donner une direction à une évaluation • Refléter les questions clés • Éléments essentiels pour aider à prendre des décisions

Provenance des questions

• Les conclusions des évaluations précédentes en lien avecl’intervention • Les conclusions des évaluations d'interventions similaires • Hypothèses et facteurs contextuels identifiés dans le développement de la

théorie du changement • Préoccupations et questions du client et des intervenants • Les normes professionnelles, les listes de contrôle et les lignes directrices • Points de vue et connaissances des experts consultés • Jugement professionnel de l'évaluateur

Étapes du programme et questions d'évaluation

43

Utilisation de la théorie du changement pour les questions

Types de questions

1. Questions descriptives Représentent«ce qui est» Caractéristiques:

Cherchent à comprendre ou à décrire un programme,un processus ou des attitudes à son égard

Fournissent un «instantané» de ce qui est Sont des questions directes (qui? quoi? où? quand? comment?

combien / nombre?) Peuvent être utilisées pour décrire les intrants, les activités, les

extrants Souvent utilisées pour demander l'avis de bénéficiaires

Exemples de questions descriptives Quels sont les objectifs du programme du point de vue des différentes parties

prenantes? Quelles sont les principales activités du programme? Où le programme a-t-il été mis en œuvre? Qui a bénéficié des services? Lesquels? À quels obstacles le programme a-t-il fait face? Quel a été le gain moyen des participants? Dans quelle mesure la conception du programme reflète-t-elle les leçons tirées

des derniers programmes similaires? Dans quelle mesure y a-t-il des différences systématiques entre les sites dans la

façon dont le programme a été mis en œuvre? Quelles sont les qualifications des fournisseurs de services? Quand le programme a-t-il été pleinement mis en œuvre? Quelle est la proportion des femmes ayant participé au programme? Comment le coût du programme se compare-t-il avec les coûts des

programmes similaires?

44

Quels sont les canaux informels de communication à l'intérieur de l'organisation?

À quel point les participants ont-ils trouvé le programme utile? Remarques importantes:

a- Les questions sur la proportion de clients qui trouvent le programme utile ou la proportion de ceux qui aiment la formation sont encore des questions descriptives (à moins qu’une norme ou un standard soient établis)

b- Les questions sur les gains ou les changements sur une période de temps,qu'il s’agisse de la production agricole, des flux de trafic, de la structure des échanges, des résultats des tests, des attitudes ou comportements, sont des questions descriptives (lorsqu’aucune attribution n’est cherchée) 2. Questions normatives Comparent «ce qui est» à «ce qui devrait être» Similaires aux questions posées dans l'audit de performance Mesurent à partir de critères préalablement établis

Standards pour les questions normatives :

On les trouve souvent dans les documents autorisés du programme Peuvent être des indicateurs avec des objectifs précis dans les systèmes de

suivi Peuvent provenir de systèmes d'accréditation, de commissions

indépendantes (blue-ribbon panels), d’organisations professionnelles Exemples de questions normatives: Avons-nous dépensé autant que nous avions prévu? Le budget a-t-il été dépensé de façon efficiente? Est-ce que les 80% des enfants de la nation ont été vaccinés tel que fixé comme

objectif? Avons-nous atteint l'objectif de drainer les 100 000 hectares de terres? Le processus de sélection des participants a-t-il été juste et équitable? Dans quelle mesure le programme reflète-t-il les principes de l'égalité des

sexes?

3. Questions de cause à effet Cherchent à déterminer quelle différence l'intervention fait Demandent si les résultats escomptés ont été atteints ET si c’est

l'intervention qui a causé ces résultats Impliquent des comparaisons «avant et après» et «avec et sans» Les évaluations d'impact se concentrent sur les questions de cause à

effet Exemples de questions de cause à effet : La stratégie de partenariat de trois pays a-t-elle préservé la biodiversité de la

zone touchée tout en soutenant les moyens de subsistance? Comme conséquence du programme de formation professionnelle, les

participants ont-ils eu des emplois mieux rémunérés que ce qu'ils auraient eu autrement?

45

Le programme de micro-entreprises a-t-il permis de réduire les taux de pauvreté dans les zones dans lesquelles il opérait?

L’augmentation de la taxe sur l'essence a-t-elle amélioré la qualité de l'air? L'augmentation par le gouvernement des sanctions financières à l’égard des

entreprises qui violent la loi a-t-elle permis de réduire l'utilisation des enfants mineurs dans l'industrie du vêtement?

Pour déterminer la cause Théorie du changement Déterminer l’ordre chronologique Co-variation Élimination d'explications rivales

Identification et choix des questions Deux phases: La phase divergente: dresser une liste complète des questions

Générer des questions Examiner les questions Organiser les questions Classer chaque question telle qu'elle s’inscrit dans les principaux thèmes

de l’étude Modèle de la question type :

Les questions relatives aux changements dans les mesures des résultats sont généralement des questions descriptives

Les questions sur la réalisation des résultats sont généralement des questions normatives

Les questions sur les impacts sont généralement des questions de cause à effet

La phase convergente: réduire la liste Soyez sélectifs dans l'identification des questions de l'étude Éliminer les questions intéressantes, mais qui ne sont pas essentielles

Critères proposés pour affiner les questions essentielles : Qui aurait à utiliser l'information? Qui veut savoir cette information? Qui

serait affecté si la question d'évaluation est abandonnée? Une réponse à la question réduirait-elle l'incertitude ou informerait-elle? Y

aurait-il un impact sur le cours des événements? La réponse à la question fournirait-elle des informations importantes? Aurait-

elle un impact sur le cours des événements? Est-ce simplement une question d'intérêt passager pour quelqu'un, ou se

concentre-t-elle sur les dimensions critiques d’un intérêt continu? La portée ou l'ampleur de l'évaluation seraient-elle sérieusement limitées si

cette question est abandonnée? Est-il possible de répondre à cette question, compte tenu des ressources

financières et humaines, du temps imparti, des méthodes et de la technologie?

46

Matrice pour le classement et la sélection des questions

Développer de bonnes questions Commencez par identifier les principales questions Les questions qui incluent plus d'un sujet ne sont pas bonnes Les questions sur un sujet peuvent être adressées en utilisant les trois types de

questions en ajustant le libellé Rédiger de meilleures questions Établissez un lien clair entre chaque question d'évaluation et le but de l'étude Assurez-vous que les questions d'évaluation portent sur les sujets les plus

préoccupants Assurez-vous que toutes les questions peuvent obtenir une réponse Définissez un nombre réaliste de questions par rapport au temps disponible

pour l'évaluation Considérez le calendrier de l'évaluation par rapport au cycle du programme

Conception de l'évaluation, un processus d'élaboration De questions ou des sujets majeurs d'évaluation D’une approche générale d'évaluation De questions et sous-questions spécifiques d'évaluation Pour l'opérationnalisation, les sources de données et des stratégies

méthodologiques pour le type de collecte de données D’analyse planifiée De la stratégie de diffusion

47

Approche de l'évaluation du développement

Conception de la matrice Un outil d'organisation pour aider à planifier une évaluation Organise les questions et les plans pour la collecte de l’'information afin de

répondre aux questions Éléments de la matrice

o Le principal sujet de l'évaluation o Approche générale o Questions et sous-questions o Type de questions et de sous-questions o Indicateurs ou mesures o Cible ou norme? (si normative) o Présence ou absence de données de référence o Stratégie de conception o Les sources de données o Échantillonnage ou recensement o Instrument de collecte de données o Analyse des données et des graphiques o Commentaires

48

49

7. Choix de conceptions pour des évaluations: cause à effet, normative et descriptive

Questions en relation avec la conception Conception des questions «cause à effet» Conception des questions descriptives Conception des questions normatives Besoin de modèles plus rigoureux

I- Questions en relation avec la conception • La conception est le plan pour répondre à des questions d'évaluation • Chaque question a besoin d’une conception appropriée • Aucune meilleure conception

Conception expérimentale

• La conception expérimentale utilise deux groupes, l’un reçoit l'intervention, l'autre appelé groupe témoin, ne l’a reçoit pas

• L’affectation aux groupes est aléatoire Conception Quasi expérimentale

• Elle ressemble à la conception expérimentale, mais: – Pas d’affectation aléatoire – Exige plus de données afin d'éliminer les explications alternatives – Utilise des groupes naturels de comparaison

Conception non-expérimentale

– Ne compare pas les groupes – Fourni des descriptions détaillées de la relation entre une intervention

et ses effets – L’évaluateur tente de trouver un échantillon représentatif – Pourrait analyser les données ou les informations existantes – Examine les caractéristiques identifées, la fréquence, et les associations

Comparaison des catégories de conceptions

50

Conception pour les questions causeàeffet • Peut utiliser des conceptions expérimentales et quasi-expérimentales • Pose les plus grands défis méthodologiques • Besoin d'un design bien pensé • La conception essaye d'écarter les explications possibles autres que

l'intervention • Qu’aurait été la situation si l'intervention n'avait pas eu lieu?

Étapes de la conception expérimentale

• Formuler une hypothèse • Obtenir une base de référence (mesure de la variable dépendante) • Affecter aléatoirement des cas au groupe de l'intervention et à celui de la non-

intervention (groupe témoin) • Présenter le traitement ou la variable indépendante dans l'intervention • Mesurer à nouveau la variable dépendante (post-test) • Calculer les différences entre les groupes et les tests de signification statistique

Notation de la conception expérimentale

O1 X O2 O1 O2 ou R O1 X O2 R O1 O2 O : Observation X : Intervention R : Groupes de contrôle

• Groupe de contrôle: groupe dont les membres ne sont pas exposés à une intervention

• Groupe de traitement: groupe dont les membres sont exposés à une intervention

Les explications alternatives doivent être écartées avant de tirer des conclusions Affectation aléatoire

• Aléatoire: les gens ou les choses sont placés dans des groupes par hasard

• L’affectation aléatoire est supposée constituer des groupes comparables • Ce n’est pas toujours une option, mais elle est possible plus souvent que

vous pensez - Lorsque l’intervention ne peut concerner tous les participants à la fois

Le biais de la sélection Dénaturation des preuves ou des données sur les résultats d'un programme d'intervention en raison de différence systématique dans les caractéristiques du sous-ensemble de la population recevant l'intervention et ceux de la même population qui ne bénéficie pas de l'intervention

- auto-sélection des participants - les gestionnaires de programme sélectionnent les participants les plus susceptibles de réussir

51

Validité interne Possibilité pour la conception d'exclure tous les autres facteurs ou explications alternatives possibles pour les résultats observés autres que l'intervention Menaces courantes pour la validité interne

• Histoire (événements survenant en même temps) • Maturation des sujets (le vieillissement change les résultats) • Des tests répétés (apprendre à faire le test) • Le biais de sélection (les participants peuvent être différents) • Mortalité (participants qui quittent) • Régression à la moyenne (scores aux extrémités) • Instrumentation (modification des instruments ou des procédures de collecte

de données)

II- Conception quasi-expérimentale • Semblable à la conception expérimentale, mais n’affecte pas au hasard les

individus à des groupes • Compare les groupes qui sont similaires, mais pas équivalents • Lorsqu'il n'est pas possible d'affecter au hasard, il faut construire des groupes

de comparaison • Sans assignation aléatoire, il faut avoir un contrôle de la validité interne • Pas de groupe réel de contrôle, l'évaluateur construit des groupes de

traitement et de comparaison en: - construisant des groupes qui sont équivalents sur des caractéristiques importantes :

• Âge, genre, revenu, situation socio-économique, etc. - En trouvant un groupe de comparaison en comparant les principales caractéristiques

Exemples de conceptions quasi-expérimentales

1. Conception avant et après sans groupe de comparaison 2. Conception pré et post comparaison non équivalente 3. Conception post comparaison non équivalente 4. Conception avec comparaison de séries temporelles interrompues 5. Conception longitudinale 6. Conception de panel 7. Conception de corrélation utilisant des contrôles statistiques 8. Score de propension harmonisé

1. Conception avant et après sans groupe de comparaison • Une manière de mesurer le changement • Comparer les principales mesures avant et après l'intervention • Appelé aussi pré et post-conception • L'avant est souvent appelée la ligne de base ou la donnée de référence • Il n'y a pas de groupe témoin séparé, le «avant» est un groupe et l’«après» est

le même groupe • Le changement seul ne prouve pas la causalité

52

Questions pour la conception avantetaprès Les questions de l'évaluation: - Les participants au programme ont-ils amélioré leurs connaissances des techniques de la parentalité? - Quel a été le changement en salaire gagné, deux ans après la formation? Notations pour la conception avantetaprès

• Représentée ainsi: O1 X O2

– observation, intervention, observation

2. Conception pré et post comparaison non équivalente Pour constituer des groupes aussi semblables que possible, les faires

correspondre en utilisant: - Des tests de compétences, des tests de performance, les scores de

jugement, etc. Le score de chaque sujet est noté. Placer ensuite les sujets dans les

groupes de même score - Les sujets sont répartis selon les scores, nombre similaire de haut,

moyen et bas scores Exemple de conception pré et post comparaison non équivalente

Évaluation de la formation de sensibilisation au genre Construire deux groupes:

- Faire un pré-test - A partir des scores du pré-test

• Placer l'un des deux meilleurs scores dans un groupe, l'autre dans le second groupe

• Placer ensuite l’un des deux meilleurs suivants scores dans un groupe et l'autre dans le second groupe

• Etc. - Désigner un groupe en tant que traitement, l'autre en tant que contrôle

Notation pour la conception pré et post comparaison non équivalente

N O1 X O2 N O1 O2

3. Conception post comparaison non équivalente • Conception plus faible que la conception pré et post comparaison non

équivalente • Le groupe témoin existe, mais il n’y a de données que pour la post-intervention • On sait où les groupes finissent, mais pas où ils ont commencé

Notation pour la conception post comparaison non équivalente

N O1 X O2 N O2

4. Conception avec comparaison de séries temporelles interrompues • Cherche le changement au fil du temps • Le but est d'explorer et de décrire les changements au fil du temps, soit après,

soit avant et après l'intervention

53

• Peut être utilisée pour discerner les tendances • Souvent, il y a des données existantes qui peuvent être utilisées

Questions pour la conception avec comparaison de séries temporelles interrompues

Questions de l'évaluation: - Quelles sont les tendances des taux de mortalité des enfants avant et après et au fil du temps pour une intervention? - Quels sont les changements au fil du temps dans les attitudes des participants envers les femmes entrepreneurs?

Notation pour la conception de comparaison de séries temporelles interrompues Représentée ainsi: O1 O2 O3 X O4 O5 O6 Au moins trois observations sont faites avant l'intervention et encore trois fois après l'intervention

5. Conception longitudinale • C’est un type de conception de série temporelle qui se produit sur une longue

période de temps • Des mesures répétées de la même variable sont prises à partir de la population

de l'étude • Peut fournir une mine d'informations • Le nombre des personnes diminue au fil du temps car les sujets décèdent ou

partent ailleurs Exemple de conception longitudinale

Question de l'évaluation: - Comment la répartition des avantages sociaux affecte-t-elle la transition des familles dans et hors de la pauvreté ?

une étude portant sur l'allocation familiale en Pologne de 1993 à 1996

Notation pour la conception longitudinale

X O1 O2 O3 … Ox Intervention suivie d'observations d'un individu ou d'un groupe au fil du temps

6. Conception de panel • La conception du panel est un type d'étude longitudinale où un groupe de

personnes sont suivies à de multiples points dans le temps - Utilise presque toujours des questions qualitatives (enquête à questions ouvertes, entrevues en profondeur et observation)

- Peut donner une perspective plus approfondie Exemple de conception de panel

• Enquête sur les attitudes et les comportements concernant le genre pour les élèves dans une école

• Questionnaire donné chaque semestre pendant huit ans

54

Notation pour conception de panel X O1 O2 O3 O4 O5 O6 … Intervention suivie d’observations d’une unité au fil du temps

7. Conception de corrélation utilisant des contrôles statistiques • Examine les variables qui ne peuvent pas être manipulées • Chaque sujet est mesuré sur un certain nombre de variables et les relations

statistiques sont évaluées parmi les variables • L’analyste de données analyse généralement les données • Souvent utilisée en vue de répondre aux questions concernant les relations et

associations • Utilisée souvent lorsque les données sont déjà disponibles

Exemple de conception de corrélation

Évaluation cherchant le lien entre la profession et l'incidence du VIH / SIDA

Distribuer le questionnaire à un grand pourcentage de la population Posez des questions sur:

• La profession, qui contactent-t-ils, où passent-ils du temps loin de la maison, etc.

8. Score de propension harmonisé • Utilisé pour mesurer l'effet d'une intervention sur les participants au

programme par rapport aux non participants présentant des caractéristiques similaires

• Recueillir des données de base, puis identifier les caractéristiques observables qui sont susceptibles d’avoir un lien avec la question de l'évaluation

Exemple de conception de score de propension harmonisé

• Comparer par exemple - Le sexe, l'âge, l'état matrimonial, la distance de la maison à l'école, dispositions de gîte et couvert, le nombre de frères et sœurs, les diplômés de l'école secondaire, l'ordre de naissance

• Le résultat est constitué de paires de personnes ou de ménages, aussi semblables les uns aux autres que possible (sauf sur la variable de traitement)

Conceptions non expérimentales

1. Conception transversale simple 2. Conception unique (one-shot) 3. Stratégies de traçage de causalité 4. Conception de l'étude de cas

1. Conception transversale simple

a. Affiche un instantané à un moment donné dans le temps b. S'intéresse aussi aux réponses des sous-groupes c. Souvent utilisée avec la méthode d’enquête d. Les sous-groupes peuvent être:

L’âge Le sexe Le revenu L’éducation

55

L'origine ethnique Le montant de l'intervention reçu

Questions pour la conception transversale simple

Les questions d'évaluation peuvent se focaliser sur : - Le degré de satisfaction des participants des services - Pourquoi ils n'ont pas recours aux services - Connaître la situation actuelle des personnes ayant connu une intervention il y a quelques années

Les questions d'évaluation peuvent être: - Les participants avec différents niveaux d'enseignement ont-ils des vues différentes sur la valeur de la formation? - Les femmes reçoivent-elles des formations différentes que leurs homologues masculins?

Notation pour la conception transversale simple Représentée ainsi X O1 O2

O3 L'observation est faite après l’ intervention ‘X’ et les réponses des sous-groupes (‘O1, O2, O3’ et ainsi de suite) recevant les interventions sont examinées

2. Conception unique (One-Shot) Un coup d'œil à un groupe recevant une intervention à un moment

donné suite à l'intervention Utilisée pour répondre à des questions telles que: - Combien de femmes ont été formés? - Combien de participants ont reçu des conseils d'emploi ainsi que la formation professionnelle? - Avez-vous aimé la formation? - Comment avez-vous entendu parler de la formation?

Notation pour la conception (One-Shot) Représentée ainsi : X O1 - Il y a un groupe recevant le traitement "X" et une observation "O" - Il n'y a pas de mesure avant le traitement / intervention

3. Stratégies de recherche de causalité Basées sur les principes généraux utilisés dans des conceptions

expérimentales et quasi-expérimentales traditionnelles, mais: • peuvent être utilisées pour des évaluations rapides • peuvent être utilisées sans expertise statistique de haut niveau • peuvent être utilisées sur les interventions à petite échelle où la

taille empêche l'analyse statistique • peuvent être utilisées pour des évaluations avec un composant

qualitatif • implique un travail d’enquête pour l'évaluateur

56

• Demandez-vous: - Quelles sont les décisions susceptibles d'être basées sur les données de cette évaluation?

- Comment dois-je être sûr de mes conclusions? - Quelles sont les informations que je peux recueillir ?

- Quelle combinaison de l'information peut me donner la certitude dont j'ai besoin?

• Rappelez-vous: cette liste est une énumération des sources possibles d'éléments de preuve, pas une liste de contrôle strict

9 sources de stratégies de recherche de causalité

• Liste d’inférence causale • Mode opératoire • Priorité temporelle • Conjonction constante • Contiguïté d'influence • Force de l'association • Gradient biologique • Cohésion • Analogie

4. Conception d'étude de cas • Étude de cas descriptive • Une information plus précise est recueillie au fil du temps afin de mieux

comprendre le ou les cas particuliers • Utile pour décrire ce à quoi la mise en œuvre de l'intervention ressemblait et

pourquoi les choses se sont passées de cette façon • Peut être utilisé pour examiner les dimensions extrêmes du programme ou une

intervention typique La conception d'étude de cas est :

• Utilisée lorsque le chercheur veut gagner en profondeur dans la compréhension du processus, de l’événement ou de la situation

• Bonne pour apprendre comment quelque chose marche ou pourquoi c’est arrivé

• Est souvent plus pratique qu’une étude nationale • Peut consister en un seul ou plusieurs cas • Peut utiliser les méthodes qualitatives ou quantitatives pour la collcete de

données Notation pour la conception d'étude de cas Représentée ainsi:

O1 O2 O3

Conceptions pour les questions descriptives

Les questions descriptives utilisent généralement des conceptions non expérimentales

Les conceptions courantes pour les questions descriptives: • Conception simple

57

• Conception d’avant et après • Conception unique (One-Shot) • Conception de comparaison de séries temporelles

interrompues • Conception longitudinale • Conception d'étude de cas

Conceptions pour les questions normatives

• Similaires aux questions descriptives • Les questions normatives sont souvent évaluées par rapport à un critère:

- Un objectif spécifique ou mandaté, une cible ou un standard à atteindre. • En général, les mêmes conceptions marchent pour les questions descriptives et

normatives Besoin de plus de conceptions rigoureuses

• Un grand appel pour démontrer l’impact • Les évaluations doivent lutter pour plus de rigueur dans la conception de

l'évaluation • Conseil:

- Construire la conception sur un modèle théorique du programme - Combiner les approches qualitative et quantitative - Utiliser au maximum les données secondaires disponibles - Si possible, inclure un ensemble de données à des points additionnels

dans le cycle du projet. Prendre des décisions de conception

• Il n’y a pas de conception parfaite • Chaque conception a ses forces et ses faiblesses • Il y a toujours des compromis – temps, coûts, faisabilité • Reconnaître les compromis et les faiblesses potentielles • Fournir certaines évaluations sur leur impact probable sur vos résultats et

conclusions

58

8. Sélection et construction d'instruments de collecte de données

Exemple 1: impacts de la construction d'écoles sur les salaires en Indonésie Question de recherche: Est-ce que la construction d'écoles à grande échelle affecte les salaires et la scolarisation des hommes nés entre 1950 et 1972? Expérience naturelle: Exploitation des variations régionales et temporelles dans la construction de nouvelles installations scolaires entre 1973 et 1979. DONNÉES D'ÉVALUATION: combiner les sources de données primaires et secondaires

Les données des ménages (salaires, scolarité) Données du recensement de la population (données de référence pour

la scolarité en 1971) Données du Ministère de l'Éducation concernant les écoles

Source: Esther Duflo (2001) Exemple 2: répercussions à long terme de la guerre civile sur l’épargne Question de recherche: Est-ce que l'exposition à la violence de la guerre civile en début de vie a un effet sur les bénéfices du marché du travail plus tard ? Expérience naturelle: Exploitation des variations de l'intensité de la guerre civile à travers le temps (1980-1995) et les régions. DONNÉES D'ÉVALUATION: combiner les sources de données primaires et secondaires

• Les données du marché de travail 2006-2007, enquêtes auprès des ménages (ENAHO) +

• Les données sur la violence: La Commission Vérité et Réconciliation (TRC)

• Données SIG. Source: J. Galdo (2010) Exemple 3: le pouvoir des téléphones mobiles sur les comportements de santé préventive Question de recherche: Est-ce que l'exposition à l'information par les TIC sur les comportements préventifs en santé réduit l'incidence de la dengue? Expérience naturelle: Exploiter l’intervention aléatoire dans les zones à haut effet endémique de la dengue. DONNÉES D'ÉVALUATION: combiner les sources de données primaires et secondaires

• Les données administratives, • Enquêtes auprès des ménages (ENAHO) • Données SIG • Enquêtes de référence et de suivi

Source: Dammert et al. (2014)

59

Considérations générales La méthode scientifique, définie comme «une méthode de recherche dans laquelle un problème est identifié, les données pertinentes recueillies, une hypothèse formulée, et l'hypothèse testée empiriquement» (Stein, 1980), doit être appliquée pour déterminer le besoin en informations. Fonction directe des objectifs de suivi et d'impact. L'analyse des données doit être planifiée avant de se mettre d’accord sur les types de données et les protocoles de collecte de données. Comme les données qualitatives et quantitatives se complètent mutuellement, les deux devraient être utilisées. Sources des données Les données administratives

- Collectées par les entités gouvernementales - Le programme des opérateurs

Données des enquête auprès des ménages - Données standardisées (LSMS: Living Standards Measurement Study (DHS: Demographic and Health Surveys ) - Données riches sur les caractéristiques des ménages et des individus

Les données du recensement - Données de faible fréquence

Données sur l'industrie et les infrastructures - Recensement de l'infrastructure sanitaire.

L'Étude sur la mesure des niveaux de vie (LSMS) est un programme d'enquête auprès des ménages qui met l'accent sur la génération de données de haute qualité, l'amélioration des méthodes d'enquête et le renforcement des capacités. Le but de la LSMS est de faciliter l'utilisation des données de l'enquête des ménages pour l'élaboration de politiques fondées sur des preuves. Le Programme des enquêtes démographiques et de santé (DHS) a collecté, analysé et diffusé des données précises et représentatives sur la population, la santé, le VIH et la nutrition à travers plus de 300 enquêtes dans plus de 90 pays. Unités d'analyse Individu Ménage Municipalité / Communauté / Village Données sur les infrastructures et l'industrie (écoles, hôpitaux, franchises) Caractéristiques des bonnes mesures 1) La mesure est-elle pertinente? Représentet-elle ce qui compte, ce qui est nécessaire ? 2) La mesure est-elle crédible? Y croit-on ? 3) La mesure est-elle valide? Dans quelle mesure la mesure rend compte de ce qui est censé être mesuré? 4) La mesure est-elle fiable? Précision et la stabilité ?

60

Besoins en matière de données de base Indicateurs / résultats / variables d'impact

Exemple: salaires, participation au marché du travail, nutrition, taille, années de scolarité, etc.

Les variables sociodémographiques (variables cofondées) Exemple: sexe, âge, indice de la pauvreté, scolarisation, etc.

Indicateur de traitement: 1 pour ceux dans le groupe de traitement, 0 pour ceux dans le groupe témoin. Indicateur de temps (de référence et de suivi):

1 après le programme, 0 avant le programme Données administratives Disponibles sur une base régulière ou en cours, car elles font partie du suivi

des systèmes d'information liés à un service. Généralement moins coûteuses que les enquêtes spécifiques. Les données recueillies ont tendance à être fiables, complètes et d’excellente

qualité. L’information issue de données administratives est susceptible d'être utile à

un large éventail de parties prenantes telles que les fournisseurs de services, les gestionnaires et le personnel du programme , les décideurs politiques et les chercheurs.

Constituent un appui à la planification pour l’actuel et le futur prestataire de services

Indiquent si les groupes cibles ont accès aux services aussi bien que prévu Assurent un suivi du coût-efficacité de la prestation de service Soutiennent un projet de budget pour plus de financement

Matrice de la connaissance des données administratives

Enquêtes Données statistiques Données recueillies avec soin et qui reposent soit sur l'échantillonnage soit sur

des expériences L'utilisation du hasard pour le choix de l'échantillon est un principe essentiel

de la conception des données statistiques.

61

Le groupe entier de personnes dont on recherche les informations est appelé population.

Un échantillon est une partie de la population que nous examinons afin de recueillir l’information.

Matrice de la connaissance des données (enquêtes)

Recensement Collecte l’information pour chaque individu de la population cible. Il est plus coûteux (temps et argent) Remarque importante: une enquête par sondage menée soigneusement fournit les mêmes informations précises qu'un recensement. Matrice de la connaissance des données (recensement)

Méthodes de collecte des données

Les approches qualitatives * Des méthodes participatives * Des groupes de discussion, l'observation, les entrevues avec les informateurs clés * Agendas, journaux, listes de contrôle auto-rapportées

Récit ou information détaillée à des fins descriptives et explicatives Réponse aux questions de comment et pourquoi?

62

La validité et la fiabilité des données qualitatives dépendent en grande partie des compétences et de la formation de l'évaluateur

Identifier les problèmes et les thèmes et non seulement les informations intéressantes * Flexibles aux différences individuelles, aux changements de situation et à l’émergence de nouvelles informations. * Utiles lorsque des difficultés linguistiques sont anticipées * Particulièrement utiles lorsque l'interaction des participants est souhaitée. * Ajoutent un pouvoir explicatif lorsqu’on est focalisé sur les institutions, les processus, les décisions et les événements * Pardonnent les erreurs: des questions peu claires peuvent être précisées lors de l'entrevue et reformulées ou changées pour les entrevues suivantes

Inconvénients des approches qualitatives - Données moins structurées (très subjectives) - Peuvent être coûteuses et avides en temps - Difficultés de reproduction Les approches quantitatives

-Enquêtes /questionnaires * Les enquêtes par sondage sont produites par l'échantillonnage d'une population de personnes. * Les données sont mesurées précisément sous forme numérique * La validité et la fiabilité des données dépendent de la précision avec laquelle l'échantillon et les variables clés d'intérêt sont recueillies.

Avantages des approches quantitatives -Utiles pour répondre aux questions de recherche d'une manière statistique. -Imposent l’uniformité en posant à tous les individus de l’échantillon les mêmes questions - La reproduction et la comparaison des données est plus facile - La représentativité de la population d'intérêt assure un bon cadre d'échantillonnage. Inconvénients des approches quantitatives -Ne répondent pas aux types de questions «comment» et «pourquoi» par elles-mêmes - La qualité des réponses dépend fortement de la clarté des questions de l'enquête -Peuvent impliquer de forcer les expériences des gens dans des catégories prédéterminées - Existence d’un biais de non-réponse

63

Exemple

Combinaison des approches qualitatives et quantitatives dans l'évaluation Une bonne évaluation nécessite les deux approches qualitatives et

quantitatives pour la collecte et l'analyse des données. La combinaison de ces deux approches fournit des résultats chiffrés des

impacts du programme ainsi que des explications sur les processus /facteurs qui ont mené à ces résultats.

Les deux approches combinées enrichissent l’interprétation ou l’explication (causalité) des résultats: l'évaluation quantitative documentent les changements attribuables aux activités du projet, tandis que les données qualitatives fournissent un contexte et une base pour l'interprétation.

Les méthodes qualitatives peuvent être utilisées pour déterminer la conception du questionnaire de l'enquête quantitative

Les méthodes qualitatives peuvent également être utilisées afin de déterminer la stratification de l'échantillon quantitatif.

L’entrevue de l'enquête quantitative peut être utilisée pour concevoir le guide d'entretien pour la collecte de données qualitatives

L’enquête quantitative peut être utilisée pour déterminer le l’ampleur ou l'étendue des résultats identifiés par l’approche qualitative

Méthodes de triangulation La triangulation des méthodes

* Collecte de la même information en utilisant différentes méthodes La triangulation des sources

* Collecte des mêmes informations à partir d'une variété de sources La triangulation des évaluateurs

* Collecte de la même information par plus d'un évaluateur Exemple: les conséquences de l’engagement des enfants en tant que soldats Question de recherche: Est-ce que la participation à la guerre civile affecte les résultats scolaires plus tard dans la vie? Expérience naturelle: Exploiter la variation exogène dans les enlèvements de jeunes en Sierra Leone.

64

LES DONNÉES DE L'ÉVALUATION: -Combinaison des sources de données primaires et secondaires - Données quantitatives et qualitatives Enquête ad-doc auprès de personnes enlevées Données administratives géographiques Groupes de discussion Source: Blattmann et Annan (2009) La collecte des données Un objectif crucial: des données de haute qualité

Comment y parvenir? Mettre tous les individus dans les mêmes marchés locaux de travail. Toutes les données socio-économiques et les informations

démographiques et de l’emploi devraient provenir de mesures comparables provenant de sources de données communes (administratives).

Minimiser le risque du biais d’usure. La qualité des données

1. Conception du questionnaire 2. Contrôle de la qualité 3. Audit des données

Choisir le bon instrument d'enquête

Questionnaire auto-administré Entretien téléphonique Papier et crayon Auto-interview assistée par ordinateur Audio auto-interview, assistée par ordinateur

Conception du questionnaire Adapter l'enquête aux résultats intéressants Libellés des questions et séquençage

-Brèves / simples / conviviales -Prendre le contexte local en compte

Minimiser les erreurs des interviewés (par exemple: établir les calendriers d’évènements historiques; les heures de travail hebdomadaires /mensuelles)

Une bonne question est facilement perçue par tous les interviewés Une bonne question suscite le genre d'information dont a besoin le chercheur :

-Question de faible qualité : Quand vous-êtes-vous déplacé à Kaboul, en Afghanistan? -Réponse: En 1985, -Réponse: Quand j'avais 23 ans -Réponse: Après avoir terminé le lycée - Question de bonne qualité : En quelle année vous-êtes-vous déplacé à Kaboul, en Afghanistan?

Une bonne question est celle où les interviewés peuvent y répondre et ont des connaissances pour y répondre -Poser une question à la mauvaise personne est une source de biais (par exemple, travail des enfants)

Une bonne question est posée à tous les interviewés

65

Renseignez-vous sur l’expérience de première main (par exemple, le travail des enfants)

Poser une question à la fois: -Question de faible qualité : La semaine dernière, étiez-vous à l'école et ave-vous apporté votre assignation ?

-Question de haute qualité : La semaine dernière, étiez-vous à l'école? Pour un comportement socialement indésirable demander: «avez-vous déjà

fait z », avant de demander «faites-vous z actuellement ». Questions ouvertes ou fermées ?

Contrôle de qualité: ne pas commencer à partir de zéro Inclure un chercheur ou une institution expérimentés dans les enquêtes ou

dans la conception et le développement de votre questionnaire Voir et revoir des questionnaires standards

-ENAHO : Enquête nationale auprès des ménages (Pérou) -DHS : Département des services humains (USA)

Contrôle de la qualité: tester le questionnaire Évaluer vos questions

- Conduire des groupes de discussion - Effectuer des tests cognitifs

Évaluez votre questionnaire et vos procédures - Effectuer un test sur le terrain

Contrôle de la qualité: travail sur le terrain Tous les documents doivent être finalisés avant le début de la formation:

- Documents de formation - Manuels de terrain - Questionnaires - Programme de saisie des données

Le choix et la formation des enquêteurs ont des conséquences directes sur la qualité des données

66

Contrôle de la qualité: la formation La formation en vue de l'enquête est coûteuse (en temps et ressources) La formation de l'enquête devrait comporter quatre étapes clés:

1. Conférence plénière 2. Travail en petits groupes 3. Pratique sur le terrain 4. Évaluation par l’expert

L'importance de ce processus est souvent sous-estimée Contrôle de la qualité: gestion des données Minimiser les non-réponses:

- Programmer judicieusement les visites - Assurer le suivi des non-réponses - Prévoir des incitations - Utilisez les TIC

Prévoir une équipe de terrain cohérente: superviseur, enquêteurs, opérateur de saisie de données, (anthropomètre, personnel de santé)

Saisie assistée par ordinateur Élaborer un programme de saisie de données qui comprend des contrôles de

qualité - Filtres - Soldes monétaires

Les procédures de gestion des données devraient mettre l'accent sur la confidentialité

Rapports de supervision fréquents Audit de données: «cohérence interne» Les soldes monétaires et non monétaires La consommation d'aliments et la composition du ménage Les mesures anthropométriques Dépenses Vérification des données secondaires En comparant les informations de l'enquête avec celles de l’administration En comparant la répartition régionale avec la distribution des variables de

l'enquête Temps de l'enquête

67

Moment de la collecte des données Le moment de la collecte de données affecte la qualité de la démarche

d'évaluation Les données de base doivent être recueillies avant le début du programme. Ces

données dépendent essentiellement de la planification de l'évaluation au cours de la phase de conception du programme

Le suivi des données devrait être compatible avec la nature de résultats/impacts

Quelques leçons : collecte d’instruments 1. Établir un avant-projet du contenu des instruments –Identification du sujet et des sources - Être bref et simple - Langage - Utiliser des filtres 2. Concevoir soigneusement les questions - S'assurer que chaque question couvre une seule idée - Éviter des questions hypothétiques - Poser des questions neutres - Demander des faits, non pas des jugements - Utiliser des questions fermées 3. Optimiser la séquence des questions - Éviter de commencer avec des questions de «jugement» - Progression logique des questions - Précodifier lorsque cela est possible 4.Vérifiez la cohérence des instruments - Vérifier le format et le codage - Au cours du temps 5.Procéder à des pré-tests Sites internet utiles International Household Survey Network (IHSN)

(1) the Central Survey and Census Catalogue and (2) the Microdata Management Toolkit. http://www.internationalsurveynetwork.org/home World Bank Development Data Platform (DDP)

http://www.techopedia.com/content/tagged/databases World Bank Impact Evaluation Unit

Africa Household Survey Databank Mecovi Household surveys

www.worldbank.org/impactevaluation

68

9. Le choix de la stratégie d'échantillonnage Concepts préliminaires Distinction entre les approches qualitatives et

quantitatives Choix de la conception de l'échantillonnage: expérimentale

et non expérimentale Détermination de la taille de l'échantillon

Distinction fondamentale 1) Approche quantitative 2) Approche qualitative Concepts préliminaires pour l'évaluation quantitative Échantillon Population µ^ µ L’utilisation des données sur les individus sélectionnés (ensemble de l'échantillon) pour tirer des conclusions sur l'ensemble de la population est appelée inférence statistique. Un paramètre est un nombre qui décrit la population. Un paramètre est un nombre fixe (μ), mais dans la pratique nous ne connaissons pas pour le moment sa valeur. Une statistique est un nombre qui décrit un échantillon µ^ . La valeur d'une statistique est connue lorsque nous avons choisi un échantillon, mais il peut changer d'un échantillon à l’autre. Un bon plan d'échantillonnage doit avoir à la fois un léger biais et une faible variabilité. Pour réduire le biais, utiliser un échantillonnage aléatoire. Pour réduire la variabilité, utiliser un échantillon suffisamment grand.

Types d'échantillons

1. Concepts aléatoires ou expérimentaux Les individus sont affectés au hasard dans des groupes de traitement et

de contrôle La «règle d'or» de la causalité ce sont les conceptions aléatoires Le groupe de traitement est identique à celui du groupe témoin dans tous

les aspects observables et non observables, sauf un seul: le groupe de traitement reçoit l’intervention.

69

Définition de l'échantillon aléatoire POPULATION ÉLIGIBLE Choix aléatoire Groupe de traitement Groupe de contrôle Protocole simple pour définir les données expérimentales Utilisez un logiciel statistique (STATA ou Excel). Étape 1: Créer un ensemble de données avec toutes les unités expérimentales N dans la première colonne Étape 2: Affecter des nombres aléatoires à chaque unité expérimentale. Les placer dans une deuxième colonne. Étape 3: Trier l'ensemble des données sur la base du nombre aléatoire. Étape 4: Sélectionnez les premiers X personnes pour le groupe de traitement et les Y individus restant pour le groupe de contrôle. Remarque X + Y = N Taille de l'échantillon avec des modèles expérimentaux simples Deux possibilités:

1. Au sein de la population éligible (N), affecter de manière aléatoire la moitié au groupe de traitement et l'autre moitié au groupe de contrôle. 2. Si vous avez des restrictions budgétaires et si la taille de la population éligible est grande, définir la taille de l'échantillon en utilisant une procédure en deux étapes: Tout d'abord, définir la taille optimale de l'échantillon (n) selon la formule suivante: n={z2σ2(N/N-1)}/{ME2+[Z2σ2/N-1]} z2 = valeur critique pour un niveau de confiance (généralement 1,96); ME = marge d'erreur (généralement 0,04); N = taille de la population; σ2 = variance des résultats. Ensuite, tirer au hasard des individus dans les groupes de traitement et de contrôle sur la base du nouvel échantillon représentatif (n). Définition de l'impact d'une évaluation expérimentale Utiliser un logiciel statistique (STATA ou Excel). Étape 1: Estimer le résultat moyen observé dans l'échantillon des bénéficiaires N1 (groupe de traitement) après le programme Étape 2: Estimer le résultat moyen observé dans l'échantillon des non-bénéficiaires N0 (groupe de contrôle) après le programme. Étape 3: Estimer la différence entre les moyennes des résultats du groupe de traitement et du groupe témoin

70

Définir les niveaux de confiance Idée: construire un intervalle (intervalle de valeurs) en utilisant les données de l'échantillon de telle sorte que nous sommes sûrs à C% que la vraie moyenne (population) se situe entre ces valeurs. Pourquoi est-ce important? Une estimation sans indication de sa variabilité a de peu de valeur En augmentant la taille de l'échantillon, vous augmentez la précision et diminuez la marge d'erreur. Grands échantillons pour de grandes populations (Source: Jackson 2007)

Niveau de confiance

Marge d'erreur en % 99% 95% 90%

+/- 1 16,576 9,604 6,765

+/- 2 4,144 2,401 1,691

+/- 3 1,848 1,067 752

+/- 5 666 384 271 Les échantillons aléatoires stratifiés Utilisés lorsque l'évaluateur veut fournir des estimations fiables pour des sous-groupes au sein de la population d'intérêt. Exemples: - Hommes et femmes - Personnes âgées de 16-24 contre celles âgées de 25-45 Les formules statistiques pour déterminer la taille des échantillons sont plus complexes Avantages des expériences sociales 1) Elles résolvent le problème du biais de l'évaluation: elles veillent à ce que les groupes de traitement et de contrôle soient statistiquement équivalents, sauf pour l'intervention reçue. 2) Les effets de causalité d'une expérience sociale peuvent être mesurés avec une grande fiabilité: les différences de résultats moyens parmi les différents groupes de traitement sont causées par des différences de traitement. 3) Les résultats sont faciles à communiquer aux décideurs et au grand public. 4) Perçues comme un processus équitable de répartition des ressources limitées Les critiques des expériences sociales 1) Fournissent peu de preuves sur de nombreuses questions d'intérêt 2) Méthode aléatoire biaisée 3) Biais de substitution 4) Limitations institutionnelles 5) La dimension éthique

71

Types d'échantillons 2. Modèles non aléatoires ou non-expérimentaux - Interventions créées par des chercheurs en sciences sociales qui affectent un traitement spécifique à une population cible sans utiliser les mécanismes d'affectation aléatoire (données d'observation). - Créent un biais de variables omises et des problèmes de sélection Exemples - L’expansion de l'infrastructure scolaire en Indonésie - Programme de formation d’anciens enfants-soldats en Sierra Leone. - L’extension des routes rurales dans certaines provinces de Chine. 2.1 Les expériences naturelles Les expériences naturelles sont des changements dans la législation ou d'autres accidents historiques pouvant être interprétés comme "aléatoires" (changements spontanés). Elles peuvent donc être utilisées pour créer des groupes de ‘contrôle’. Elles créent un biais des variables omises et des problèmes de sélection. Exemples - Le rôle de l'avortement sur la réduction des taux de criminalité en Roumanie - Les études sur les effets du service militaire sur les bénéfices en Corée - Effets des lois relatives au salaire minimum sur l'emploi - L'effet de la taille de la famille sur les choix familiaux en Inde Sources de biais dans les données non expérimentales 1. Sélection sur des observables: Les groupes de traitement et de contrôle peuvent différer systématiquement sur plusieurs dimensions X qui sont pertinentes pour le résultat Y. Il est supposé que tous les X sont observables pour l'analyste, de sorte qu'ils

peuvent être contrôlés par la comparaison des résultats moyens pour les participants et non-participants à une analyse multivariée.

Sous cette hypothèse, c’est «comme si» le choix aléatoire était arrivé conditionné par les observables X.

Exemple Programme obligatoire. Toutes les personnes qui reçoivent des indemnités de chômage sont affectées sur la base des scores de profilage 2. Sélection sur inobservables Se produit lorsque les caractéristiques non observables individuelles qui déterminent la participation affectent aussi le résultat. Les facteurs non observables qui déterminent aussi bien la participation que les résultats conduisent à une corrélation entre l’affectation et les résultats en l'absence de traitement Exemple Programme volontaire. Les personnes sont auto-sélectionnées dans le traitement sur la base de la motivation, l’ambition, la capacité, etc.

72

Définition de l'échantillon non aléatoire POPULATION ÉLIGIBLE Pas de choix aléatoire Groupe de traitement Groupe de contrôle Résoudre le problème de l'évaluation avec les données non expérimentales La combinaison d'une source claire de la variation dans une variable causale et l'utilisation d'une technique statistique particulière pour exploiter cette information c’est ce qu'on appelle une stratégie d'identification Les bonnes études non-expérimentales identifient une source de variation exogène transparente dans les variables explicatives qui déterminent l'affectation du traitement Les stratégies d'identification varient selon que nous avons une sélection sur les observables ou une sélection sur les inobservables. Étapes de base de la conception d’une recherche avec des données non expérimentales 1) Trouver la variation dans les variables explicatives clés qui sont exogènes (2) Trouver des groupes de comparaison qui sont comparables (3) Tester l'hypothèse de recherche en utilisant un modèle statistique Taille de l'échantillon avec des conceptions non expérimentales Il existe plusieurs possibilités pour définir l'échantillon non expérimental: 1. Au sein de la population éligible (N) affecter de façon non aléatoire la moitié au groupe de traitement et l'autre moitié au groupe de contrôle. 2. Si vous avez des restrictions budgétaires et si la taille de la population éligible est grande, définir la taille de l'échantillon en utilisant la même formule que précédemment. Diviser ensuite le nombre qui en résulte entre le groupe de traitement et celui de contrôle. 3. Si vous avez des restrictions budgétaires et si la taille de la population éligible est grande, définir la taille de l'échantillon de traitement en utilisant la même formule que précédemment. Puis fusionner les données obtenues avec les données du groupe de contrôle tirées de données d'enquête existantes. Échantillonnage pour l'évaluation qualitative L’échantillonnage vise à générer des analyses sur des questions d'évaluation et

les effets du programme L'échantillonnage ne vise pas des généralisations empiriques à partir d'un

échantillon vers une population. Il n’y a pas de formule pour déterminer la taille de l'échantillon. Un compromis apparaît entre faire moins de cas plus en profondeur ou

plusieurs cas avec moins de profondeur.

73

Stratégies d'échantillonnage pour l'évaluation qualitative Échantillonnage extrême : apprentissage par les valeurs extrêmes (par exemple, haut de la classe/décrocheurs) Échantillonnage de variation maximale : sélection d'un cas de gamme des cas pour obtenir la variation sur des dimensions d'intérêt Boule de neige: identifiez les cas d'intérêt par le biais des personnes qui composent l’'échantillon, qui elles-mêmes connaissent des personnes qui savent quels cas sont riches en informations Pour conclure Les plans d'échantillonnage sont fondamentaux pour estimer les effets

causaux de toute intervention. Il y a une différence fondamentale entre les conceptions aléatoires et non

aléatoires des données. Utiliser des formules statistiques pour définir la taille des échantillons.

L'exactitude et la précision peuvent être améliorées en augmentant la taille de l'échantillon.

La norme à viser est un niveau de confiance de 95% et une marge d'erreur de +/- 5%.

74

10. Planification et réalisation de l'analyse des données

Stratégie d’analyse des données Analyse des données qualitatives Analyse des données quantitatives Relier les données qualitatives et les données quantitatives

Une fois que les données ont été collectées, les évaluateurs doivent les examiner pour trouver un sens. Ce processus commence par une stratégie d'analyse de données. L’analyse des données qualitatives et quantitatives exigent différentes stratégies et techniques. Les évaluateurs doivent être conscients des différentes options pour l'analyse des données ainsi que de leurs forces et faiblesses respectives lorsqu’ils planifient l'évaluation. Dans la matrice d’évaluation, l'objectif de l’analyse des données ainsi que les graphiques qui en résulteront devrait être spécifiés.

1. COLLECTE ET ANALYSE DES DONNEES Au début de la collecte de données, peu de temps est consacré à l'analyse des données, en particulier si un test pilote est mené dans un premier temps. Plus l'évaluation progresse, plus de temps est consacré à l'analyse des données et moins à la collecte des données.

Analyse qualitative

• Elle est appropriée lorsqu’on souhaite avoir une compréhension en profondeur de l’intervention (l’utilisation d’un guide d’entrevue semi structurée, lorsqu’on travaille avec des petits échantillons, est utile pour l’analyse des situations spécifiques ou pour compléter et valider l'information provenant d'autres sources utilisées);

• C’est l’ensemble des données non numériques recueilli dans le cadre de l’évaluation;

75

• Elle peut aussi constituer une partie du travail de terrain • Elle répond à des questions telles que:

– Quelles sont les difficultés rencontrées par le personnel? – Pourquoi les participants disent qu'ils ont abandonné rapidement? – Comment les participants définissent l’expérience ?

Contraste avec l’analyse quantitative

• L’analyse quantitative est utilisé pour répondre à des questions telles que: Quels sont les scores moyens pour les différents groupes de participants? Comment les participants évaluent la pertinence de l'intervention sur une

échelle de un à cinq? Combien de variations existe-il dans les réponses à la question? Les différences entre les deux groupes sont-elles statistiquement

significatives? Frontière entre collecte et analyse des données La collecte et l'analyse des données peuvent se chevaucher aussi longtemps que l'évaluateur prend soin de ne pas faire des interprétations initiales qui pourrait exclure des possibilités analytiques. PABLO PICASO:«S'il n'y avait qu'une seule vérité, vous ne pourriez pas peindre une centaine de toiles sur le même thème.»

2. COLLECTE DE DONNEES ANALYSE QUALITATIVE Au cours du travail de terrain:

• Les idées sur les orientations pour l'analyse surviennent • Les modèles prennent forme • Les thèmes possibles viennent à l'esprit • Des hypothèses émergent pour informer sur le travail de terrain ultérieur.

Parfois, les lacunes ou ambiguïtés sont détectés lors des analyses. Si le calendrier, le budget et d'autres ressources le permettent, un évaluateur peut retourner sur le terrain pour recueillir davantage de données afin de clarifier les réponses ou faire de nouvelles observations. Lors de la phase de collecte des données, les membres d'une équipe se réunissent souvent (chaque jour ou chaque semaine) pour discuter des thèmes émergents et adapter les protocoles, si nécessaire. Astuces pour collecter et analyser des données qualitatives

• Ecrire (noter) les impressions et les idées et retranscrire les entrevues ou les notes d'observation tous les jours

• Mise au point progressive • Se réunir fréquemment avec l'équipe pour comparer les notes et faire des

ajustements • Utiliser et conserver un fichier pour les citations Il existe d’autres astuces pour : • Synthétiser les données, • Utiliser des outils pour garder des traces, • Enregistrer et conserver les données.

76

Prendre de bonnes notes (quelques rappels) • Il est important de saisir avec précision toutes les observations; • Accorder une attention particulière à ce que les gens disent et comment ils le

disent; • En prenant des notes, les évaluateurs doivent essayer de ne pas interpréter ce

que les gens disent; • Ils doivent écrire ce qu'ils observent, y compris le langage du corps et tout ce

qui se passe de potentiellement pertinent lors de la collecte des données (par exemple, des interruptions lors de l'entrevue).

• Les évaluateurs doivent saisir leurs pensées immédiates, leurs réactions et leurs interprétations et doivent les conserver dans une section séparée de leurs notes.

• Il est important de fournir aux évaluateurs le temps immédiatement après un entretien, une observation, un exercice de cartographie, ou un groupe de discussion pour examiner, ajouter, et écrire leurs notes afin qu'ils soient en mesure de leur donner du sens plus tard;

• Il est surprenant de constater combien il est difficile de comprendre les notes prises même juste un jour plus tard si elles ne sont pas clairement écrites.

• Même si l’entrevue est enregistrée, les évaluateurs doivent prendre au moins un peu de temps pour prendre des notes pendant que les souvenirs de l’entrevue sont encore récents. Vous économiserez ainsi des heures d'écoute d’enregistrement et de transcriptions.

Analyse des données qualitatives

• Les données non numériques sont recueillies dans le cadre de l'évaluation : – Par exemple des entretiens non structurés, des documents écrits, des

retranscriptions de groupes de discussion – On peut utiliser l’analyse de contenu (méthode) pour identifier des

thèmes et des tendances • Également on peut adopter une approche progressive – Une analyse au fur et à

mesure pendant laquelle des thèmes émerges Générer des thèmes et des tendances

• Lorsque vous analyser, commencer à prendre des notes • L'objectif est de résumer ce que vous avez vu ou entendu:

mots communs expressions thèmes tendances

Organiser des données qualitatives pour l'analyse Après la collecte de données qualitatives, l'évaluateur aura de nombreuses pages de notes et des transcriptions d'observations, d'entretiens et d'autres sources de données. Organiser et donner un sens à cette information peut être difficile. Pour commencer l'organisation, les évaluateurs doivent :

• vérifier que toutes les données sont complètes • faire plusieurs copies de toutes les données • organiser les données dans des fichiers différents.

Certains évaluateurs créent quatre fichiers: Un premier dans lequel ils stockent des données dans l'ordre chronologique,

77

un deuxième dans lequel ils conservent des dossiers d'analyse ou des notes de journal, un troisième dans lequel ils prennent des notes pertinentes sur la méthodologie de recherche, et un quatrième qui contient une copie de toutes les notes. L'analyse des données devrait découler des questions d'évaluation. Le choix de l'organisation des données doit s'efforcer de répondre aux questions d'évaluation.

L’approche narrative consiste à présenter les données chronologiquement (racontant l'histoire du début à la fin) ou comme un retour en arrière (à partir de la fin et ensuite travailler en arrière pour décrire la façon dont la fin est apparu).

• L’ approche par études de cas consiste à présenter des informations sur les personnes ou les groupes. Les incidents critiques sont généralement présentés par ordre d'apparition.

• Les cadres analytiques comprennent des descriptions de processus, l'éclairage des questions clés (souvent équivalentes aux questions d'évaluation primaires), l'organisation de questions et de discussion des concepts clés, tels que le leadership par rapport aux suiveurs.

(Patton 2002) Lecture et de codification des données qualitatives L’identification et le classement en catégories sont les premières étapes à suivre pour organiser les informations, La deuxième étape est la lecture des données Après plusieurs lectures, l'évaluateur devrait commencer à identifier les thèmes possibles, Patton (2002) : ‘’Venir avec les la plupart des thèmes centraux est comme construire un index pour un livre ou des étiquettes pour un système de classement. Cela suggère que les évaluateurs regardent ce qui est là et donnent à chaque sujet un nom ou une étiquette. Une fois que les données ont été organisées en thèmes, elles doivent être codés (boîte 10.1).’’ Miles and Huberman (1994) : Les "codes" sont des dispositifs efficaces d'étiquetage et de récupération de données. Ils permettent d’autonomiser (responsabiliser) et d'accélérer l'analyse " Processus itératif de codification La codification est un processus itératif. La création d'une liste de codes avant que le travail surle terrain commence est utile. Examiner, réviser, redéfinir, ajouter et parfois écarter des codes, lorsque les notes de terrain suggèrent des codes plus basés sur l’empirie. Analyse de contenu (ou analyse des données qualitatives)

• Identifier certains mots ou concepts dans les texte ou les discours (dont le but est d’identifier et résumer les messages cachés dans les données).

• L’analyse de contenu peut être : Une analyse conceptuelle: consistant à regarder la fréquence d’apparition des

mots. Ce processus suppose que les mots et les phrases les plus souvent mentionnés sont ceux qui reflètent les préoccupations importantes)

Une analyse relationelle : Elle regarde au-delà des fréquences de mots Elle explore les relations entre les concepts

78

Exemple (d’après Narayan 1996) Utilisation de l'analyse de contenu pour identifier les avantages perçus de pompes à main. Pour savoir comment les villageois perçoivent l'utilisation de pompes à main pour le pompage de l'eau, les évaluateurs interrogent 100 villageois. Ils analysent les résultats selon le processus suivant :

1. Lire tous les réponses, et notez chaque réponse. 2. Choisir les réponses les plus fréquentes, et décrire brièvement chacune. Regrouper chaque réponse sous une catégorie. Si, par exemple, les réponses sont «pompes à main sont beaucoup plus faciles à utiliser» et «l'eau est toujours propre et la pompe n'est jamais en panne," l'évaluateur pourrait identifier les catégories suivantes: facilité d'utilisation, la fourniture d'eau potable, fiabilité. 3. Assurez-vous que toutes les catégories sont mutuellement exclusives et que les codeurs pourront classifier toutes réponses dans les catégories définies. 4. Terminez la procédure de codage. 5. Mesurer les fréquences pour chaque réponse.

Aide informatique pour l'analyse des données qualitatives

• Des progiciels pour vous aider à organiser les données • Rechercher, organiser, classer et annoter des données textuelles et visuelles • Vous aide à visualiser les relations entre les données • Nécessaire lorsqu’on traite une grande quantité de données

Analyse manuelle des données qualitatives

• Matériel nécessaire: plusieurs marqueurs (couleurs différentes) une feuille pour chaque question d'évaluation les données, y compris les notes, les transcriptions et les enregistrements des

entrevues ou des groupes de discussion les outils de collecte de questionnaires auto-remplie, les formulaires

d'inscription, des observations ou des analyses de dossiers Codification manuelle des données

• Lire toutes les données soigneusement • Identifier des noms ou des étiquettes pour les sujets, les problèmes ou les

thèmes = les codes • Utilisation des codes pour classifier toutes les données

- Couper avec des ciseaux pour trier manuellement (copier en premier) - On peut utiliser un système de codification numérique - Les cartes d'index (post-it) peuvent être utiles

79

Exemple de feuille de travail pour l’analyse de données qualitatives

Organisation et interprétation des données qualitatives

• Développer des catégories • Coder les catégories • Vérifier la fiabilité (plus d'un observateur) • Analyser les données • Partager et examiner les informations • Rédiger le rapport

Triangulation et analyse La triangulation est l'utilisation d'au moins trois théories, sources, types d'informations, ou types d'analyse pour vérifier et justifier une évaluation par recoupement des résultats. La triangulation est utile dans l'analyse de données qualitatives. Considérons, par exemple, les informations provenant de sources mixtes de données: • interviews, groupes de discussion et questionnaires • des questionnaires, des données existantes, et groupes d’experts • observations, les registres des programmes, et la cartographie • des interviews, des journaux et des données existantes. Réflexions finales sur les données qualitatives

• La collecte des données qualitatives n'est pas une option facile - Travail intensif qui nécessite beaucoup de temps - Fiabilité des codeurs (signe de crédibilité), l’utilisation d’un schéma de codification est important

• Peut révéler des informations précieuses

80

3. DONNEES QUANTITATIVES: UTILISATION DES STATISTIQUES

• Les données quantitatives sont numériques et sont analysés à l’aide d’outils statistiques qui peuvent être:

– Des statistiques descriptives: sont utilisées pour décrire et analyser les données collectées sur une variable quantitative,

– Des statistiques déductives: sont utilisées avec des échantillons aléatoires de données en prédisant une gamme de valeurs de la population pour une variable quantitative (Une partie de la prédiction comprend une déclaration de la fiabilité qui indique la probabilité que la vraie valeur de la population se situe dans la plage de valeurs).

Codification des données quantitatives

• Les données sur les caractéristiques telles que la taille, le poids, l'âge et le nombre de jours d'absence de l'école n’ont pas besoin de codification parce qu’elles sont déjà numériques.

• D'autres types de données telles qu’identifier si ‘ un répondant a un compte en banque’ doivent être codifiés d pour pouvoir être analyser. Un évaluateur peut codifier les réponses à l'aide de 1 pour oui et 2 pour non.

• La codification permet de donner un sens à la manière dont les données sont traitées.

• Les données doivent être transformées en réponses numériques. Exemples:

– Oui codé 1; Non codé 2 – Données recueillies dans des rangs (ou catégories); aux rangs sont

attribués des numéros • Les codes doivent être placés dans un recueil de données.

Nettoyage des données

• Suppression des erreurs et des incohérences • Les sources communes

– Les données manquantes, les questions sans réponse, les fautes de frappe, les données mal formatées, les décalages de colonnes, les données fabriquées, les erreurs de codification, les erreurs de mesure et d'entrevue, les données erronées.

Les statistiques descriptives décrivent combien et quel pourcentage d’une distribution partagent une caractéristique particulière. Exemple de statistiques descriptives dans un tableau Combien d’hommes et de femmes ont participé au programme?

Tableau 11.5: Distribution des répondants par genre

Rédiger: des 300 personnes ayant participé au programme, 67% sont des femmes et 33% sont des hommes.

81

Distributions • Sont des mesures de la tendance centrale

– Dans quelle mesure les données sont similaires ? – exemple: Est-ce les âges des personnes dans ce groupe sont similaires?

• Mesures de la dispersion – Dans quelle mesureles données sont différentes – exemple: Qu’elle est la variation entre les âges?

Mesures de la tendance central

• Les 3-M – Mode: C’est la réponse la plus fréquente – Médiane: C’est le point central ou la valeur médiane dans la distribution – Moyenne: moyenne arithmétique

• Laquelle utiliser dépend de la nature des données à traiter. – Nominales, ordinales, intervalles / rapports

Donnée (ou variable) nominale

• Donnée de noms ou de catégories • Exemples:

– genre (homme, femme) – religion (Bouddhiste, Chrétien, Juif, Musulman) – pays d’origine (Birmanie, Chine, Ethiopie, Pérou) – le nom de la voiture (Peugeot, Mercédès, Toyota, Mazda) – une couleur (rouge, vert, jaune, bleu)

• Avec des données (ou variables) nominales, le mode est la meilleure mesure de la tendance centrale.

Donnée ordinale

• Les données (variables) ordinales sont des catégories qui sont naturellement ordonnées.

• Des données qui ont un ordre sans que la "distance" entre les réponses consécutives ne soit nécessairement la même

• Ne disposent pas de point ZERO • Exemple:

– Echelles d'opinion qui vont de «plus important» à «moins important» ou «fortement d'accord» à «fortement en désaccord»

• Avec les données (variables) ordinales, le mode ou la médiane sont les meilleures mesures de la tendance centrale.

Données (variables) d’intervalle / de ratio

• Les donnée (variables) d’intervalles sont similaires aux variables ordinales sauf que l’intervalle entre deux catégories à toujours la même valeur, la même signification.

• Les données sont des nombres réels avec point ZERO et peuvent être divisée et comparées avec d’autres données.

• Exemples: – Age, Salaire, Poids, Hauteur

• Avec les données d’intervalle / de ratio, on peut utiliser le mode, la médiane ou la moyenne comme meilleure mesure de la tendance centrale — le choix dépend de la distribution

82

– Pour des données normales, la moyenne est meilleure – Pour des données avec quelques scores élevés – ou – quelques scores

faibles, la médiane est meilleure. Calcul

• Mode : Le mode est la valeur la plus fréquente dans un échantillon. • Médiane : la médiane est un nombre qui divise en 2 parties la population de

telle sorte que chaque partie contient le même nombre de valeurs. • Moyenne : La moyenne arithmétique est la somme des valeurs de la variable

divisée par le nombre d’individus. Exemple de Données:

Calculs pour les données des % de la population urbaine

• Mode: 73, la Colombie et le Pérou ont 73 % de la population qui est urbaine, tous les autres pays ont des pourcentages différents

• Médiane: le nombre total d’observations est 8, avec les données dans l'ordre les deux scores intermédiaires sont 73 et 84. (73 + 84) ÷ 2 = 78.5

• Moyenne: (59+64+73+73+84+90+92+93) ÷8 = 78.5 Mesures de dispersion statistique

• Etendue – différence entre la valeur la plus élevée et la valeur la plus faible – simple à calculer, mais pas très utile

• L’écart-type – mesure de la dispersion des scores autour de la moyenne – mesure supérieure, elle permet à toutes les observations d'avoir un

impact sur sa valeur Exemple de calcul de l’étendue

• Score élevé – score bas = Etendue Dans l’exemple ci-dessus, l’étendue : 93 – 59 =34

83

Courbe Normale (En cloche ou Gaussiènne)

Ecart-type

Calcul de l’écart-type

• Le calcul nécessite beaucoup de temps lorsque la taille de la population (N) est grande.

• On peut utiliser des programmes statistiques tel SPSS ou Excel ou autre programme de tabulation

84

Lignes directrices pour l'analyse des résultats quantitatifs de l'enquête

Description de deux variables en même temps

• Exemple: Quel était le pourcentage des garçons et le pourcentage des filles dans les classes des travaux pratiques et les classes traditionnelles?

Utilisation du tableau croisé pour la présentation de deux variables Le tableau croisé est:

– Souvent présenté sous forme matricielle – Il présente deux ou plusieurs variables simultanément – Chaque cellule indique le pourcentage et le nombre de répondants – Les tableaux croisés sont utilisés lorsque vous travaillez avec des

données nominales et ordinales, ou lorsque vous avez classé des données d'intervalle / ratio.

85

Exemple de tableau croisé:

Variables

• Variable indépendante C’est un paramètre ou une caractéristique pouvant prendre au moins deux valeurs différentes dont la variation influence la valeur d'une ou de plusieurs autres variables, à savoir, les variables dépendantes. Exemple : Dans l'évaluation d'un cours de formation, les variables indépendantes pourraient inclure l'expérience des instructeurs, les origines des participants, le programme utilisé, la durée de la formation, la modalité utilisée, et ainsi de suite.

• Variable dépendante C’est la variable qu’on veut expliquer

Exemple: Pour un cours de formation, les variables dépendantes pourraient être les scores sur un test de connaissances, les notes sur une matrice de conception pour une évaluation, ou des modèles d'évaluation améliorés. Exemple: Compairson des moyennes - Variable dépendante : salaire annuel - Variable indépendante: genre

Mesure d’associations

• Permet de mesurer la force des relationsentre les variables. • Les mesures d'association (ou relation) sont rapportées dans un intervalle de -

1 à +1. Interprétation des relations

• Association parfaite: 1 ou –1 – Proche de 1 ou de –1: associations fortes – O,5 association moyenne/forte

• Proche de zéro: pas d’association

86

– 0,2 légère/ faible association Relation directe

• Signe plus (+) – Les deux variables changent dans la même direction

Exemple: lorsque la vitesse de conduite augmente, le taux de mortalité augmente. Relations inverses

• Signe moins (-) – Les deux variables changent mais dans des directions opposées

Exemple: lorsque l’âge augmente, l’état de santé se dégrade Statistiques déductives

• Utilisées pour analyser des données provenant d’échantillons sélectionnés au hasard.

• Un risque d’erreur existe parce que l’échantillon sélectionné peut être différent de la population dans son ensemble

• Avant de faire la déduction on doit d’abord estimer la probabilité de cette erreur.

Tests de significativité (ou crédibilité) statistique “En statistique, un résultat est dit statistiquement significatif lorsqu'il est improbable qu'il puisse être obtenu par un simple hasard ’’ Ces tests sont des outils qui permettent d’estimer la probabilité d’erreur des résultats statistiques. Significativité statistique

• Valeur de référence 5% – 0,05 niveau alpha ou valeur p

• Indique que: – Nous sommes à 95% sûr que les résultats de notre échantillon ne sont

pas dus à la chance. Ou bien – Les résultats sont statistiquement significatifs à un niveau de 0,05

• La plus part des rapports ne dépassent pas 0,05. Chi deux et test-t Chi deux

• Pas le plus puissant mais le plus populaire en statistique • Facile à calculer et à interpréter • Utilisé pour comparer deux ensembles de données nominales (ex: état

matrimonial et appartenance religieuse) • Utilisé pour comparer deux variables ordinales ou une combinaison de

variables nominales et ordinales Test-t

• Utilisé pour déterminer si un groupe de scores numériques est statistiquement supérieur ou inférieur à un autre groupe de scores

• Il compare les moyennes pour les groupes • Devient encombrant (lourd) pour comparer plus de trois groupes.

87

Lier les données qualitatives et les données quantitatives Est-ce que les données qualitatives, les données quantitatives et les méthodes associées devraient être liées lors de la conception de l'étude? - Comment? - Pourquoi? Les liens entre les données qualitatives et les données quantitatives permettent:

• La confirmation ou la corroboration – triangulation • Des détails plus riches • D’initier de nouvelles pistes de réflexion • D’élargir le champ

88

11. Evaluer des interventions complexes Complexes parce que ... Perspective globale de l'évaluation du développement

Evaluation de programme multinational Evaluation de programme national Evaluation de programme sectoriel Evaluation thématique

Le processus est complexe Méthodologiquement complexe Perspective théorique: désordonné ou chaotique –

intervention complexe Complexité de la perspective globale

• Réorientation de la focalisation sur l'expérience globale et l'impact d'un programme.

• Regard au-delà d'une intervention sur les effets de toutes/plusieurs interventions sur:

• un pays, une région, ou le monde dans leur ensemble • un secteur • un thème

• Généralement complexe avec l'attribution comme enjeu majeur. Stratégies pour l’évaluation de la perspective globale

1. Plusieurs personnes, de l’argent et une gestion importante 2. Rapports décalés – construire une approche modulaire avec rapport de

chapeautage 3. Appliquer la sélectivité

Stratégie 1: évaluation de la déclaration de Paris: phase II

• 27 évaluations de pays avec un cadre de référence commun pour toutes lesévaluations

• Complétées par des évaluations de 7 donateurs et organismes multilatéraux pour voir comment la Déclaration de Paris est reflétée dansles politiques, les stratégies et les procédures des organismes.

• En plus des études thématiques, p. ex. Evaluation des appuis statistiques au renforcement des capacités; contribution aux résultats du développement

• Audit indépendant de la qualité de l'évaluation Evaluation de la phase II de la déclaration de Paris: gestion importante

• Groupe de référence international qui fournit des orientations • Groupe de gestion plus petit avec une responsabilité de la surveillance • Un petit secrétariat pour la coordination • Chaque évaluation de pays menée par une équipe d’évaluation indépendante -

gérée par le pays • Équipe de synthèse

http://www.oecd.org/development/evaluation/dcdndep/48278402.pdf

89

Stratégie 2: évaluation de quatre équipements - Quatre rapports distincts publiés sur plusieurs années selon un cadre commun :

• Africa Project Development Facility • African Management Services Company • Mekong Private Sector Development Facility • Southeast Europe Enterprise Development Facility

- Suivi par: Une évaluation de synthèse de quatre équipements de petites et moyennes entreprises supportées par la Société Financière Internationale (SFI). Stratégie 3: sélectivité Réduire la portée:

• réduire les années couvertes • réduire la zone géographique • resserrer les critères pour exclure plus de cas … • projets sélectionnés au hasard ou intentionnellement

Evaluation des programmes de pays

Focus: programme d'aide de l'organisation dans son ensemble pour un pays sur une période de temps définie

Souvent très normative: la pertinence et la performance de ce qui a été fait par rapport à ce qui était prévu

- Examiner aussi bien les occasions manquées que les opportunités saisies Examiner non seulement comment les projets sont réalisés dans l'ensemble,

mais aussi la manière dont le pays a évolué durant la même période Utilise souvent les critères du CAD de l'OCDE Evalue la pertinence stratégique du programme d'assistance des pays (1) par

rapport à leurs besoins et priorités, et (2) par rapport aux priorités de l'organisation.

Identifie les succès et les échecs dans différents secteurs ou approches et identifie les facteurs qui contribuent à la performance.

Evalue approximativement l'efficacité de l'aide des donateurs pour un pays donné

Lignes directrices pour la préparation des évaluations du programme d'aide aux pays Groupe Indépendant d’Evaluation (IEG) de la Banque Asiatique de Développement http://www.adb.org/documents/guidelines-preparation-country-assistance-program-evaluation-reports Défis de l’évaluation des programmes de pays

Des objectifs cohérents du programme doivent être mis en place. Le financement d'un pays donné provient de nombreuses sources: il peut y

avoir de la confusion, des duplications inutiles, et des informations gardées (secrètes) pour chaque intervention

Sans une cartographie de l'aide dans le pays, il est difficile de savoir ce que les autres font et estimer leurs contributions.

Les responsables du programme et /ou le gouvernement peuvent avoir peur des conséquences de l'évaluation, ce qui est susceptible de menacer le moral et l'engagement

90

Recommandations pour l’évaluation des programmes de pays • Plus d’évaluations devraient être menées conjointement, avec la participation

active des bénéficiaires de l'aide et d'autres partenaires. • Les pays en développement devraient de plus en plus prendre l'initiative en

matière de planification, de coordination et de programmation des évaluations.

• Les pays en développement devraient être supportés pour renforcer leur capacité institutionnelle afin de lancer et diriger des évaluations conjointes.

• Meilleure coordination et partage des connaissances entre les différents partenaires au sein des pays bénéficiaires de l'aide. Des réseaux nationaux de S&E et les associations professionnelles doivent être construits et élargis.

Evaluations complexes: secteur

Couvrent un domaine spécifique (p. ex. éducation, santé, industrie, logement, transport) ou un sous-secteur.

Peu de standardisation avec un accent mis sur questions par rapport à la performance institutionnelle, aux processus, aux changements, et aux interrelations

Peu concerner un pays ou un groupe de pays Par exemple DARA (une organisation espagnole indépendante à but non

lucratif qui a pour objectif d’améliorer la qualité et l’efficacité de l’action humanitaire en faveur des populations vulnérables affectées par les conflits et les catastrophes naturelles) est en train d'évaluer le travail de la FAO en matière de réduction des risques de catastrophes en Asie-Pacifique, en Amérique Latine et aux Caraïbes (LAC) Évaluation qualitative avec une étude normative et une méta évaluation

de l'expérience de la FAO sur le terrain Travail sur le terrain dans quatre pays par région

Evaluation du rôle et de la contribution du PNUD dans l'environnement et l'énergie

• A évalué la pertinence, l'efficacité, l'efficience et la durabilité des activités du travail du PNUD dans les domaines de l'environnement et de l'énergie aux niveaux mondial, régional et national

• Axée principalement sur la période 2002-2007 • A évalué dans quelle mesure le PNUD est bien placé pour aller de l'avant • Méthodologie – basée sur les résultats

Analyse des politiques des stratégies et des priorités pertinentes Vue d'ensemble des activités programmées et non programmées

entreprises. • Evaluer la performance des activités au niveau mondial, régional et national • A évalué une sélection des domaines techniques essentiels: le changement climatique, l'énergie et la biodiversité, à tous les niveaux mentionés ci-dessus • A examiné les questions transversales de l'intégration et des partenariats • A mené des études de cas de 8 pays

Evaluations complexes: thématique

Evaluations transversales sur des problématiques telles que le genre, le réchauffement climatique, la gouvernance, la préparation aux catastrophes, la formation professionnelle, etc.

91

Plus probables d'être des évaluations d'impact avec des groupes de comparaison

Par exemple, l'impact des programmes de formation à l'emploi en Amérique latine. IDB (Banque Interaméricaine de Développement) Synthèse de 2 évaluations d'impact de programmes similaires dans 2

pays, 2 évaluations avec des modèles expérimentaux; une avec une expérience naturelle et 4 avec des conceptions non expérimentales

http://corinto.pucp.edu.pe/3cel/sites/corinto.pucp.edu.pe.3cel/files/docs/David%20Rosas%20y%20Pablo%20Irrabaran%20-%20IADB--Job_Training%20-%20sesion%203.pdf Mercy Corps: Evaluation de l'impact du changement climatique http://www.mercycorps.org/files/file1190410865.pdf Les évaluations complexes luttent souvent avec l’attribution John Mayne sur l'analyse de la contribution L'analyse de la contribution explore l'attribution par l'évaluation de la contribution d’un programme à des résultats observés. Elle vise à vérifier la théorie du changement sur laquelle est basée un programme et, en même temps, elle prend en considération l’influence des autres facteurs. La causalité est déduite des preuves suivantes: 1.Le programme est basé sur une théorie du changement raisonnée: les hypothèses sous-jacentes pour lesquelles le programme est censé marcher sont solides, plausibles, et acceptées par au moins quelques acteurs principaux. 2. Les activités du programme ont été mises en œuvre. 3. La théorie du changement est vérifiée par les faits: la chaîne de résultats escomptés s'est produite. 4. D'autres facteurs qui influent sur le programme ont été évalués et il a été prouvé soit qu’ils n’ont pas eu de contribution significative ou, s’ils ont en eu, que cette contribution relative a été reconnue Le processus est complexe: évaluations conjointes Les évaluations dans lesquelles participent différents bailleurs de fonds et / ou partenaires. - Bailleur de fonds + Bailleur de fonds - Bailleur de fonds + pays donateurs - Multi donateurs + multi partenaires - Partenaire + partenaire Evaluations conjointes: planification et gestion

• Prévoir suffisamment de temps au début du processus d'élaboration et s'entendre sur le processus et sur un cadre de référence

• Systèmes de gestion: • Simple: se réunir régulièrement, partager et tous sont également

impliqués, l’un est le chef. • Déléguer la gestion à une organisation, les autres examinent les

résultats clés. • Deux niveaux: comité de pilotage et petit groupe de gestion.

Accords pour les évaluations conjointes • Règles de base pour la gestion de l'évaluation • Termes de référence (TDR) pour l'équipe d'évaluation • Moyens de sélection de l'équipe d'évaluation

92

• Budgétisation, coûts et financement • Rapports concernant les résultats, y compris règles de divulgation

Complexité méthodologique: un défi

• Deux exemples fournis, mais beaucoup d'autres sont communs. • Souvent besoin d'être créatif dans la résolution.

Cas 1 du défi: manque de mesures de résultats communs Vous êtes amené à évaluer un programme national et vous trouvez qu'il manque des données communes sur un résultat essentiel parce que le programme est relativement nouveau pour mesurer les résultats et il y a un contrôle limité sur comment les fournisseurs de services collectent et stockent les informations. Que pourriez-vous faire? Stratégies pour le cas 1

Collaborer à l'élaboration d'un format commun pour le rapport Recoder les données du site dans un format commun Mener un sondage spécial pour obtenir des données à l'échelle nationale

Cas 2 du défi : les résultats souhaités sont rarement observés

Certains programmes sont créés pour répondre aux préoccupations nationales, telles que l’augmentation des taux de cancer ou la dégradation de l'environnement, qui opèrent sur un long laps de temps et qui ne peuvent être résolus rapidement.

Les changements des résultats escomptés à long terme sont peu susceptibles d'être observés au sein d'un cycle annuel de rapportage sur le rendement ou même, peut-être, dans le cadre d’une évaluation sur cinq ans.

D'autres programmes visent à prévenir ou à fournir une protection contre des événements qui sont très rares et, surtout, pas prévisibles, tels que les tempêtes ou les attaques terroristes, pour lesquels il est impossible de fixer des objectifs annuels ou à relativement court terme.

Stratégies pour le cas 2

Mesurer les effets du programme à court terme ou des objectifs intermédiaires à l’aide d’une théorie de changement bien articulée.

Évaluer la qualité du plan de gestion de la prévention (gestion du risque) d'un organisme;

Procéder à un examen complet d’après action ou des incidents critiques de tous les incidents qui se produisent

La complexité génère-t-elle un nouveau paradigme ? De la théorie Cynefin Science de la complexité Enquête narrative Dave Snowden, Cognitive-edge - Complexe contre ordonné et approches chaotiques - Non pas des histoires réconfortantes, mais des histoires fragmentées - Aucun intermédiaire - L'utilisation de SenseMaker pour montrer les modèles de grand volume de données évaluation de l'impact du programme /du projet (1) Une explication simple (02:59): http://www.youtube.com/watch?v=Miwb92eZaJg

93

(2) Présentation SenseMaker (6:59): http://www.youtube.com/watch?v=SkRe7Xg7pk4

Evaluation évolutive : M. Q. PATTON

Les situations complexes remettent en question les pratiques d'évaluation traditionnelles, spécialement les innovations sociales: On ne sait pas comment atteindre les résultats souhaités (grande

incertitude) Les parties prenantes clés ne s'entendent pas sur ce qu'il faut faire et

comment le faire De nombreux facteurs sont en interaction dans un environnement

dynamique qui sapent les efforts de contrôle, et rendent problématiques les prédictions et la conception de modèles statiques.

La complexité des concepts selon PATTON

Non-linéarité : Les petites actions peuvent produire de grandes réactions Emergence : Les tendances se dégagent de l'auto-organisation des agents en

interaction Adaptations dynamiques :Les éléments et agents en interaction réagissent et

s'adaptent mutuellement. Evaluation traditionnelle "Conception de l'évaluation basée sur un modèle linéaire de la causalité:

spécifie le lien entre les entrants et les activités / processus, puis entre les extrants, les résultats et les impacts"

"La causalité est modélisée, mise en hypothèse, prédite et ensuite testé" Evaluation évolutive "Conception de l'évaluation utilisant des systèmes pour cartographier la

dynamique des systèmes complexes et des interdépendances, puis suivre les interconnexions émergentes"

"La causalité est basée sur un modèle de détection (inférence à la meilleure explication), construite rétrospectivement à partir des observations"

94

Les évaluateurs du développement Aident les gens à exprimer leurs intuitions et leurs espoirs, à faire des tests de

vision dirigée et réaliste, à pister les réalités émergentes et en évolution, et « assurent une rétroaction sur les résultats significatifs en temps réel afin que l'épreuve de réalité facilite et soutient la dynamique de l'innovation. »

« Prêchons-nous par l'exemple? Sommes-nous fidèles à notre vision? S'agit-il de la réalité? Est-ce que nous relions la réalité à notre vision? Et comment le savons-nous ? Qu’observons-nous de différent et qui émerge ?»

PATTON "L'évaluation évolutive peut bien vous servir quand vous êtes dans une situation complexe et dynamique dans laquelle vous pensez que vous avez une solution, mais vous ne savez pas si cela va régler votre problème."

L'incertitude autour de la nouvelle conception et l'orientation du programme Nouveaux programmes et objectifs innovants Valeurs, principes et vision Aucune preuve formelle d'évaluation d'autres efforts sur ce qui vous attend,

pas de véritables données disponibles pour mesurer les concepts et les variables clés

Environnement complexe - contracté l'économie, environnement politique, organisation en évolution

«L’évaluateur fait partie de l'équipe de l'innovation Facilitateur et entraîneur (coach) d’apprentissage Apporte la pensée évaluative au groupe Partage et soutient les valeurs et visions des innovateurs Soutient le processus de rétroaction autour de ‘ce qui est en cours de

développement’» Commentaires de conclusion

Les évaluateurs de développement font face à un ensemble unique de facteurs économiques, politiques et sociaux complexes en s'efforçant de mener des programmes d’évaluation de haute qualité qui répondent aux besoins des divers intervenants

Les notions de base sont importantes quel que soit le niveau de complexité

95

12. Gérer une évaluation

• Gérer la matrice d’évaluation • Mandater l’évaluation • Rôles et responsabilités des différents acteurs, • Gérer des personnes, des tâches et des budgets

La matrice d’évaluation

• La clé pour réussir en évaluation c’est la planification • La matrice d’évaluation lie les questions d’évaluation descriptives et

normatives et d’impact • Aide à dresser systématiquement le plan de l'évaluation par un processus

itératif • Focalise l'attention sur chacune des composantes principales pour chaque

(sous-)question • Peut être adaptée

Mandater l’évaluation Si les ressources humaines ne sont pas disponibles au sein de l'organisation, il y a besoin d'embaucher une ou plusieurs autres personnes, pour aider dans la conduite de l'évaluation en entier ou uniquement certaines parties. Avantages:

• Le mandant peut avoir une connaissance approfondie du secteur ou des enjeux et de solides compétences en évaluation

• Le mandant peut parler la langue locale et avoir des connaissances locales Inconvénients :

• mandater peut être cher • peut être difficile de déterminer les capacités en évaluation • les capacités internes ne sont pas développées • Pas de mémoire institutionnelle

Etapes pour mandater un mandataire Options :

- Élaborer un appel à proposition et utiliser un Comité de sélection pour choisir la proposition gagnante (entreprises)

- développer les termes de référence (TdR) (personnalisés) Eléments de l’appel à proposition

• Le but de l'évaluation • Historique et contexte de l'étude • Les exigences clés en 'informations, y compris la portée de l'évaluation et

l’approche générale • Objectifs de l'évaluation • Définition des livrables et du calendrier • Critères de sélection des offres • Détails du contrat pour le gestionnaire de projet • Date limite pour la proposition • Budget et autres ressources à disposition

96

Processus de sélection – Sélectionner un panel qui comprend des personnes avec :

• de l’expérience et de la connaissance en évaluation • connaissance du domaine à évaluer • connaissance de la culture organisationnelle

- Sélectionner en utilisant les critères de l'appel d'offres – Gérer un processus équitable et transparent – Garder une trace du processus de sélection

Critères de sélection possible

• Liste de projets similaires effectués • Preuve que le mandataire a les compétences spécifiques demandées • Volonté d'utiliser la matrice d’évaluation • L’appel à proposition est adressé de manière adéquate • La qualité du modèle de la théorie du changement si demandé dans l’appel à

proposition • Explication détaillée de l'engagement en tempsdu chef de projet et des autres

membres du personnel engagés • Coût raisonnable et détaillé • Qualité des évaluations antérieures similaires (références)

Termes de référence (TdR)

• Souvent fait séparément [pas avec l’appel à proposition] • Les TdR décrivent l'évaluation et établissent les responsabilités et le calendrier

pour les livrables. • Souvent utilisés pour tous les membres d'une équipe d'évaluation, que ce soit

les consultants et / ou les membres de l'équipe interne. • Permettent à tous de comprendre les attentes et le contexte de l'évaluation.

Définition des termes de référence

• OCDE, Glossaire du CAD : TdR est un document écrit qui présente :

– le but et la portée de l'évaluation, – les méthodes à utiliser – Les normes selon lesquelles la performance sera évaluée et les analyses

conduites – Les ressources et le temps alloués – Les exigences en termes de reportage

Les TdRs contiennent généralement:

• Un court titre abrégé et la description de l'intervention • Le but de l'évaluation et l’approche générale • La théorie du changement (ou sinon elle doit être le premier livrable) • La portée, l’orientation, et le calendrier général de l'évaluation: les enjeux

initiaux et les questions qui doivent être adressées • Nature et étendue de l'implication des parties prenantes • Livrables et calendrier, y compris le processus d'examen: matrice d’évaluation,

plan de travail de l'évaluation, des rapports intermédiaires, rapport final, présentations

• les qualifications nécessaires de l’évaluateur ou de l’équipe

97

• Budget global pour le personnel et les déplacements Les bonnes pratiques du contrat (ou TdR) comprendra:

code de déontologie, demande d'analyse de la façon dont les interventions vont aborder les

questions de droits de l'homme, égalité entre les sexes, durabilité environnementale et sociale

TdR: liste de contrôle

• UNDP www.undp.org/eo/documents/erc/Evaluation_TOR_Description.doc

• UNEVAL: http://www.uneval.org/papersandpubs/documentdetail.jsp?doc_id=608

• UNICEF: www.unicef.org/evaluation/files/TechNote2_TOR.pdf

• CIDA: http://www.acdicida.gc.ca/INET/IMAGES.NSF/vLUImages/Performancereview4/$file/Tor_sample_text.pdf Responsabilités du gestionnaire du contrat/des TdR

• Fixer des objectifs clairs et réalistes. • Maintenir le contrôle l'étude. • Suivre les travaux et fournir une rétroaction en temps opportun. • Prendre des décisions réactives. • Disponibilité pour renégocier si la portée est élargie ou si des problèmes

imprévus surviennent. Rôles et responsabilités

Définir et se mettre d’accord sur qui est responsable de quoi et quand Qui a besoin que les rôles et les responsabilités soient définis:

◦ Principal client ◦ Principales parties prenantes ◦ Responsable de l'évaluation ◦ Evaluateurs

Client(s) principal (aux)

Rencontrer tôt le client principal pour discuter de: ◦ La nature et le contexte de la demande ◦ Le besoin, les enjeux ou l’intérêt qui ont mené à la demande

d'évaluation ◦ Les besoins en temps pour fournir les résultats de l'évaluation à un

moment opportun ◦ Les questions majeures auxquelles doit répondre l'évaluation ◦ Fréquence et calendrier de la communication

Principales parties prenantes

Les organisations ou individus représentant les personnes étant impliqués dans l'intervention

98

Peuvent être internes ou externes Responsabilités:

◦ identifier les problèmes et les questions à considérer dans l'évaluation ◦ dans les évaluations participatives, elles peuvent partager les

responsabilités pour la planification, la conduite et les rapports de l'évaluation

Rôle et responsabilité du gestionnaire de l’évaluation

Responsabilités détaillées dans trois domaines : ◦ Préparation ◦ Mise en œuvre ◦ Suivi

Capacités et compétences de l'évaluateur

Expertise dans le domaine spécifique Connaissance des enjeux clés du développement, en particulier ceux

concernant les principaux objectifs ou la capacité d’avoir une vue d’ensemble Familiarité avec les activités de l'organisation et la manière dont ces activités

sont conduites Compétences en évaluation dans la conception, la collecte et l’analyse des

données et la préparation de rapports Compétences dans l'utilisation des technologies de l'information

Gestion des ressources humaines

Les gens sont compliqués. Ce ne sont pas des machines. Leur comportement change de jour en jour.

Le gestionnaire est responsable de tout ce qui se passe dans son périmètre d’autorité.

Gestion des conflits

Compétences de communication ◦ Utilisez le «je» à la place de « nous »

Capacité d'écoute ◦ Confirmer que l'auditeur a bien compris l’orateur

La plupart des conflits constructifs finissent avec les deux parties "gagnantes" Compétences d’esprit d’équipe

Ecoute, questionnement, persuasion, respect, aide Brainstorming Schématisation conceptuelle

Gestion des tâches

Carte des tâches ◦ Les missions de chacun ◦ Dates de début et d'achèvement

Diagramme de Gantt ◦ Tableau montrant les interrelations des projets et des calendriers

99

Exemple de liste des tâches

Exemple de diagramme de gantt

Gestion des budgets

Salaires et avantages sociaux du personnel de l’évaluation Consultants Déplacements et per diem Communications (poste, téléphone, etc.) Impression et tirages Traitement des données Matériel imprimés Matériel et équipement

100

Sous-traitance Frais généraux (installations, services publics, etc.).

Processus de gestion de projet

Phase I: lancement

Les projets commencent par confirmer qu’il y a nécessité du projet Actions à entreprendre:

◦ Démontrer la nécessité du projet et sa faisabilité ◦ Obtenir l'autorisation pour le projet ◦ Obtenir l'autorisation pour la phase

Phase II: planification

Les gestionnaires passent la majorité de leur temps à planifier 13 actions dans cette phase Certaines étapes sont facultatives, tout dépend de la taille et de la portée du

projet. Actions de planification:

Décrire la portée du projet Définir et séquencer les activités du projet Estimer les durées des activités et les ressources nécessaires Développer un calendrier du projet Estimer les coûts Construire un budget et un plan des dépenses Créer un plan formel de la qualité Créer un plan de communication formel du projet Organiser et recruter du

personnel Identifier les risques et planifier comment y répondre Planifier et acquérir des ressources extérieures Organiser le plan du projet Clôturer la phase de planification du projet

Phase III: execution

Le gestionnaire s'assure que les tâches sont exécutées dans les délais prévus Mesures à prendre: Exécuter les activités du projet

Phase IV: contrôle

Le gestionnaire contrôle la portée, les personnes, les activités et l’argent… Action à entreprendre : contrôler les activités du projet

Phase V: clôture

Le gestionnaire finalise les activités et archives les informations Mesures à prendre: clôturer les activités du projet

101

CAROL WEISS: construction de l’utilisation de l’évaluation Quels sont les principaux utilisateurs prévus de l'évaluation? Quels sont les publics cibles de l'évaluation? Quels sont les groupes ou les individus les plus susceptibles d'être touchés par

l'évaluation? Quelles sont les personnes dont les actions et / ou décisions seront influencées

par leur engagement dans le processus d'évaluation ou les résultats de l'évaluation?

Comment les utilisateurs prévus de l'évaluation peuvent être impliqués? Quels sont les défis / obstacles auxquels vous pourriezfaire face lors de

l'identification et de l’implication des utilisateurs? Comment les surmonter? Une bonne évaluation

Répond aux besoins et exigences des parties prenantes Est pertinente et réaliste dans sa portée Utilise des méthodes appropriées Produit des données fiables, précises et valides Comprend une analyse appropriée et précise des données Présente des conclusions impartiales Présente clairement les résultats - sous forme orale ou écrite Est conforme aux normes professionnelles

Les six caractéristiques des évaluations de qualité selon KUŠEK et RIST

Impartialité Utilité Adéquation technique Participation des parties prenantes Rétroaction diffusion Rapport qualité-prix

Listes de contrôle de la qualité

Liste de contrôle clée de l'évaluation (Scriven) Liste de contrôle des programmes d’évaluation Méta-évaluation (Stufflebeam) Liste de contrôle de l’évaluation axée sur l’utilisation (Patton) Lignes directrices et liste de contrôle pour l'évaluation constructive (Guba &

Lincoln) Liste de contrôle de l’évaluation délibérative et démocratique (House & Lowe) Liste de contrôle des principes directeurs (Stufflebeam)

Examinateur externe Une personne ayant des compétences en ’évaluation ou sur le sujet évalué, qui n'est pas impliqué dans la conduite de l'évaluation, mais que vous pouvez invité comme conseiller, comme critique utile.

102

13. Présentation des résultats Élaborer une stratégie de communication Rédiger un rapport d’évaluation Présenter les informations visuellement Exposer oralement

But de la communication

L’objectif est de communiquer et non pas d’impressionner Facilitez la compréhension de votre lecteur Gardez à l’esprit votre objectif et votre public

Communiquer pour avoir de l’effet

Le but de mener une évaluation est que les résultats puissent fournir des informations menant à:

o L’élaboration de la politique o Changements dans le programme

Reproduction du programme Une bonne communication commence au tout début de l’évaluation et

continue tout au long de l'évaluation Stratégie de communication

• Développer une stratégie de communication avant le début de l’évaluation • La stratégie doit identifier:

– Qui a besoin de recevoir les informations? – Quelles sont les informations nécessaires? – Quel format favorisé pour l’information? – Quand fournir l’information ? – Qui se charge de la communication?

• Plusieurs éléments seront nécessaires pour bien communiquer Stratégies pour toutes les phases

Avant l’évaluation o S’assurer que tout le monde est impliqué

Durant l’évaluation o Garder tout le monde informé de la progression o Pas de surprises

Après l’évaluation o Diffuser les résultats, prendre des décisions

Quels types de communication?

La discussion informelle =: o Directement avec les personnes o Par téléphone o Par email o Par fax o Publier sur les sites de réseaux sociaux

103

Communication formelle: o Briefings o Présentations o Communiqué de presse o Site web o Rapports écrits o Conférence de presse o Vidéoconférence o Brochures

Exemple de liste de contrôle utile pour la stratégie

Réactions

Mettre en place un processus qui vise à réunir les parties prenantes ainsi que les évaluateurs pour discuter :

o Des résultats o Des idées o Des actions alternatives o Des étapes suivantes

Discussions élargies

Considérer l’ensemble des parties prenantes faisant parti de votre programme Identifier les défis dans la communication des résultats de l'évaluation aux

différentes parties prenantes Rencontre élargie— chacun sait ce que les autres savent

Stratégies de communication novatrices

Élaborer des outils de communication dont la création prend peu de temps : o Petite brochure d’aperçu afin de susciter l’intérêt o Brochure à trois plis avec un plan d’action pour la durabilité o Vidéoconference électronique o Site web avec des liens hypertexte vers les documents

Clés pour la rédaction d’un rapport • Gardez à l’esprit votre objectif et votre public

104

• Utilisez des mots : simples, efficaces, positifs, avec lesquels l’auditoire est familiarisé, culturellement sensibles

• Évitez les abréviations et les acronymes • Limitez les informations de base au nécessaire, mettez les informations

techniques en annexe • Fournissez assez d'informations à propos de vos méthodes de recherche pour

que les autres puissent juger de leur crédibilité • Rédigez un résumé exécutif • Organisez vos écrits autour de grands thèmes ou des questions de recherche • Mentionnez le point principal en premier. Commencez chaque paragraphe

avec votre point de vue. • Soutenez les conclusions et les recommandations avec des preuves • Placez en annexe les informations techniques, y compris la matrice de

conception et les instruments d'enquête. • Prenez le temps de bien réviser • Trouvez une personne pour une lecture à froid • Si possible, demandez à une personne externe, avec de l’expertise et des

connaissances en la matière, de revoir et vérifier la version finale. Le résumé exécutif

Donne un bref aperçu de l’étude: o Questions d’évaluation o Méthodologie utilisée o Résume les résultats, les conclusions et les recommandations

Doit constituer un document autonome Format du résumé exécutif:

o Le résumé exécutif doit être court: deux pages est l’idéal, plus que quatre pages, c’est trop.

o Mettre des titres à gauche de la page pour faciliter aux lecteurs la consultation du rapport.

Le contenu du résumé exécutif : o Un bref aperçu ou un paragraphe d’introduction o Description de l’évaluation o Informations de base o Résumé des principaux résultats o Renvoyer les lecteurs vers le numéro de page où se trouve l’information

dans le rapport o Principales conclusions et recommandations

Le contenu du rapport

1. Introduction 2. Description de l’évaluation 3. Résultats 4. Conclusions 5. Recommandations

1. Introduction

Doit contenir: Des éléments qui attirent l’attention du lecteur Les objectifs de l’évaluation

105

Informations de base Les buts et les objectifs du programme en utilisant le modèle de la

théorie du changement Questions de l’évaluation Doit être rédigée de façon à attirer l’attention du lecteur

2. Description de l’évaluation But de l’évaluation Portée de l’évaluation Questions de l’évaluation Méthodologie et stratégie d’analyse Limites de la méthodologie Personnes impliquées et durée de leur implication

3. Résultats Présenter les données de sorte que l’auditoire puisse comprendre de

manière claire N’indiquer que les résultats importants Organiser les résultats autour des questions de l’étude et des

principaux thèmes Utilisez des schémas, tableaux et graphiques pour faire ressortir les

principaux points 4. Conclusions

La dernière partie de votre rapport Les conclusions :

o Sont reliées à vos questions de recherche et à l’objet central de l’évaluation

o Sont basées sur les résultats et soulignent ce que signifie le rapport o N’ajoutent aucun nouveau détail

5. Recommandations Les recommandations répondent à la question suivante:

o Que voulez-vous que le lecteur fasse? Les recommandations doivent être :

o Basées sur les conclusions o Claires et spécifiques, identifiant qui doit faire quoi et quand

Raisons d’utiliser des graphiques

Ajoutent de l’intérêt Transmettent des informations plus clairement qu’un texte Attirent l’attention du lecteur sur des points particuliers Augmentent l’impact du rapport d’évaluation

Caractéristiques d’un bon graphique Simple Communique sans avoir besoin de texte Facile à reproduire Adapté à la culture Les tendances peuvent être distinguées Clairement identifié Titré et numéroté de façon cohérente Source fournie Rappelé dans le texte

106

Placé correctement dans le texte Permission de l’utiliser (si nécessaire)

Types de visuels Illustrations

Cartes, croquis, dessins et photos Schémas et graphiques Diagramme d’organisation, diagramme de Gantt, graphes

Tableaux Tableaux de données, tableaux de classification (matrices)

Illustrations

Une image vaut mille mots Conclusions des recherches sur l'utilisation des images et illustrations :

o Lorsque les illustrations sont pertinentes en rapport avec le contenu, des gains modérés à substantiels peuvent être attendus dans l’apprentissage

o Lorsque les illustrations ne sont pas pertinentes en rapport avec le contenu, il n’y a pas de gain dans l’apprentissage et cela peut même créer des confusions

Relier le récit à l’illustration

Si vous utilisez une image ou une illustration, assurez-vous d’utiliser le texte du rapport pour dire à votre auditoire ce qu'il est censé voir dans l’image.

Dirigez-le vers la photo et précisez-lui ce qu'il est censé y chercher Graphiques efficaces

• Facile à lire – Utiliser les majuscules et les minuscules (pas tout en majuscules) – Peu de polices de caractères

• Inclure le message dans le titre • Éviter les motifs trop chargés • Utiliser des espaces blancs • Utiliser des graphiques simples • Garder des échelles réalistes (proportionnelles) • Utiliser le titre pour transmettre un message • Placer les données supplémentaires en annexe

Les parties du graphique

Les graphiques doivent inclure: Un titre et un numéro La source L’année de collecte des données Les données par ordre chronologique Les données présentées en utilisant des définitions comparables

107

Le format des graphiques

Il ne doit pas y avoir de catégories qui se chevauchent Les motifs et les textures doivent être clairs même lorsqu’ils sont photocopiés Les motifs doivent être clairement identifiés en utilisant une légende Ne rajoutez pas de ligne ou des motifs supplémentaires (seulement ce qui est

nécessaire) Évitez la couleur noire car il est difficile de la reproduire fidèlement Ne pas utiliser une police de caractère de moins de 10 points

Les graphiques en courbe

Une façon de résumer comment deux éléments d'information sont liés et comment ils varient

Montrent les changements des données au fil du temps Montrent un intervalle continu de données ou des ratios de données

108

Exemple de graphique en courbe: 1. une courbe

2. courbes multiples

Les histogrammes

Utiliser les histogrammes pour représenter les quantités et comparer les nombres

Les types d’histogrammes o Simple: des informations sur une variable unique o Multiple: des informations sur plusieurs variables

109

Exemple d’histogramme multiple

Les diagrammes en secteurs Servent à représenter des proportions de divers éléments qui forment un tout

Exemple:

110

Le graphique en nuage de points Ressemble à un graphique en courbe sauf que les coordonnées ne sont pas

reliées par des lignes Utilisé pour savoir s’il y a une relation

Quand utiliser les différents graphiques

Tableaux

Servent à présenter les informations de façon organisée Types:

o tableau de données o tableau de classification (matrice)

Les tableaux de données Servent à présenter des informations numériques Décrire dans le rapport ce qu’on doit rechercher dans le tableau des données Inclure l’année et la source

111

Les principes des tableaux de données Arrondir le nombre à pas plus de deux chiffres significatifs après la virgule. Il

est recommandé d’utiliser des nombres entiers. Donner les moyennes des lignes et des colonnes (selon le besoin) pour aider le

lecteur à faire des comparaisons Placer les comparaisons les plus importantes dans les colonnes Trop de lignes rend la lecture difficile

Exemple de tableau de données

Les tableaux de classification (matrice)

Une disposition montrant comment une liste de choses a été organisée en fonction de différents facteurs

Peuvent aider à illustrer une information complexe Exemple :

112

La conception des informations visuelles par Edward Tufte Edward Rolf Tufte, né en 1942 (Kansas City, Missouri, États-Unis) est un professeur de statistiques, d'informatique, de design de l'information et d'économie politique à l'Université Yale. Il a été décrit par le New York Times comme le « Léonard de Vinci des données ». En 1975, le doyen de la Woodrow Wilson School de l'université de Princeton demande à Edward Tufte d'assurer un cours de statistiques pour des journalistes venus se former à l'économie à l'université. C'est à ce moment que Tufte commence à réfléchir aux représentations graphiques les plus pertinentes et qu'il commence la rédaction de ce qui est devenu par la suite The Visual Display of Quantitative Information.

Attirer l’attention sur l'essentiel des données et rien d’autre Moins de détails dans la grille, lignes, étiquettes détaillées Écrire plus sur les données réelles Éviter les décorations inutiles

Un mauvais exemple

Un meilleur exemple

113

Faire une présentation orale: planifier en fonction de votre audience Se poser ces questions:

o Quel est votre public? o Quelles sont ses attentes ? o De quoi voulez-vous parler?

Quelles sont les trois choses que vous voulez que votre auditoire se rappelle?

o De combien de temps disposez-vous? o Quelles sont les ressources disponibles dans la salle pour exposer:

diapositives, transparents, PowerPoint, affiches ? Préparer votre exposé

Gardez toujours à l’esprit votre public Une règle simple pour les présentations:

o Annoncez-lui ce que vous allez lui dire o Dites-le lui o Redites-le lui ce que vous venez de lui dire

Utiliser l’aide visuelle

Effectuer des améliorations visuelles pour aider à communiquer Pensez à faire des copies de certaines données ou visuels pour le public Avoir un plan de secours en cas de panne électrique ou de défaillance d’un

équipement (projecteur, ordinateur) Avoir quelques documents bien choisis pour vous aider

Conception de la documentation et des diapositives

Utiliser peu de mots Utiliser des éléments visuels clairs Utiliser beaucoup d’espace blanc

o La norme est de ne pas dépasser huit lignes de texte pour chaque diapositive

L’auditoire est là pour écouter, vous n’avez pas à tout mettre dans la documentation et les diapositives

La documentation doit-elle être distribuée avant ou après l’exposé ? o Les gens ont tendance à voir plus loin dans l’exposé, vous risquez de

perdre l'attention de votre auditoire o Si vous présentez des données et des tableaux complexes, distribuez-les

tableaux lorsque vous en parlez Si vous faites des copies des diapositives, en mettre uniquement deux par page

Faire des simulations

S'entraîner à présenter tout seul Ensuite devant une ou plusieurs personnes Tirer profit de l'aide et des observations des autres Adaptez votre exposé selon ce que vous ressentez et ce que disent les autres Maîtrisez votre temps pendant l’exercice Parlez à l’auditoire et non à vos notes et essayez de garder un contact visuel

114

14. Guide de l’évaluateur: éthique, politique, critères et principes directeurs

de l’évaluation Comportement éthique La politique et l’évaluation Les critères (normes) et les principes directeurs de

l’évaluation Éthique

Un ensemble de valeurs et de croyances qui orientent nos choix L’éthique est complexe, aucune norme ni loi ne peut cerner toutes les

situations que l'on peut rencontrer Un comportement peut être légal, mais immoral

La corruptibilité de l’évaluation

Une volonté à déformer la réalité et faire passer des résultats positifs Intrusion d’avis non fondés à cause d’un travail bâclé et de pratiques

capricieuses et non professionnelles Des résultats de l’évaluation plus nuancés en conséquence d’aprioris ou de

notions Des incitations aux clients et aux participants Le non-respect des engagements

Les illusions de l’évaluation

Clientélisme Contractualisme Méthodologisme Relativisme Pluralisme/élitisme

Identifier les problèmes éthiques - l'enquête de l’American Evaluation Association(AEA) Le client…

• A déjà décidé de «ce qui devrait être » • Écarte certaines questions de l’évaluation • Modifie, élimine volontairement ou ignore certains résultats • Met la pression sur l’évaluateur pour changer la présentation des résultats • Met la pression sur l’évaluateur pour qu’il viole l’obligation de confidentialité • Fait mauvais usage des résultats

L’évaluateur…

• Néglige volontairement des acteurs légitimes du processus de planification • Découvre un comportement immoral, illégal ou dangereux • N’est pas sûr de sa capacité à être objectif et juste • Utilise les résultats comme preuve pour blâmer une personne

115

Les questions d’éthique Pour être utile, l’évaluation doit être honnête, objective et juste La différence entre une influence subtile et un pot-de-vin Ne pas nuire La politique peut saper l'intégrité d’une évaluation

Les causes des problèmes politiques

Trop de place à la subjectivité dans ces questions : Quel est le but de l’évaluation? Qu’est ce qui sera considéré comme succès ou comme échec ? Et alors? Comment sera utilisée l'information dans la prise de décision

ultérieure? Faiblesses techniques

Difficulté de se mettre d’accord sur ce qu’on peut mesurer, difficulté de se concentrer

Mesurer un seul niveau mais généraliser sur un autre Les faiblesses humaines

La mentalité du bien paraître et d’éviter les reproches Le phénomène de l'interprétation subjective de la réalité Les facteurs liés à la confiance

Jeux politiques par les personnes ciblées par l’évaluation

1. Au début Nier le besoin d’une évaluation Dire que l’évaluation prendra beaucoup de temps en plus de la charge

quotidienne de travail Affirmer que l’évaluation est une bonne chose, mais introduire des tactiques

dilatoires Chercher à nouer des relations personnelles avec l’évaluateur dans le but de

gagner sa confiance

2. Pendant la collecte des données Falsifier ou supprimer des informations qu’ils doivent fournir pour se faire

valoir Fournir à l’évaluateur un énorme volume d'informations de manière à lui

rendre la tâche difficile pour distinguer ce qui est pertinent de ce qui ne l'est pas (poudre aux yeux)

Lui fournir de nouvelles données à la fin de l’évaluation

3. Pendant l’interprétation Nier l’existence du problème Prétendre que l’évaluation présente des lacunes Minimiser l’importance du problème ou rendre d’autres personnes ou des

forces hors contrôle responsables du problème Affirmer que l’information n’est plus pertinente parce que les choses ont

changé depuis

116

Les jeux politiques des acteurs Similaires à ceux des personnes ciblées par l’évaluation Mauvaise exploitation des médias en critiquant, par exemple, l’organisation et

en prétendant qu’on aurait dû réaliser l’évaluation autrement Communiquer leurs propres conclusions, qui répondent à leur propre agenda

Les jeux politiques des évaluateurs

1. Pendant la conception Insister sur une évaluation quantitative (les statistiques ne mentent pas) Utiliser la devise «l'expert sait mieux». (les évaluateurs ne font pas confiance

aux personnes ciblées par l’évaluation)

2. Pendant la collecte des données Collecter des informations «officieusement» et utiliser ensuite ces

informations lors de la phase d’interprétation

3. Pendant l’interprétation Ne pas préciser ou ignorer les normes de mesure Appliquer des critères de prise de décision implicites Appliquer des valeurs implicites et des idéologies lors de l’interprétation des

données Ignorer ou bien minimiser l’importance de certains résultats de l’évaluation

Gérer le politique dans l’évaluation

Construire la confiance Prend du temps et nécessite plusieurs réunions Maintenir l’engagement de tout le monde pendant le processus; avoir et

utiliser un plan de communication Construire des modèles

Toutes les parties prenantes comprennent la logique à la base, ce qui évite les malentendus

Solliciter la contribution pour les questions de l’évaluation Partager les conceptions de l’évaluation

Concilier les intérêts des différentes parties prenantes par la négociation

Reconnaître la nature politique Valoriser les contributions multiples des différents acteurs Évaluer les positions des parties prenantes S’assurer que l’évaluateur joue un rôle important au sein de la communauté

des intervenants Développer des compétences en négociation Développer des compétences pour gérer les conflits

Négocier l’évaluation

Première phase Mettre les différentes positions sur la table

Phase intermédiaire Négociation active

Dernière phase Des mesures sont prises afin d’atteindre un consensus

La négociation active

117

Empathie Habilité à voir le monde à travers les yeux de l’autre Exprimer de l’empathie pour la personne (reformuler ce que vous avez

entendu) Confiance en soi

Capacité à s’exprimer et défendre ses propres besoins, intérêts et positions

L’autorité du facilitateur Les normes et principes directeurs de l’AEA: deux codes de premier plan

Les normes d'évaluation de programme S’intéressent à la performance professionnelle

Les principes directeurs pour les évaluateurs S’intéressent aux valeurs professionnelles

Les catégories de normes d'évaluation des programmes

Principes directeurs pour évaluateurs

Enquête systématique Compétence Intégrité/honnêteté Respect des personnes Responsabilités pour le bien- être général et public

Autres normes et principes directeurs

Association Africaine d’Évaluation Société Australienne d’Évaluation Société Canadienne d’Évaluation Société Allemande pour l’Évaluation Association Italienne d’Évaluation Société Suisse d’Évaluation Société d’Évaluation de Grande Bretagne

118

Le code d'éthique de l’ONU Intentionnalité

Utilité Nécessité

Les obligations de l’évaluateur Indépendance Impartialité Crédibilité Conflits d'intérêts Intégrité et honnêteté Reddition de comptes

Obligations envers les participants Respect de la dignité et de la diversité Droits Confidentialité Prévention des préjudices

Processus et produit Précision, exhaustivité, fiabilité Transparence Élaboration de rapport Omissions et fautes

Les normes éthiques des Nations Unies

Les évaluateurs: Devraient être sensibles aux croyances, aux mœurs et aux coutumes et

agir avec intégrité et honnêteté dans leurs relations avec tous les acteurs et partenaires .

Devraient s'assurer que leurs contacts avec des individus sont caractérisés par le même respect avec lequel ils veulent être respectés.

Devraient protéger l'anonymat et la confidentialité auxquels ont droit les personnes qui les renseignent.

Sont responsables de leur performance et de leurs produits Les normes du CAD (Comité d’Aide au Développement) OCDE

Normes pour une évaluation de qualité Finalisées en 2010 Partie 1.3 – Éthique de l’évaluation Partie 3.2 – Indépendence, accès et conflit d'intérêts Partie 3.3 – Droits et bien-être des participants Partie 3.14 – Divergences d'opinion au sein de l'équipe d'évaluation

Conflit d'intérêts

Principal problème menaçant la crédibilité des évaluateurs Les évaluateurs doivent attester pour chaque évaluation, s’ils ne se trouvent

pas en situation de conflit d'intérêts

119

ANNEXES

1. Liste des membres du CDRT ayant traduit les modules

Prénom et Nom Qualité Modules traduits Brahim Badri Statisticien Economiste 1, 2, 4, 6 et 7 Abdelkader Outzoughit Professeur Universitaire 3 Hassan Hamdi Professeur Universitaire 3 et 5 Abdeljalil Gouzrou Ingénieur en Hydraulique 8 et 9 Hamid Kaddami Professeur Universitaire 10 Fatima Arib Professeur Universitaire 11 et 12 Rachid Hakkou Professeur Universitaire 13 et 14

120

2. Echange d’emails avec Mme LINDA Morra Imas Dear Linda, First of all, Noura and I thank you very much for your help and commitment to us during the IPDET 2014 in Ottawa. May 2015 bring peace, health, happiness and success to you and the people you love. You are welcome to Marrakech whenever you want. Our NGO, the Tensift Regional Centre of Development is a non for-profit organization involved in building capacities in evaluation for leaders of local NGOs and government staff in the Marrakesh region (Morocco). After our participation in IPDET (2014) at Carleton University, we organised two sessions for volunteering professors interested in evaluation. Now, we have just finished translating the fourteen modules of the main course that you and Ray C. Rist wrote. We also plan to organize a seminar on regional evaluation in early 2015 to celebrate the international year on evaluation. We ask you to allow us to publish these fourteen modules in French and Arabic. We will give it for free to all consuls and leaders of the local NGOs. Best regards, Ahmed/Noura Greetings Noura and Ahmed! Great to hear from you and am absolutely amazed at the work you have done. I am assuming that you have translated the IPDET PowerPoint presentations into French and Arabic. Is that correct? If so, I am pleased to give my permission to publish the 14 modules in French and Arabic as long as (i) the translations will be given free of charge, (ii) IPDET is acknowledged as the source on each slide, and (iii) you send me a copy of the translations for our files. You may be interested in knowing that the Road to Results itself has been translated into Arabic with the help of EREN and the Ministry of Planning, Jordan. I have not yet received copies, but it should be out soon. Warm regards and best wishes for 2015, Linda Linda-MorraImas.