rapport de stagearchives.enap.ca/bibliotheques/2013/11/030584209.pdf · 2013-11-14 · stage. il...

16
RAPPORT DE STAGE MANDAT RÉALISÉ DELA DIRECTION DES SERVICES D'ÉVALUATION DU PATRIMOINE CANADIEN PRÉSENTÉ PAR IGOR STRATICIUC vue la en administration publique Option pour analystes de Gatineau Mars, 2013

Upload: others

Post on 30-Dec-2019

0 views

Category:

Documents


0 download

TRANSCRIPT

Page 1: RAPPORT DE STAGEarchives.enap.ca/bibliotheques/2013/11/030584209.pdf · 2013-11-14 · stage. Il est important de mentionner que ce rapport ne contiendra pas en annexes les livrables

RAPPORT DE STAGE

MANDAT RÉALISÉ DELA

DIRECTION DES SERVICES D'ÉVALUATION

DU PATRIMOINE CANADIEN

PRÉSENTÉ PAR

IGOR STRATICIUC

vue la

en administration publique

Option pour analystes

de

Gatineau

Mars, 2013

Page 2: RAPPORT DE STAGEarchives.enap.ca/bibliotheques/2013/11/030584209.pdf · 2013-11-14 · stage. Il est important de mentionner que ce rapport ne contiendra pas en annexes les livrables

Table des matières

Remerciements ... ..3

1 . Introduction ..................................... . .. ............ 5

2. Description du mandat ............................ 6

Contexte organisationnel .... .. . .7 3.

4. Méthodologie ............................................... ................ ..... ........ ............................ .... .......................... 10

5. Résultats.......... ......... .. ..................... .. ....... .. ............. .. ...... .. ...... .......... ..... .... ............ ................. ...... .. 14

6. Conclusion ..... ........ .. ..... .. .............. ........ .. .. ...................... .... ...... ..... .......................... ..................... 15

7. Bibliographie ...... .......... ........................... .... ............ ...... ... .... .. ....... ..... ......................... ... ......... ...... .. ... 16

2

Page 3: RAPPORT DE STAGEarchives.enap.ca/bibliotheques/2013/11/030584209.pdf · 2013-11-14 · stage. Il est important de mentionner que ce rapport ne contiendra pas en annexes les livrables

Remerciements

à

évaluation

tout la

de mon

Mes sincères remerciements en particulier à Mme Joelle Mader, gestionnaire d'équipe

d'évaluation pour son soutien et la confiance dont elle m'a fait preuve tout en m'accompagnant

durant ce stage.

Je remercie profondément mon directeur de stage et professeur à l'ÉNAP, M. Filip Palda, d'avoir

bien voulu m'encadrer tout au long de mon stage. Les conseils et l'expérience de M. Palda m'ont

grandement aidé dans les différentes étapes du stage.

J'adresse aussi mes remerciements à l'École nationale d'administration publique pour

1 'expérience enrichissante dont elle m'a aidé à profiter par cette activité d'intégration propre à la

maîtrise en administration publique pour analystes.

3

Page 4: RAPPORT DE STAGEarchives.enap.ca/bibliotheques/2013/11/030584209.pdf · 2013-11-14 · stage. Il est important de mentionner que ce rapport ne contiendra pas en annexes les livrables

BDPVÉ

DGP

OSÉ

DSVA

ENAP

FCEC

FCFSA

FCIC

FCPA

PCH

SCT

LISTE DES ACRONYMES

Bureau du Dirigeant principal de la vérification et de l'évaluation

Direction de la gestion des pratiques

Direction des services d'évaluation

Direction des services de vérification et d'assurance

École Nationale d'administration publique

Fonds du Canada pour les espaces culturels

Fonds du Canada pour la formation dans le secteur des arts

Fonds du Canada pour l'investissement en culture

Fonds du Canada pour la présentation des arts

Ministère du Patrimoine canadien

Secrétariat du Conseil du Trésor

4

Page 5: RAPPORT DE STAGEarchives.enap.ca/bibliotheques/2013/11/030584209.pdf · 2013-11-14 · stage. Il est important de mentionner que ce rapport ne contiendra pas en annexes les livrables

1. Introduction

Les besoins des contribuables sont de plus en plus complexes et exigeants. Les Canadiennes et

les Canadiens veulent des services et des programmes de grande qualité, ainsi que 1' atteinte des

résultats attendus à un coût raisonnable. Dans ce contexte, le Secrétariat du Conseil du Trésor a

mis en place en 2009 une politique sur 1' évaluation qui définit les conditions associées aux

évaluations et à la mesure du rendement des programmes dans l'administration fédérale. Au

gouvernement du Canada 1, l'évaluation est la collecte et l'analyse systématique de données

probantes sur les résultats des programmes afin d'en juger la pertinence et le rendement et

d'examiner d'autres façons d'exécuter les programmes ou d'obtenir les mêmes résultats à un

moindre co('tt. En vertu de la Loi fédérale sur la responsabilité et de la Politique sur l'évaluation,

les ministères et organismes fédéraux doivent évaluer, sur une période de cinq ans, la totalité des

programmes de paiements de transfert, c'est-à-dire les programmes de subventions et

contributions.

Le ministère du Patrimoine canadien (PCH) joue un rôle central dans le soutien des activités

culturelles et communautaires au Canada. La Direction des services d'évaluation (DSÉ) permet

au Ministère du Patrimoine canadien de respecter ses obligations à l'égard de la Politique sur

1' évaluation.

L'École Nationale d'administration publique (ENAP) offre plusieurs programmes de 2-e cycle

en administration publique pour analystes , profil avec stage. Le programme de maîtrise en

évaluation de programmes a pour objectif de former des personnes destinées à travailler à titre

d'analyste ou de conseiller dans le domaine de l'évaluation de programmes . Le stage représente la

dernière étape de la maîtrise qui permet à l'étudiant de compléter l'activité d'intégration dans

une organisation reconnue. C'est dans ce contexte que la Direction des services d'évaluation du

PCH nous a offert une occasion de stage dans le but de mener efficacement son exercice

d'évaluation.

Le présent rapport de stage est un exposé écrit dans lequel nous rendons compte de la démarche

choisie afin de bien réaliser le mandat qui nous a été confié. Le rapport comprend entre autres la

description du mandat reçu, l'organisme d'accueil, la méthodologie suivie, les résultats et les

livrables produits .

1 Secrétariat du Conseil du Trésor. Politique sur l'évaluation, 2009

5

Page 6: RAPPORT DE STAGEarchives.enap.ca/bibliotheques/2013/11/030584209.pdf · 2013-11-14 · stage. Il est important de mentionner que ce rapport ne contiendra pas en annexes les livrables

Ce est en contexte est

l'introduction (premier chapitre). deuxième chapitre donne un aperçu sur le tel qu'il a

le

attentes qm ont été spécifiées et les tâches concrètes à exécuter lors du stage. Le troisième

chapitre présente le contexte organisationnel. Ce chapitre fournit des informations spécifiques

sur le Ministère du Patrimoine et la Direction des services d'évaluation au sein de laquelle le

stage a effectué. L'approche méthodologique utilisée dans notre stage sera traitée dans le

quatrième chapitre du rapport. Dans le chapitre cinq, l'emphase sera mise sur les résultats et les

livrables produits durant le stage. Le dernier chapitre résume nos conclusions et impressions du

stage.

Il est important de mentionner que ce rapport ne contiendra pas en annexes les livrables produits

durant le stage à cause de l'information sensible dans leur contenu.

2. Description du mandat

La principale composante du mandat consistait à appuyer l'équipe des services d'évaluation dans

la réalisation de projets d'évaluation qui se déroulaient entre septembre 2012 janvier 2013. Les

principales activités à accomplir touchaient la préparation et la conduite d'études et de

recherches à vocation évaluative.

Pour ses activ ités, la est de deux équipes d' Les équipes

d' évaluateurs ont pour mandat de conduire des évaluations et de travailler en collaboration avec

les gestionnaires de programme dans chacun des portefeuilles qui sont affectés afin que la

fonction d'évaluation soit bien intégrée dans les processus de gestion et de prise de décision de

Patrimoine canadien.

Mme Joclle Mader, qui a

stage.

Durant la période du

le début. nous avons été dans l'équipe d'évaluation gérée par

la formation pratique tout au long de notre

l'équipe d'évaluation de Mme Mader conduisait plusieurs projets

d'évaluation. Nous avons été affectés dans la conduite de deux projets d'évaluation liés aux arts

et à la culture :

• Fonds du Canada pour la formation dans le secteur arts (FCFSA);

• Évaluation groupée des Fonds du Canada pour les espaces culturels (FCEC); Fonds du

Canada pour la présentation des arts (FCP A); Fonds du Canada pour l'investissement en

culture (FCIC).

6

Page 7: RAPPORT DE STAGEarchives.enap.ca/bibliotheques/2013/11/030584209.pdf · 2013-11-14 · stage. Il est important de mentionner que ce rapport ne contiendra pas en annexes les livrables

Selon le mandat formulé , nous devions accomplir les tâches suivantes :

• Collecte et anal y se de données : revue documentaire, entrevues, étude de cas

• Fourniture des commentaires sur les documents préparés en fin d 'évaluation (ex.-cadre

d'évaluation, stratégies et devis d'évaluation, rapports techniques, guides d'entrevues,

etc.)

• Participation à la rédaction des rapports spécifiques d'évaluation (ex. rapports techniques

sur les méthodes de collecte de données).

Notre mandant a formulé aussi les livrables à fournir jusqu'à la fin du stage. Chaque projet

d'évaluation supposait la livraison d'un produit d'évaluation spécifique.

Le Fonds du Canada pour la formation dans Je secteur des arts avait comme extrant deux

diagrammes d'influence, crées à l'aide du logiciel Mind42. L'objectif de notre travail était de

comparer deux établissements de formation dans le secteur des arts : un établissement

subventionné par le programme et 1' autre non subventionné.

Pour le projet d'évaluation groupée des Fonds du Canada pour les espaces culturels (FCEC);

Fonds du Canada pour la présentation des arts (FCP A); Fonds du Canada pour 1' investissement

en culture (FCIC), le livrable représentait un rapport sur la revue documentaire, comme méthode

de collecte de données secondaires. Le rapport devait contenir en annexe une matrice, comme

outil de collecte de données, qui permettra de réunir et de catégoriser des éléments d'information

qui serviront plus tard à nourrir l'analyse et à justifier des constats et des observations.

3. Contexte organisationnel

Ce chapitre présente un petit survol sur l'organisme qui nous a accueillis durant notre stage. Pour

une meilleure compréhension du contexte organisationnel dans lequel se déroulait le stage, ce

chapitre portera sur Je rôle et les mandats du Patrimoine canadien, du Bureau du dirigeant

principal de la vérification et de l'évaluation et de la Direction des services d'évaluation.

Le ministère du Patrimoine canadien est chargé de développer des politiques et de mettre en

place des programmes qui aident tous les Canadiens à participer à la vie culturelle et civique de

leur collectivité. PCH a pour mission de favoriser un environnement dans lequel tous les

Canadiens profitent pleinement d'expériences culturelles dynamiques, célèbrent leur histoire et

leur patrimoine, et contribuent à bâtir des communautés créatives2. Le ministère s'acquitte de

2 Patrimoine canadien. Rapport sur les plans et priorités 2012-2013

7

Page 8: RAPPORT DE STAGEarchives.enap.ca/bibliotheques/2013/11/030584209.pdf · 2013-11-14 · stage. Il est important de mentionner que ce rapport ne contiendra pas en annexes les livrables

cette en et en mettant en oeuvre

d'auteur, aux investissements et à la radiodiffusion,

aux aux au aux au au

au

relatives

d'État et au protocole, et aux symboles canadiens3. Parmi les principales activités du Ministère,

mentionnons le financement d'organismes communautaires et d'autres organismes externes pour

promouvoir les avantages de la culture , du patrimoine, de l'identité et du sport auprès de la

population canadienne.

Le Ministère est composé de quatre grands secteurs et sept services corporatifs4.

Les secteurs et leurs directions générales :

Affaires culturelles

Citoyenneté et patrimoine

Sport, événements majeurs et régions

Politique stratégique, planification et affaires ministérielles

Les services corporatifs :

Communications

Gestion des ressources humaines et du milieu de travaîl

et

Bureau du dirigeant principal de la vérification et de l'évaluation

Services juridiques

Affaires du portefeuille

Secrétariat général

Le mandat du BDPVÉ5 est d'assurer au Ministère des serv1ces d 'évaluation, de vérification

indépendante, de gestion financière, de contrôles internes et d'atténuation des risques. Le

dirigeant principal de la vérification et de l'évaluation (DPVÉ) relève directement du sous­

ministre et est appuyé par une structure cornposée de trois directions : Direction des services de

3 Parlement du Canada. Loi sur le ministère du Patrimoine canadien. 1995

4 Patrimo ine canadien. ministérielle de développement durable 2012-20 3

5 Patrimoine Plan d'évaluation ministériel 2012-2013 à 2016-2017

8

Page 9: RAPPORT DE STAGEarchives.enap.ca/bibliotheques/2013/11/030584209.pdf · 2013-11-14 · stage. Il est important de mentionner que ce rapport ne contiendra pas en annexes les livrables

La

et d'assurance (DSVA),

pratiques (DGP).

est de

et la

interne à PCH.

indépendante des services de vérification et d'assurance, ainsi que des consultations connexes, en

vue d'ajouter de la valeur aux activités de PCH, et de les améliorer.

La DGP fournit un soutien et des conseils en matière de logistique et de contenu au Dirigeant

principal de la vérification et de l'évaluation (DPVE), ainsi qu'à la Direction des de

vérification et d'assurance (DSV A) et à la Direction des services d'évaluation (OSE), de même

qu'à la haute direction et aux partenaires ministériels.

La Direction des services d'évaluation (OSÉ) permet au Ministère de respecter ses obligations à

l'égard de la Loi fédérale sur la responsabilisation, de la Politique sur l'évaluation du Conseil du

Trésor, de la Directive sur la fonction d'évaluation et des Normes sur l'évaluation du

gouvemement du Canada, et de la Loi sur la gestion des finances publiques.

Conformément à la Directive sur la fonction d'évaluation du SCT6, la Direction des services

d'évaluation (OSE) examine des stratégies de mesure du rendement pour tous les nouveaux

prograrnmes et les programmes en cours, et elle offre aux gestionnaires du Ministère des conseils

à cet égard. La Directive7 prévoit qu'il incombe au gestionnaire de programme d'élaborer, de

mettre en œuvre et de surveiller la stratégie de mesure continue du rendement pour le

programme.

La Direction fournit aussi des conseils sur l'élaboration de 1' Architecture des activités de

programmes, du Cadre mesure rendement et des autres fonctions se rapportant au

rendement, selon les instructions des organismes centraux ou du sous-ministre.

OSÉ compte un total de 14 postes équivalents temps plein pour réaliser son mandat. Pour

conduire ses activités, la OSÉ est composée de deux équipes d' évaluateurs et d'une sous-équipe

sous la direction d'un directeur. Les équipes d' évaluateurs ont pour mandat de conduire des

évaluations et de travailler en collaboration avec les gestionnaires de programme dans chacun

6 Secrétariat du Conseil du Trésor. Directive sur la fonction d'évaluation, 2009

7 Idem

9

Page 10: RAPPORT DE STAGEarchives.enap.ca/bibliotheques/2013/11/030584209.pdf · 2013-11-14 · stage. Il est important de mentionner que ce rapport ne contiendra pas en annexes les livrables

des portefeuilles qui leur sont affectés afin que la fonction d'évaluation soit bien intégrée dans

les processus de gestion et de prise de décision de Patrimoine canadien. De plus, ils sont chargés

de revoir et de donner avis et conseils sur les principaux outils de la mesure de rendement des

programmes du ministère. Deux ressources sont directement affectées au développement

d'approches d'évaluation de la OSÉ.

4. Méthodologie

Le présent chapitre décrit 1' approche méthodologique retenue aux fins de réaliser notre mandat

de stage. Dans la première partie du chapitre, nous allons présenter le processus d' évaluation

chez PCH. La deuxième partie du chapitre sera consacrée aux méthodes et techniques

d'évaluation que nous avons utilisés durant notre stage.

Le processus d'évaluation à PCH se déroule en six phases principales : préparation et

planification; collecte de données; rédaction du rapport d'évaluation; approbation; clôture; suivi

des recommandations.

Dans le passé, la OSÉ faisait appel presque exclusivement à des experts-conseils de 1 ' extérieur

pour la conduite de la majorité de ses évaluations, alors que maintenant, le travail d'évaluation se

fait de plus en plus avec les ressources à l' interne, incluant le développement de cadres

d'évaluation et d'outils de collecte de données, la conduite d'entrevues, l'analyse de données et

la rédaction de rapports. La DSÉ travaille en étroite collaboration avec les programmes en

mettant sur pied des groupes de travail de 1' évaluation qu'elle préside et qui sont composés de

représentants des programmes. Les membres des groupes de travail fournissent des observations

et des conseils quant à l' approche à adopter à 1 ' égard de 1' évaluation, aux calendriers et aux

produits à livrer, p. ex., les projets de rapports . Cette approche axée sur la collaboration offre un

grand degré de ce1titude à 1' égard de la val idité et de la fiabilité des faits relevés dans le cadre

des évaluations ct permet aux gestiom1aires des programmes d' être informés bien à l'avance de

toute constatation susceptible de soulever des controverses ou des problèmes délicats.

Dans l' exécution des tâches spécifiques du mandat, nous avons utilisé une méthodologie mixte

ralliant les pratiques de collecte et d 'analyse de données en évaluation de programmes et celles

utilisées au sein de la Direction des services de 1 'évaluation du Patrimoine canadien. Nous avons

été impliqués directement dans les deux phases d'évaluation durant notre stage, soit la collecte

de données et la rédaction du rapport final cl' évaluation.

10

Page 11: RAPPORT DE STAGEarchives.enap.ca/bibliotheques/2013/11/030584209.pdf · 2013-11-14 · stage. Il est important de mentionner que ce rapport ne contiendra pas en annexes les livrables

Dans la réalisation du mandat, nous avons utilisé trois méthodes de collecte pour recueillir des

données qualitatives et quantitatives : des entrevues avec intervenants-clés des programmes;

revue documentaire et 1 'étude de cas.

L'utilisation des études des cas dans les projets d'évaluation est très répandue. Le grand avantage

de cette méthode consiste en utilisation d'un ou plusieurs exemples réels afin d'obtenir une

connaissance approfondie du sujet étudié et si possible d'en tirer des enseignements pour

l'ensemble de l'évaluation8. L'étude de cas permet d'observer une multitude de variables chez un

nombre réduit de sujets, qui permet de prendre en compte plusieurs facteurs de causalité

(influences). Dans le cadre de l'évaluation du Fonds du Canada pour la formation dans le secteur

des arts (FCFSA), notre étude de cas présente une analyse comparative des trois établissements

de formation dans le secteur de danse au Canada (deux établissements subventionnés par le

programme et un établissement non subventionné). Nous avons fait appel à un outil de

comparaison particulier, soit les diagrammes d'influences , parce qu'ils donnent une bonne idée

générale de la situation sous une forme facile à expliquer. En effet, un diagramme d'influence est

une méthode simple et visuelle pour décrire les relations entre différents types de variables . Dans

notre démarche méthodologique, nous avons dù identifier, dans un premier instant, les variables

pour notre étude. Celles-ci ont été choisies selon les questions d'évaluation. Ainsi, nous avons

retenu les variables suivantes pour les établissements analysés : les sources de financement, le

conseil d'administration, le corps professoral, les étudiants, le processus d'évaluation des

demandes de financement, les diplômés, l'impact national de l'établissement et les influences

potentielles . Après avoir choisi les variables, nous avons créé, à 1' aide du logiciel Mind42, des

diagrammes d'influence pour chaque établissement de formation analysée. Ensuite, on a utilisé

les variables afin de mesurer le rendement du programme.

Notre analyse s'appuyait sur deux sources de données: examen des dossiers administratifs

(demandes de financement, évaluations artistiques indépendantes, sondages annuels des

établissements financés) et des bases de données et des entrevues avec les intervenants-clés.

8 Benoit Gauthier, et coll. Recherche sociale · De la problématique à la collecte de données, 2008

11

Page 12: RAPPORT DE STAGEarchives.enap.ca/bibliotheques/2013/11/030584209.pdf · 2013-11-14 · stage. Il est important de mentionner que ce rapport ne contiendra pas en annexes les livrables

et l' d'étude cas, cette

comporte certaines limites . Notre étude cas s'est penchée sur l'anal y se de trois de

au et ne peuvent à

représentativité statistique de l'ensemble des établissements de formation artistiques. On avait un

biais de validité externe, puisqu'on ne pouvait pas généraliser les résultats de notre étude sur les

trois établissements analysés . Notre étude de cas comportait aussi un biais de validité interne,

parce qu'elle est beaucoup basée sur notre jugement et nous permettait juste rarement une

"'"'''U'-''11 statistique des données.

Pour le projet d'évaluation groupée des Fonds du Canada pour les espaces culturels (FCEC);

Fonds du Canada pour la présentation des arts (FCPA); Fonds du Canada pour l' investissernent

en culture (FCIC), nous avons été responsables de la revue documentaire, comme méthode de

collecte et d'analyse de données secondaires. L'objectif de la revue documentaire consistait

avant tout à permettre de se familiariser avec les FCP A, FCEC et FCIC, de camper les

programmes dans son contexte historique et actuel ains i que de documenter, dans la mesure du

possible, les réponses aux questions-clés de l'évaluation des programmes pour les

exercices 2007-2008 à 201 1

La technique utilisée lors la revue documentaire comme de

collecte de données, qui nous a permis de réunir et de catégoriser des éléments d'information qui

ont servi plus tard à nounir l'analyse et à justifier des constats et des observations dans la

rédaction du rapport technique de la revue documentaire.

Une centaine des ont aux de la revue documentaire. La

ces documents proviennent de Patrimoine canadien (anciens rapports d'évaluation de chaque

programme, rapports

des programmes, etc.).

La matrice

sur plans et priorités et sur le rendement, iignes directrices

de données et non un outil d'analyse. Nous avons

une séquence précise afin de compléter la matrice de collecte de données :

(a) trouver/consulter une source;

9 Secrétariat du Conseil du Trésor, Méthodes d'éval uation des programmes: mesures et attributions des résultats des

programmes

12

Page 13: RAPPORT DE STAGEarchives.enap.ca/bibliotheques/2013/11/030584209.pdf · 2013-11-14 · stage. Il est important de mentionner que ce rapport ne contiendra pas en annexes les livrables

(b) donner un numéro à la source et ajouter la référence à la liste apparaissant à la fin du modèle;

(c) signaler les renseignements intéressants (passages de document) au moyen de languettes

adhésives;

(d) déterminer les indicateurs correspondant à chaque information repérée (une information peut

s'appliquer à plusieurs indicateurs);

(e) copier-coller ou retaper les informations aux endroits appropriés du modèle;

(f) passer à la source suivante.

À mesure que la matrice se remplissait, elle est devenue lourde. Pour cette raison, nous avons

fractionné la matrice en trois sous-matrices par question d'évaluation (pertinence, efficacité et

efficience des programmes).

Une fois la collecte de données a été achevée, nous avons procédé à l'analyse des données et la

rédaction du rapport technique de la revue documentaire.

Une autre méthode de collecte de données utilisée lors de la réalisation de notre stage était les

entrevues auprès des intervenants clés. Cette méthode a été utilisée pour les deux projets

d'évaluation dans lesquels nous avons été affectées . Le but premier des entrevues était de vérifier

si la participation financière du gouvernement du Canada aux programmes évalués s'avère

toujours pertinente dans le contexte actuel ainsi que de recueillir les commentaires et impressions

des intervenants-clés au sujet des résultats des programmes, ainsi que des contraintes et défis

auxquels ces derniers sont confrontés.

Toutes les questions d'entrevue ont été consignées dans des guides d'entrevue qui ont été établis

pour chaque catégorie des intervenants-clés (les cadres de PCH, représentants provinciaux, les

experts en domaine des arts , récipiendaires de financement, des organismes dont le financement

a été refusé, etc.). Chaque question se rattachait à une ou plusieurs questions apparaissant dans la

matrice d'évaluation. Une lettre d'introduction était envoyée d'avance à chaque intervenant afin

de clarifier le mandat de l'équipe de l'évaluation de la DSÉ et le contexte général de

1 'évaluation.

Les entrevues se déroulaient, particulièrement par téléconférence. Les entrevues avec les

gestionnaires des programmes de PCH se déroulaient en personne. Dans les fins d'entrevues,

nous avons élaboré des grilles d'entrevues comme outil de collecte de données. Les entrevues

ont aussi été enregistrées afin de mieux capter les propos des intervenants clés .

13

Page 14: RAPPORT DE STAGEarchives.enap.ca/bibliotheques/2013/11/030584209.pdf · 2013-11-14 · stage. Il est important de mentionner que ce rapport ne contiendra pas en annexes les livrables

Résultats

ont été au

• sur l' le secteur

arts (FCFSA), qm contenait en annexe des diagrammes d'influence pour chaque

établissement.

• Rapport sur la revue documentaire, comme méthode de collecte de données secondaires

pour le projet d'évaluation groupée des Fonds du Canada pour les espaces culturels

(FCEC); Fonds du Canada pour la présentation des arts (FCPA); Fonds du Canada pour

l'investissement en culture (FCIC). Le rapport contenait en annexe une matrice

d'évidence, comme outil de collecte de données .

Nous avons appuyé durant notre stage la DSÉ dans la fourniture des commentaires sur les

documents préparés en fin d'évaluation (ex.-cadre d'évaluation, stratégies et devis d'évaluation,

rapports techniques, guides d'entrevues, etc.).

Dans ce contexte, nous avons fourni des commentaires sur le cadre d'évaluation et sur les guides

d'entrevues financés et non financés du Fonds du Canada pour la formation dans le secteur des

arts (FCFSA).

Nous avons nos sur tous rapports par le

consultant externe, soit rapport technique sur la revue documentaire et dossiers administratifs,

rapport sur les entrevues avec les intervenants clés, puis le rapport final de l'évaluation.

D'autres activités ont été réalisées durant notre stage, soit :

,. élaboration des grilles d'entrevues

>- traduction des guides d'entrevues

,. sur rapports techniques de la revue de du FCFSA

>- élaboration des questions pour les panels d'experts (projet d'évaluation groupée sur

arts).

14

Page 15: RAPPORT DE STAGEarchives.enap.ca/bibliotheques/2013/11/030584209.pdf · 2013-11-14 · stage. Il est important de mentionner que ce rapport ne contiendra pas en annexes les livrables

6. Conclusion

Cette expérience de 18 semaines passées au sein de la Direction des services d'évaluation du

PCH a été révélatrice à plus d'un titre. Le stage nous a permis de mieux comprendre l'univers

d'évaluation dans un organisme fédéral, de mettre en application des connaissances acquises à

l'ENAP, apprendre de nouvelles approches dans la planification des évaluations, soit calibration

et regroupement des programmes.

La calibration de projets d'évaluation est effectuée afin d'identifier l'approche la plus efficace

pour la conception et la méthodologie d'évaluation. L'exercice de calibration est fondé sur les

risques et d'autres critères pertinents. La décision de regrouper les programmes est prise après un

examen approfondi des éléments stratégiques communs entre les programmes: les buts et les

niveaux de maturité des programmes, les populations cibles, les parties prenantes, les partenaires

dans la livraison des programmes, les résultats immédiats, intermédiaires et à long terme, les

budgets , les types de gouvernance interne, les résultats de 1' analyse du risque associé à

l'évaluation ainsi que les engagements envers le Conseil du trésor en regard du renouvellement

des programmes et des évaluations.

Cette activité d'intégration a parfaitement répondu à mon souhait de découvrir le métier

d'analyste en évaluation de programmes. Elle m'a rassuré sur mon projet professionnel tout en

me confortant dans 1' idée de travailler au sein d'un organisme du gouvernement fédéral.

J'ai apprécié de ne pas être traité comme le stagiaire qui n'est là qu'un temps et d'être investi de

responsabiîités. Je pense avoir vraiment aidé et contribué aux activités de la Direction des

services d'évaluation du PCH.

15

Page 16: RAPPORT DE STAGEarchives.enap.ca/bibliotheques/2013/11/030584209.pdf · 2013-11-14 · stage. Il est important de mentionner que ce rapport ne contiendra pas en annexes les livrables

7. Bibliographie

1. Benoit Gauthier, et col l. Recherche sociale : De la problématique à la collecte de

données, 5e Edition, Presses de l'Université du Québec, 2008

2. Parlement du Canada, Loi sur le ministère du Patrimoine canadien, 1995 [en ligne],

http://lois-laws. justice.ec .ca/fra/lois/C-17 .3/TexteComplet.btml

3. Patrimoine canadien, Plan d'évaluation ministériel2012-2013 à 2016-2017, Juin 2012

4. Patrimoine canadien, Stratégie ministérielle de développement durable 2012-2013 [en

ligne], http:l/pch.gc.ca!pc-ch/publctn/sdcl-sds/20 12-13/inclex-fra.cfm

5. Patrimoine canadien, Rapport sur les plans et priorités 2012-2013 [en ligne] ,

http://www.tbs-sct.gc.ca/rpp/20 12-20 13/insl/pch/pchtb-fra.asp

6. Secrétariat elu Conseil du Trésor, Méthodes cl ' évaluation des programmes : mesures et

attributions des résultats des programmes, Pratiques cl' examen et cl' études , 3-eme Edition

7. Secrétariat du Conseil du Trésor, Politique sur l'évaluation, 2009 [en ligne],

http://www.tbs-sct.gc.ca/pol/cloc-fra.aspx?id= 12309

8. Secrétariat du Conseil du Trésor, Directive sur la fonction d'évaluation, 2009 [en ligne],

http://www .lbs-sct.gc.ca!pol/doc-fra.aspx ?id= 15681

9. Secrétariat elu Conseil elu Trésor, Normes d'évaluation pour le Gouvernement du Canada,

2009 1 en lignel, http://www.tbs-sct.gc.ca/pol/doc-fra.a~?id=l 5688

16