Vérification de la mesure du rendement

Bureau du dirigeant principal de la vérification et de l'évaluation
Direction des services de vérification et d'assurance

Novembre 2011

This publication is also available in English.

La présente publication est disponible sur demande en médias substituts.

Cette publication est disponible en formats PDF et HTML à l'adresse Internet suivante : http://www.pch.gc.ca/

Table des matières

Sommaire
1. Introduction et contexte
- 1.1 Autorisation du projet
- 1.2 Contexte
2. Objectifs
3. Portée
4. Approche et méthodologie
5. Constatations et recommandations
- 5.1 Gouvernance, contrôle interne et gestion des risques
  - 5.1.1 Promotion des pratiques
  - 5.1.2 Optimisation de l'utilisation des ressources d'analyse de données
  - 5.1.3 Processus manuels et systèmes distincts
Annexe A - Critères de vérification
Annexe B - Plan d'action de la direction

Sommaire

Introduction

Un processus de mesure du rendement comporte plusieurs éléments intégrés, dont l'établissement de mesures de rendement significatives, l'utilisation d'outils, de systèmes et de pratiques permettant d'appuyer la collecte de données sur le rendement et un processus visant à compiler, analyser et communiquer les données sur le rendement. En tant que ministère culturel du gouvernement du Canada fortement axé sur la prestation de programmes de subventions et de contributions, il est important pour le Ministère du Patrimoine canadien (PCH) d'avoir en place un processus efficace de mesure du rendement.

À cet égard, plusieurs initiatives de modernisation et de rationalisation des subventions et contributions sont en cours au sein du Ministère, notamment l'Initiative de modernisation des subventions et contributions et l'Initiative opérationnelle en ligne des S et C ainsi que des mises à niveau au Système de gestion de l'information sur les subventions et contributions.

La vérification¹ visait à permettre la formulation de recommandations à valeur ajoutée à la haute direction dans le but d'améliorer les processus et les systèmes de mesure du rendement du Ministère. Plus précisément, les objectifs de la vérification étaient les suivants :

Évaluer les outils de collecte de données, les rôles et les responsabilités à cet égard de même que les calendriers et les plans de collecte de données dont se servent les programmes de PCH, afin de déterminer les « pratiques exemplaires » que l'on peut échanger dans l'ensemble du Ministère.
Évaluer les pratiques établies dans l'ensemble des programmes de PCH en ce qui concerne le regroupement des données sur la mesure du rendement au niveau des programmes, la surveillance de la gestion à l'appui de l'intégrité des données, la capacité/les rôles et les compétences en rapport avec l'analyse des données, les outils de production de rapports et la manière dont les données regroupées sont examinées et utilisées par les gestionnaires.
Évaluer le nombre et la nature des « systèmes » d'appui établis dans les différents programmes du Ministère pour compiler les données sur la mesure du rendement, de façon à faire ressortir les économies de coût ou d'efficience que le Ministère pourrait réaliser.

La portée de la vérification incluait les programmes de S et C du Ministère répertoriés dans l'Architecture des activités de programme 2010-2011 de PCH. La vérification portait sur l'infrastructure sous-jacente de la mesure du rendement utilisée pour la collecte, la compilation et l'analyse des données. Il convient de souligner que la portée de la vérification ne comprenait pas une évaluation de la qualité ou de la pertinence des mesures de rendement du Ministère comme telles, ni une évaluation du processus d'élaboration du Rapport ministériel sur le rendement.

L'équipe de vérification reconnaît que l'un des fondements essentiels de la mesure du rendement des programmes est d'avoir en place les bonnes mesures du rendement. Elle reconnaît également qu'un certain nombre d'autres examens/études, qui ont été réalisés à PCH au cours des deux dernières années, se sont penchés sur divers aspects du processus de mesure du rendement du Ministère. À ce titre, la nature et la répartition dans le temps des mesures prises par la direction pour donner suite aux recommandations de la présente vérification, devraient être considérées de façon intégrée avec les initiatives courantes du Ministère en matière de modernisation de la mesure du rendement, ainsi qu'avec les mesures prises pour donner suite aux recommandations des examens/études antérieurs.

Principales constatations

Tout au long du travail sur le terrain, l'équipe de vérification a observé plusieurs exemples démontrant la bonne conception des contrôles et l'efficacité de leur mise en œuvre. Ce travail a donné lieu à plusieurs constatations positives, notamment :

Des efforts continus sont déployés pour moderniser le processus de S et C du Ministère au moyen d'initiatives comme l'Initiative de modernisation des subventions et contributions et l'Initiative opérationnelle en ligne des S et C.
Les programmes ont élaboré des outils de collecte de données et des systèmes de soutien pour appuyer la collecte et la compilation des données sur la mesure du rendement.
Des outils habilitants de processus sont en place comme des descriptions des rôles et responsabilités liés à la collecte de données, et des plans de travail pour la collecte de données comportant des exigences de haut niveau comme la fréquence de la collecte de données, les sources de données, etc.

L'équipe de vérification a également formulé les observations suivantes qui font ressortir les possibilités d'amélioration que PCH devrait envisager :

Dans le cadre de sa mission, l'équipe de vérification a constaté qu'il existe au Ministère diverses pratiques de mesure du rendement pouvant faire l'objet d'une promotion. Le Ministère tirerait avantage de processus officialisés visant à déterminer et à communiquer ces types de pratiques dans l'ensemble du Ministère de façon à permettre la définition et le partage élargis des pratiques des programmes de S et C de PCH.
Les ressources d'analyse de données sont un élément important du processus de mesure du rendement. Présentement dans le Ministère, il y a une capacité variée par lequel les programmes obtiennent les ressources nécessaires pour l'analyse de données. Il y a une possibilité pour le Ministère d'examiner d'autres modèles pour exploiter et partager les ressources limitées d'analyse de données afin que les programmes de S et C obtiennent le soutien et l'aide nécessaires de façon optimale.
Il y a divers outils de collecte de données sur la mesure du rendement en place dans l'ensemble des différents programmes de S et C du Ministère, qui sont, pour la plupart manuels. Il existe également un grand nombre de systèmes de soutien distincts utilisés par les programmes de S et C pour la compilation et l'analyse des données sur la mesure du rendement. De concert avec ses initiatives courantes de S et C, le Ministère aurait avantage à réduire le nombre de processus manuels et de systèmes distincts en place pour la collecte de données sur la mesure du rendement.

Recommandations

Le sous-ministre adjoint, Politique stratégique, planification et affaires ministérielles, devrait, en ce qui concerne les pratiques préconisées :

1. Il devrait officialiser un processus et un point unique de contact pour déterminer et communiquer les pratiques de mesure du rendement du Ministère pouvant faire l'objet d'une promotion afin de reconnaître et de promouvoir davantage l'innovation, la créativité et la collaboration. Dans la mesure du possible, ce processus devrait tirer parti des mécanismes existants du Ministère.

devrait, en ce qui concerne l'optimisation des ressources d'analyse de données :

2. De concert avec les efforts continus de PCH visant à moderniser et à rationaliser ses processus de S et C et les discussions en cours pour trouver de possibles économies au Ministère, il devrait élaborer une approche ou un mécanisme permettant d'assurer le partage efficace et efficient des ressources limitées d'analyse de données.

devrait, en ce qui concerne les processus manuels et les systèmes distincts :

3.1 Parallèlement aux efforts actuels du Ministère visant à rationaliser et à moderniser ses processus de S et C, il devrait déterminer et intégrer des mécanismes et des outils habilitants qui permettront de réduire le nombre de processus manuels et de systèmes distincts en place pour la collecte de données sur la mesure du rendement, et veiller à ce que la planification des investissements à long terme du Ministère tienne compte de ces besoins.

3.2 En même temps qu'il donne suite à la recommandation 3.1, il devrait déterminer s'il y a des possibilités au sein du gouvernement de partager l'infrastructure, les meilleures pratiques et les coûts liés aux systèmes habilitants de mesure du rendement des programmes de S et C.

3.3 Il devrait veiller à ce que les investissements technologiques importants réalisés relativement à la collecte et à la communication de données sur la mesure du rendement soient alignés avec la stratégie de la mesure du rendement globale de PCH et suivent le processus formel de la planification d'affaires du Ministère.

Énoncé d'assurance

Selon mon jugement professionnel en tant que dirigeant principal de la vérification et de l'évaluation, j'estime que les procédures de vérification qui ont été menées sont suffisantes et adéquates et que les éléments de preuve recueillis soutiennent l'opinion fournie dans le présent rapport.

Opinion de vérification

À mon avis, les pratiques de collecte et d'analyse de données sur la mesure du rendement du Ministère ont des problèmes modérés qui nécessitent des améliorations pour ce qui est de mettre en place davantage d'outils et de systèmes automatisés et rationalisés de collecte de données sur la mesure du rendement, d'examiner d'autres mécanismes d'exécution afin de maximiser l'utilisation de ressources limitées pour effectuer l'analyse de données et de favoriser la communication des pratiques pouvant faire l'objet d'une promotion.

__________________________________________________
Richard Willan
Dirigeant principal de la vérification et de l'évaluation
Ministère du Patrimoine canadien

Membres de l'équipe de vérification
Maria Lapointe-Savoie, Directrice
Miklos Horvath
Nicole Serafin
Jean-Philippe Rioux

Avec l'aide de ressources externes

1. Introduction et contexte

1.1 Autorisation du projet

L'autorisation de mener le projet de vérification découle du Plan de vérification axé sur les risques (PVAR) de 2011-2012 à 2013-2014, qui a été recommandé par le Comité ministériel de vérification (CMV) et approuvé par le sous-ministre en mars 2011.

1.2 Contexte

Au sein du ministère du Patrimoine canadien (PCH), plusieurs initiatives de modernisation et de rationalisation des subventions et contributions ont cours à l'heure actuelle, notamment l'Initiative de modernisation des subventions et contributions et l'Initiative opérationnelle en ligne des S et C ainsi que des mises à niveau au Système de gestion de l'information sur les subventions et contributions.

L'Initiative de modernisation des subventions et contributions, qui est actuellement en cours, a pour objectif de consolider notre réputation de « ministère d'avant-garde » en dressant un plan qui permettra de mettre en œuvre un modèle novateur et simplifié de distribution de subventions et de contributions aux Canadiens.
Le Système de gestion de l'information sur les subventions et contributions est un système utilisé à l'échelle du Ministère qui vise à faciliter la gestion et le suivi efficaces des subventions et des contributions pour tous les programmes de financement de PCH. Pour ce faire, il a recours à une méthode de gestion des cas. Il saisit toutes les étapes du cycle de gestion de projet, de la constitution du dossier par un agent jusqu'à sa clôture officielle.
L'Initiative opérationnelle en ligne des S et C est un système en ligne personnalisé élaboré à PCH qui permet aux clients de remplir une demande de crédit d'impôt, de la soumettre et d'en faire le suivi dans un environnement protégé. Le programme du Bureau de certification des produits audiovisuels canadiens est le principal utilisateur du système. Le Programme des biens culturels mobiliers l'utilisera également au cours des prochains mois.

L'équipe de vérification reconnaît que l'un des fondements essentiels de la mesure du rendement des programmes est d'avoir en place les bonnes mesures du rendement. Elle reconnaît également qu'un certain nombre d'autres examens, qui ont été réalisés à PCH au cours des deux dernières années, se sont penchés sur divers aspects du processus de mesure du rendement du Ministère. À ce titre, la nature et la répartition dans le temps des mesures prises par la direction pour donner suite aux recommandations de la présente vérification devraient être considérées de façon intégrée avec les initiatives courantes du Ministère en matière de modernisation de la mesure du rendement ainsi qu'avec les mesures prises pour donner suite aux recommandations des examens antérieurs.

2. Objectifs

La vérification visait à permettre la formulation de recommandations à valeur ajoutée à la haute direction dans le but d'améliorer les processus et les systèmes de mesure du rendement² du Ministère. Plus précisément, les objectifs de la vérification étaient les suivants :

Évaluer les outils de collecte de données, les rôles et les responsabilités à cet égard de même que les calendriers et les plans de collecte de données dont se servent les programmes de PCH, afin de déterminer les « pratiques exemplaires » que l'on peut échanger dans l'ensemble du Ministère.
Évaluer les pratiques établies dans l'ensemble des programmes de PCH en ce qui concerne le regroupement des données sur la mesure du rendement au niveau des programmes, la surveillance de la gestion à l'appui de l'intégrité des données, la capacité/les rôles et les compétences en rapport avec l'analyse des données, les outils de production de rapports et la manière dont les données regroupées sont examinées et utilisées par les gestionnaires.
Évaluer le nombre et la nature des « systèmes » d'appui établis dans les différents programmes du Ministère pour compiler les données sur la mesure du rendement, de façon à faire ressortir les économies de coût ou d'efficience que le Ministère pourrait réaliser.

3. Portée

La portée de la vérification était centrée sur les programmes de S et C pertinents du Ministère répertoriés dans l'Architecture des activités de programme 2010-2011 de PCH, et sur les pratiques en place au sein des programmes au moment de la réalisation de la vérification, soit entre juin et septembre 2011.

La vérification portait sur l'infrastructure sous-jacente de la mesure du rendement utilisée pour la collecte, la compilation et l'analyse des données, tel qu'il est illustré ci-dessous.

Image d'une structure pyramidale montrant l'élaboration et la mise en oeuvre des systèmes et de l'infrastructure de la mesure du rendement à PCH
Voir cette image dans un format texte

Il convient de souligner que la portée de la vérification ne comprenait pas une évaluation de la qualité ou de la pertinence des mesures de rendement du Ministère comme telles, ni une évaluation du processus d'élaboration du Rapport ministériel sur le rendement.

4. Approche et méthodologie

Tout le travail de vérification a été effectué conformément aux Normes relatives à la vérification interne au sein du gouvernement du Canada du Secrétariat du Conseil du Trésor et à la Politique sur la vérification interne.

La méthodologie de vérification comprenait les activités suivantes :

la tenue de plus de 40 entrevues avec des représentants de programme pour comprendre les pratiques propres aux programmes relativement à la collecte, la compilation et l'analyse des données sur la mesure du rendement;
l'examen du Cadre de gestion et de responsabilisation axé sur les résultats et/ou de la Stratégie de mesure du rendement, d'évaluation et de risque des programmes individuels afin de cerner les exigences en matière de collecte de données et les sources de données;
l'examen des éléments probants pertinents à l'appui dans les domaines des outils et des systèmes de collecte de données ainsi que de l'analyse et du regroupement de données (p. ex. accords de contribution, rapports sur les activités, ententes de responsabilité, feuilles de calcul, descriptions de système, etc.);
l'analyse et la synthèse d'information relative aux programmes servant à la formulation d'observations touchant l'ensemble du Ministère;
la tenue de réunions avec les fonctions ministérielles et la haute direction (p. ex. Centre d'expertise, Groupe de recherche sur les politiques, Finances, Planification stratégique, directeurs généraux) afin de valider les observations et de solliciter des commentaires sur les recommandations provisoires;
la vérification par sondages comportait des révisions structurées des outils et des pratiques de collecte de données (le cas échéant)

5. Constatations et recommandations

À l'aide d'une combinaison de preuves recueillies au cours de l'examen de la documentation, des analyses et des entrevues, l'équipe de vérification a évalué tous les critères de vérification et tiré une conclusion pour chacun qui se retrouvent dans l'Annexe A. L'équipe de vérification a effectué l'analyse des éléments probants à l'appui et la synthèse d'information relative aux programmes afin de formuler des observations touchant l'ensemble du Ministère.

L'équipe de vérification a cerné des possibilités d'amélioration, ce qui a donné lieu à cinq recommandations. Les détails des observations et des recommandations de la vérification sont fournis ci-dessous.

5.1 Gouvernance, contrôle interne et gestion des risques

La vérification a été conçue pour être de nature horizontale, avec l'intention de formuler des observations et des recommandations pour l'ensemble du Ministère relativement aux processus et aux systèmes de collecte de données sur la mesure du rendement de PCH. La portée de la vérification incluait des aspects liés à la gouvernance, au contrôle interne et à la gestion des risques. Compte tenu des répercussions à l'échelle du Ministère et du niveau stratégique dans l'organisation à laquelle les recommandations sont adressées, les observations et les recommandations ont été regroupées et communiquées dans ce contexte.

5.1.1 Promotion des pratiques

Dans le cadre de sa mission, l'équipe de vérification a constaté qu'il existe au Ministère diverses pratiques de mesure du rendement pouvant faire l'objet d'une promotion. Le Ministère tirerait avantage de processus officialisés visant à déterminer et à communiquer ces types de pratiques dans l'ensemble du Ministère de façon à permettre la définition et le partage élargis des pratiques des programmes de S et C de PCH.

Analyse

Dans le cadre de sa mission, l'équipe de vérification a relevé des exemples de pratiques pouvant faire l'objet d'une promotion relativement à la collecte et à l'analyse de données sur la mesure du rendement qui ont été observées dans certains programmes du Ministère³ . Des exemples de quelques-unes des pratiques observées pouvant faire l'objet d'une promotion sont décrits ci-dessous :

En ce qui concerne les modèles de collecte de données, l'équipe de vérification a permis de constater que certains programmes utilisent des modèles de collecte de données qui comprennent les indicateurs de rendement propres à la stratégie de mesure de rendement du programme (c.-à-d. intégrés directement dans les modèles de rapport des bénéficiaires), ce qui établit un lien clair entre les activités du bénéficiaire et le rendement du programme. L'équipe de vérification a également relevé un exemple de programme qui fournissait aux bénéficiaires un document détaillé d'instructions et de directives sur la façon de remplir le modèle de rapport, ce qui permet au programme d'avoir un niveau d'assurance plus élevé pour ce qui est de recueillir les données nécessaires sur la mesure du rendement de la part de ses bénéficiaires.
Dans plusieurs programmes, il a été observé que les données sur la satisfaction des participants au programme sont transmises au programme, ce qui permet à la direction de celui-ci d'utiliser ces données pour documenter les résultats sur le rendement.
Dans certains programmes, des descriptions de travail normalisées ont été personnalisées avec des descriptions plus détaillées des rôles et responsabilités liés aux activités de mesure du rendement, ce qui permet d'établir des obligations redditionnelles et des attentes claires en ce qui concerne le soutien aux processus de mesure du rendement.
Une direction générale a élargi ses stratégies/cadres de mesure du rendement afin de créer un cadre plus détaillé comprenant des cibles précises pour les indicateurs de rendement ainsi que les dates prévues pour les atteindre. Les stratégies/cadres élargis ont également attribué des responsabilités pour les indicateurs de rendement et les activités de collecte de données.
L'équipe de vérification a permis de constater qu'une direction avait créé un journal sur les activités courantes de mesure du rendement. Le blogue est tenu sur un lecteur commun, et il fait la promotion des pratiques qui ont été désignées comme pouvant aider à faire face aux enjeux communs et met en évidence des occasions possibles d'accroître les efficiences.
Enfin, un exemple a été relevé où un programme avait organisé une présentation sur ses activités courantes de mesure du rendement avec un autre programme afin de partager les pratiques suivies par chacun. Ce type de pratique permet aux programmes d'apprendre l'un de l'autre, de trouver de nouvelles façons d'aborder les enjeux et met en évidence des occasions possibles d'accroître les efficiences.

Bien que l'équipe de vérification ait permis de constater un certain partage de ce type d'information dans l'ensemble des programmes de S et C, il semble qu'il soit relativement limité et informel. Il est possible pour le Ministère d'améliorer la définition, le partage et la communication des pratiques pouvant faire l'objet d'une promotion qui ressortent des programmes de S et C de PCH, ce qui pourrait donner lieu à un processus global de mesure du rendement plus efficace et efficient des programmes de S et C de PCH. L'équipe de vérification a relevé un certain nombre de mécanismes potentiels déjà en place qui pourraient être utilisés pour aider à promouvoir ces types de pratiques, comme Carrefour de recherche, Réseau de recherche, Bulletin de recherche, etc.

Évaluation des risques

Il y a un risque que l'innovation, la créativité et la collaboration ne soient pas adéquatement reconnues ou partagées à l'échelle du Ministère et que, par conséquent, les processus de rendement des programmes de S et C ne seront pas en mesure de profiter des pratiques novatrices qui ont cours au sein du Ministère.

Recommandation

Le sous-ministre adjoint, Politique stratégique, planification et affaires ministérielles, devrait faire ce qui suit :

5.1.2 Optimisation de l'utilisation des ressources d'analyse de données

Les ressources d'analyse de données sont un élément important du processus de mesure du rendement. Présentement dans le Ministère, il y a une capacité variée par lequel les programmes obtiennent les ressources nécessaires pour l'analyse de données. Il y a une possibilité pour le Ministère d'examiner d'autres modèles pour exploiter et partager les ressources limitées d'analyse de données afin que les programmes de S et C obtiennent le soutien et l'aide nécessaires de façon optimale.

Analyse

Une fois que les données sur la mesure du rendement ont été recueillies, il est nécessaire qu'un processus de regroupement et d'analyse puisse faire la description du rendement. Par conséquent, le fait d'avoir les ressources (personnes et capacités/compétences) appropriées d'analyse de données sur la mesure du rendement est un élément essentiel de l'analyse et de la communication de données utiles sur la mesure du rendement.

Au sein de PCH, l'équipe de vérification a permis de constater qu'il y a différents modèles en place dans l'ensemble des programmes de S et C du Ministère pour ce qui est de la façon dont les programmes obtiennent les ressources nécessaires pour l'analyse de données. Certains programmes ont des ressources axées sur la fourniture de ces capacités. D'autres programmes ont eu recours, à cette fin, aux ressources de soutien au niveau des directions générales. D'autres programmes encore ont recours au Groupe de recherche sur les politiques du Ministère pour répondre à leurs besoins en matière d'analyse de données.

L'équipe de vérification reconnaît que le modèle optimal de prestation et de soutien pour les ressources d'analyse de données pourrait devoir varier selon la nature de chaque programme et les capacités existantes de ces programmes. Par exemple, un programme très spécialisé pourrait avoir besoin de capacités et de compétences doublées de suffisamment de connaissances et d'expérience dans des domaines particuliers pour être en mesure de livrer une analyse efficace. D'autre part, d'autres programmes peuvent être desservis aussi efficacement par des ressources d'analyse de données au niveau des secteurs, des directions générales ou du Ministère.

Compte tenu de la volonté de certains membres du personnel d'obtenir des ressources supplémentaires d'analyse de données, du contexte actuel et de l'objectif général d'assurer la mise en place d'un modèle de soutien optimisé pour l'analyse et la communication de données sur la mesure du rendement, il est possible pour le Ministère d'examiner d'autres modèles pour exploiter et affecter les ressources existantes d'analyse de données au sein du Ministère afin que les programmes de S et C obtiennent le soutien et l'aide nécessaires de façon optimale.

Dans le cadre de la vérification, l'équipe a pris connaissance des révisions/études internes précédentes (ainsi que des discussions en cours) sur ce sujet. Compte tenu de la réalité actuelle de restrictions budgétaires, les actions pour résoudre ce problème seront influencées par des discussions financières et les décisions résultantes.

Évaluation des risques

Il y a un risque que le Ministère n'utilise pas de façon optimale ses ressources d'analyse de données pour le bénéfice de tous les programmes et du Ministère dans son ensemble, ce qui limite le soutien à l'analyse de données pour certains programmes et donne lieu à une analyse et à une communication de la mesure du rendement de qualité moindre.

Recommandation

Le sous ministre adjoint, Politique stratégique, planification et affaires ministérielles, devrait faire ce qui suit :

5.1.3 Processus manuels et systèmes distincts

Il y a divers outils de collecte de données sur la mesure du rendement en place dans l'ensemble des différents programmes de S et C du Ministère, qui sont, pour la plupart manuels. Il existe également un grand nombre de systèmes de soutien distincts utilisés par les programmes de S et C pour la compilation et l'analyse des données sur la mesure du rendement. De concert avec ses initiatives courantes de S et C, le Ministère aurait avantage à réduire le nombre de processus manuels et de systèmes distincts en place pour la collecte de données sur la mesure du rendement.

Analyse

Dans la mesure du rendement, l'étape de la collecte de données englobe les activités, les pratiques et les processus qui servent à recueillir des données quantitatives et qualitatives aux fins d'analyse et de production de rapports. En ce qui concerne les programmes de S et C, les pratiques de collecte de données sur la mesure du rendement concernent généralement des outils ou des mécanismes comme les formulaires de demande, les rapports sur les activités des bénéficiaires, les sondages, les questionnaires, les rapports de tiers, entre autres, ainsi que les systèmes habilitants qui compilent les données aux fins d'analyse.

À PCH, les programmes de S et C définissent les mesures du rendement des programmes individuels au moyen d'un plan de mesure du rendement compris dans le Cadre de gestion et de responsabilisation axé sur les résultats ou de la Stratégie de mesure du rendement, d'évaluation et de risque. En ce qui concerne les principaux extrants et résultats des programmes, le plan de mesure du rendement fait état des indicateurs de rendement, des sources de données, de la fréquence et du moment de la collecte de données et de la responsabilité relative à celle-ci. Parmi les outils de collecte de données les plus fréquemment utilisés par les programmes de S et C de PCH, mentionnons les formulaires de demande/accords de financement, les rapports financiers, les rapports provisoires et finaux des bénéficiaires et les sondages auprès des participants. L'équipe de vérification a permis de constater que le processus de collecte de données lié à la plupart de ces outils est essentiellement manuel (p. ex. formulaires papier, intervention humaine nécessaire pour saisir à nouveau les données).

L'équipe de vérification a également permis de constater que la plupart des programmes de S et C à PCH utilisent leur propre « système » de soutien distinct pour appuyer la compilation et l'analyse de données. Ces systèmes vont des feuilles de calcul Microsoft Excel relativement simples aux bases de données plus perfectionnées et aux solutions personnalisées. À la suite de discussions avec la direction des programmes et de la Direction du dirigeant principal de l'information (DDPI), l'équipe de vérification a appris que le nombre d'applications en place relativement aux S et C et les dépenses annuelles pour les développer et les soutenir sont substantiels.

Tel qu'il a été mentionné précédemment, bien qu'il y ait plusieurs initiatives de modernisation et de rationalisation des S et C ayant cours au sein du Ministère, l'équipe de vérification a permis de constater que les portées approuvées actuelles de ces initiatives n'abordent pas expressément des façons d'automatiser et de rationaliser les processus de collecte de données sur la mesure du rendement.

Compte tenu de ce fait où les ministères sont encouragés à trouver des économies d'efficience et à travailler avec les organismes centraux et les autres ministères afin d'examiner des approches optimisées pour satisfaire aux exigences en matière d'infrastructure et de prestation des services, PCH a la possibilité de réduire le nombre de processus manuels et de systèmes distincts en place pour la collecte de données sur la mesure du rendement au sein du Ministère, et ce, de façon optimale.

Tel qu'il a été mentionné précédemment, l'équipe de vérification reconnaît que la nature et la répartition dans le temps des mesures prises par la direction pour donner suite aux recommandations de la présente vérification devraient être considérées de façon intégrée avec les initiatives courantes du Ministère en matière de modernisation de la mesure du rendement ainsi qu'avec les mesures prises pour donner suite aux recommandations des examens antérieurs.

Évaluation des risques

Il y a un risque que l'approche globale du Ministère en matière de collecte et d'analyse de données sur la mesure du rendement au niveau des programmes ne soit pas aussi efficace, opportune et efficiente qu'elle pourrait l'être. De même, il y a un risque que le Ministère ne soit pas en mesure de tirer le maximum d'avantages de ses initiatives courantes d'amélioration des S et C. Il y a également un risque que les décisions du Ministère relatives aux dépenses et à l'affectation des ressources en ce qui concerne les processus et les systèmes existants de collecte de données sur la mesure du rendement ne soient pas optimales.

Recommandations

Le sous ministre adjoint, Politique stratégique, planification et affaires ministérielles, devrait faire ce qui suit :

Annexe A - Critères de vérification

Les conclusions énoncées pour chacun des critères de vérification utilisés dans la vérification ont été développées selon les définitions suivantes.

Catégorisation numérique	Conclusion relative aux critères de vérification	Définition de la conclusion
1	Bien contrôlé	Bien géré, aucune faiblesse importante constatée.
2	Contrôlé	Bien géré, mais certaines améliorations sont nécessaires.
3	Problèmes modérés	Certains problèmes modérés nécessitent l'attention de la direction (satisfaire à au moins un des deux critères suivants) : faiblesses en matière de contrôle, mais l'exposition au risque est limitée, car la probabilité d'occurrence du risque n'est pas élevée; faiblesses en matière de contrôle, mais l'exposition au risque est limitée, car l'incidence du risque n'est pas élevée.
4	Améliorations importantes requises	Il est nécessaire d'apporter des améliorations importantes (satisfaire à au moins un des trois critères suivants) : des redressements financiers s'imposent à l'égard de certains postes ou domaines ou pour le Ministère; des lacunes en matière de contrôle entraînent une exposition grave au risque; des lacunes importantes dans la structure de contrôle globale. Nota : Chaque critère de vérification qui est classé « 4 » doit immédiatement être communiqué au DPVE et au directeur général concerné ou à un niveau plus élevé pour la prise de mesures correctives.

Voici les critères de vérification employés et un résumé des données en fonction desquelles l'équipe de vérification a tiré ses conclusions. Dans les cas où des améliorations importantes (4) ou des problèmes modérés (3) ont été observés, ceux-ci ont été consignés dans le rapport de vérification. Le tableau ci-dessous indique l'exposition au risque.

Nos des critères	Critères de vérification	Conclusion relative aux critères de vérification	Preuves/observations clés
1	Des outils appropriés ont été élaborés pour recueillir les données nécessaires sur la mesure du rendement tel qu'il est défini dans le CGRR et la SMRER du programme.	3	Des outils sont en place pour recueillir les données sur la mesure du rendement. Les outils sont essentiellement manuels, ce qui nécessite de nombreuses saisies supplémentaires des données avec une probabilité accrue d'erreurs dans la saisie des données et, en principe, une augmentation des niveaux d'effort et une incidence négative sur la rapidité d'exécution. Certains extrants et résultats à long terme nécessiteront une entrée/analyse de données supplémentaires en dehors de l'utilisation d'outils courants de collecte de données. Il existe des pratiques pouvant faire l'objet d'une promotion qui pourraient être partagées à l'échelle du Ministère.
2	Les rôles et responsabilités liés à la collecte de données sur le rendement sont clairement définis et communiqués.	2	Les rôles et responsabilités liés à la collecte de données sont généralement exposés dans les descriptions de travail. On a relevé des exemples de programmes qui ont ajouté des détails supplémentaires sur les rôles et responsabilités par rapport à la mesure du rendement.
3	Un plan/programme officialisé est en place pour faire en sorte que les activités de collecte de données de programme soient en harmonie avec les exigences en matière de rapport.	2	Généralement, la stratégie de mesure du rendement (SMR) comprend un plan de haut niveau lié aux activités de collecte de données qui doivent avoir lieu. La plupart des programmes ne disposent pas de plans de travail compliqués pour le suivi de la collecte de données en raison de la répartition régulière dans le temps et de l'intégration des activités de collecte de données. Certains programmes ont mis au point des outils de suivi pour appuyer les efforts de suivi de la collecte de données.
4	Des systèmes appropriés sont utilisés dans l'ensemble du Ministère pour permettre la compilation et le stockage de données sur la mesure du rendement.	3	Les programmes ont des systèmes en place pour compiler les données; cependant, il y a de nombreux systèmes distincts qui sont en place et qui sont pris en charge dans l'ensemble du Ministère. D'importantes dépenses sont consacrées annuellement à la maintenance et à l'élaboration d'applications de S et C pour divers programmes de S et C à l'échelle du Ministère.
5	Des processus de contrôle ont été conçus pour assurer l'accessibilité et la protection adéquates des données dans les systèmes.	2	Les contrôles diffèrent selon le degré de perfectionnement des systèmes en place. Généralement, on se sert d'une combinaison de mots de passe d'ouverture au réseau pour limiter l'accès et, parfois, on se sert de mots de passe propres aux systèmes et on limite l'accès à ceux-ci.
6	Les données sommaires sur le rendement des programmes sont regroupées au moyen de pratiques appropriées et d'une gestion suffisante (c.-à-d. commentaires et examen au niveau des directeurs généraux).	2	Le processus d'examen et d'approbation de la direction s'effectue en ce qui concerne les commentaires relatifs au Rapport ministériel sur le rendement fournis par les programmes de S et C.
7	Les programmes ont recours à du personnel compétent pour regrouper les données sur la mesure du rendement dans les résultats des programmes.	3	La direction a généralement l'impression que les programmes disposent des compétences nécessaires ou que la formation en cours d'emploi peut répondre à leurs besoins. Certains programmes ont adopté d'autres modèles faisant appel notamment au Groupe de recherche sur les politiques ou à des ressources des secteurs ou des directions générales pour satisfaire aux exigences d'analyse de données. Il est possible d'examiner d'autres modèles de prestation pour optimiser le recours à des ressources d'analyse de données.

Annexe B - Plan d'action de la direction

Recommandation	Mesures	Date cible
5.1.1 Promotion of Practices	La direction est d'accord avec les recommandations et, par conséquent, celles-ci sont acceptées. Pour donner suite aux trois éléments sur lesquels portaient les recommandations de la vérification : promotion des pratiques, optimisation de l'utilisation des ressources d'analyse des données, processus manuels et système distinct - voici le plan d'action : La structure de gouvernance du Ministère sera utilisée pour s'assurer que les activités de mesure du rendement sont cohérentes et en harmonie. La Direction de la planification stratégique sera le seul point de contact pour le recensement et la diffusion des pratiques exemplaires en matière de mesure du rendement sur une base permanente. Le processus intégré de planification de la gestion à PCH sera utilisé pour harmoniser les investissements technologiques dans les systèmes et pour faire en sorte que les données acquises et les ressources d'analyse soient utilisées de façon optimale dans le cadre d'une stratégie de recherche globale pour le Ministère, qui sera dirigée par la Direction générale de la politique, de la planification et de la recherche stratégiques. En ce qui concerne le concept de système ministériel de mesure du rendement, la Direction de la planification stratégique examinera les possibilités de collaboration au sein du Ministère (p. ex., BCPAC) et à l'extérieur de celui-ci (p. ex., Centre d'expertise sur les subventions et les contributions du SCT) pour les pratiques exemplaires, l'information et le partage des coûts. La Direction de la planification stratégique et la Direction du dirigeant principal de l'information réaliseront une étude de faisabilité sur la conception et la mise en œuvre d'un système ministériel. L'orientation que prend le gouvernement du Canada en matière d'efficacité et d'efficience des systèmes de gestion, particulièrement dans le contexte de services partagés et des résultats du plan d'action sur la réduction du déficit, sera prise en considération dans les scénarios de faisabilité et de mise en œuvre.	Janvier 2012 Janvier 2012 Octobre 2012 Mars 2012 Faisabilité - Exercice financier 2012-13, Mise en œuvre potentielle - Exercice financier 2013-14.
1. Il devrait officialiser un processus et un point unique de contact pour déterminer et communiquer les pratiques de mesure du rendement du Ministère pouvant faire l'objet d'une promotion afin de reconnaître et de promouvoir davantage l'innovation, la créativité et la collaboration. Dans la mesure du possible, ce processus devrait tirer parti des mécanismes existants du Ministère.
5.1.2 Optimisation de l'utilisation des ressources d'analyse de données
2. De concert avec les efforts continus de PCH visant à moderniser et à rationaliser ses processus de S et C et les discussions en cours pour trouver de possibles économies au Ministère, il devrait élaborer une approche ou un mécanisme permettant d'assurer le partage efficace et efficient des ressources limitées d'analyse de données.
5.1.3 Processus manuels et systèmes distincts
3.1 Parallèlement aux efforts actuels du Ministère visant à rationaliser et à moderniser ses processus de S et C, il devrait déterminer et intégrer des mécanismes et des outils habilitants qui permettront de réduire le nombre de processus manuels et de systèmes distincts en place pour la collecte de données sur la mesure du rendement, et veiller à ce que la planification des investissements à long terme du Ministère tienne compte de ces besoins.
3.2 En même temps qu'il donne suite à la recommandation 3.1, il devrait déterminer s'il y a des possibilités au sein du gouvernement de partager l'infrastructure, les meilleures pratiques et les coûts liés aux systèmes habilitants de mesure du rendement des programmes de S et C.
3.3 Il devrait veiller à ce que les investissements technologiques importants réalisés relativement à la collecte et à la communication de données sur la mesure du rendement soient alignés avec la stratégie de la mesure du rendement globale de PCH et suivent le processus formel de la planification d'affaires du Ministère.

Infrastructure de la mesure du rendement :

Mesures du rendement de PCH
Mesures du rendement des programmes/directions générales
Systèmes et infrastructures de la mesure du rendement (objectifs de la vérification)
Mesures du rendement

Retournez

¹ La vérification a été conçue pour être de nature horizontale - de façon à couvrir les programmes de S et C du Ministère - avec l'intention de formuler des observations et des recommandations pour l'ensemble du Ministère.

² La vérification a été conçue pour être de nature horizontale - de façon à couvrir les programmes de S et C du Ministère - avec l'intention de formuler des observations et des recommandations pour l'ensemble du Ministère.

³ Il convient de souligner que l'équipe de vérification a testé la conception et la mise en œuvre des outils et des pratiques de collecte de données (le cas échéant), mais qu'elle n'a pas effectué une évaluation des taux de réponse relativement au parachèvement et à la présentation de la collecte de données.