Archivée - Plan quinquennal concernant l'évaluation et les stratégies de mesure du rendement 2012-2013 à 2016-2017

Le présent document constitue le plan quinquennal (2012-2013 à 2016-2017) d'Affaires autochtones et Développement du Nord Canada pour l'évaluation et les stratégies de mesure de rendement. Il respecte les directives du Secrétariat du Conseil du Trésor, il cadre avec la Structure de gestion, des ressources et des résultats du Ministère et l'appuie, il assure l'évaluation sur un cycle quinquennal de tous les programmes de subventions et contributions en cours, et il module le niveau d'effort consacré aux évaluations selon une approche basée sur le risque.

Un certain nombre de facteurs ont été pris en compte dans l'élaboration de ce plan. Les dépenses prévues au titre des subventions et contributions pour 2012‑2013 y ont été incluses, pour donner une idée du degré de couverture. L'échéance d'évaluation, qui est calculée par l'ajout de cinq années à la date de la dernière évaluation, permet d'assurer que les évaluations proposées seront menées à l'intérieur de la période de cinq ans prescrite par le Conseil du Trésor. Grâce à l'inclusion des vérifications prévues, il sera possible d'élaborer des stratégies qui atténueront l'impact des vérifications sur les programmes et qui éclaireront la modulation des efforts, la catégorisation des risques et l'état d'avancement des stratégies de mesure du rendement.

Compte tenu des incertitudes qui entourent le Plan d'action pour la réduction du déficit, le présent plan vise principalement à moduler le niveau d'effort consacré aux travaux proposés pour 2012-2013 exclusivement. Il sera revu à l'été 2012, quand seront mieux comprises les conséquences des annonces budgétaires.

Ce plan représente une mise à jour du plan précédent. Les modifications apportées reposent sur une analyse de l'univers d'évaluation et les commentaires reçus de la part de la haute direction. En tout, la période 2012‑2013 à 2016-2017 devrait donner lieu à 48 évaluations, réparties de façon relativement uniforme entre les résultats stratégiques du Ministère. Cinquante pour cent des évaluations prévues pourront reposer sur une stratégie de mesure du rendement, qui devrait ainsi réduire le niveau d'effort requis. Pour un autre 30 % des évaluations prévues, des stratégies de mesure du rendement devraient pouvoir être élaborées à temps.

La modulation du niveau d'effort à consacrer aux nouvelles évaluations prévues pour 2012-2013 a été effectuée. Une analyse basée sur l'importance relative, le risque et la complexité a révélé qu'un portefeuille d'évaluations à très haut niveau de risque est à prévoir pour l'année 1 du plan.

Ce document présente un plan visant à évaluer au cours des cinq prochaines années la totalité des programmes de subventions et de contributions d'Affaires autochtones et Développement du Nord Canada (AADNC) et à mettre en place des stratégies de mesure du rendement.

1.1 Objet du plan d'évaluation

Le plan vise tout d'abord à aider le sous-ministre à veiller à la communication en temps opportun de renseignements neutres et crédibles sur la pertinence et le rendement continus des dépenses de programmes directes, afin d'éclairer la prise de décisions fondées sur des éléments probants à l'égard de la gestion des dépenses, des politiques et de l'amélioration des programmes. En outre, le plan :

1. donne l'occasion de faire concorder les évaluations avec les besoins en information du Ministère et des autres instances (p. ex. les organismes centraux), comme prescrit par la Politique sur l'évaluation;
   
   
2. aide à faire en sorte que les évaluations étayant la restructuration des programmes soient planifiées et menées à terme avant le renouvellement des programmes;
   
   
3. offre aux gestionnaires de programme et aux chefs de l'évaluation une tribune annuelle pour discuter de l'élaboration et de l'application de stratégies de mesure du rendement qui soutiennent efficacement les évaluations;
   
   
4. permet aux sections ministérielles chargées d'élaborer le Rapport sur les plans et priorités et le Rapport ministériel sur le rendement, de même qu'aux autres groupes participant aux activités de planification stratégique et de rapport, de déterminer à quel moment les évaluations seront prêtes pour éclairer leur travail;
   
   
5. instaure des communications régulières et un climat de concertation sur les besoins et les priorités d'évaluation partout au Ministère; et
   
   
6. permet aux organismes centraux de savoir à l'avance quand les évaluations seront prêtes pour éclairer leur travail (p. ex. pour appuyer les mémoires au Cabinet, les présentations au Conseil du Trésor, les examens stratégiques).

En outre, le plan sert d'outil de gestion au chef de l'évaluation, en permettant de planifier pour les années à venir le cheminement du travail et les ressources humaines.

1.2 Moteurs de planification des évaluations

Dans la fonction publique fédérale, l'évaluation est définie comme étant « la collecte et l'analyse systématiques de données probantes sur les résultats des programmes afin d'en évaluer la pertinence et le rendement et de trouver d'autres modes de prestation ou d'autres façons d'obtenir les mêmes résultats ». L'évaluation sert à déterminer si un programme a contribué ou non à l'atteinte des résultats observés, et dans quelle mesure. Elle permet également de comprendre de façon approfondie pourquoi les résultats des programmes ont été atteints ou non.

Le gouvernement du Canada a adopté en 1977 sa première Politique d'évaluation, afin d'éclairer la prise de décisions sur la gestion des dépenses et les programmes. Une version remaniée de la politique a été introduite en 2009, assortie d'une directive et de normes d'évaluation. Elle prévoit l'évaluation aux cinq ans de tous les programmes de subventions et contributions en cours, en plus de clarifier les responsabilités de gestion et les obligations de reddition de comptes des ministres et des sous-ministres.

La Politique sur l'évaluation d'avril 2009 du Secrétariat du Conseil du Trésor (SCT) énonce ce qui suit :

3.2 L'évaluation fournit aux Canadiens, aux parlementaires, aux ministres, aux organismes centraux et aux administrateurs généraux une appréciation neutre et fondée sur des éléments probants de l'optimisation des ressources, c.-à-d. de la pertinence et du rendement des programmes. L'évaluation :

1. favorise la responsabilisation à l'égard du Parlement et des Canadiens en aidant le gouvernement à rendre compte de façon crédible des résultats obtenus au moyen des ressources investies dans les programmes;
   
   
2. éclaire les décisions du gouvernement sur l'affectation et la réaffectation des ressources en :
   
   
   1. étayant les examens stratégiques des dépenses de programmes, afin d'aider les ministres à comprendre la pertinence et le rendement continus des programmes existants;
      
      
   2. fournissant des renseignements objectifs afin d'aider les ministres à mieux saisir en quoi les nouvelles dépenses proposées concordent avec les programmes existants, de définir les synergies et d'éviter les chevauchements inutiles;
      
      
3. aide les administrateurs généraux à gérer en fonction des résultats en indiquant si leurs programmes donnent les résultats escomptés, et ce, à un coût abordable; et
   
   
4. appuie l'amélioration des politiques et des programmes en aidant à cerner les leçons apprises et les pratiques exemplaires.

Conformément à l'article 6.1.7 de la Politique sur l'évaluation, le présent plan correspond à la Structure de gestion, des ressources et des résultats du Ministère (SGRR, c'est-à-dire le cadre de collecte et d'analyse systématiques des données sur le rendement), et il l'appuie. Il assure également l'évaluation quinquennale de tous les programmes de subventions et contributions en cours, comme prévu à l'article 42.1 de la Loi sur la gestion des finances publiques. Comme le demande l'article 6.1.3 de la Directive sur la fonction d'évaluation, ce plan prévoit qu'une approche basée sur le risque sera adoptée pour déterminer les méthodes, le niveau d'effort et le niveau de ressources nécessaires pour réaliser chacune des évaluations.

1.3 Contexte ministériel

Mandat d'AADNC

AADNC tend vers un avenir où les collectivités inuites, métisses, nordiques et celles des Premières nations sont saines, sécuritaires, autosuffisantes et prospères - un Canada où les gens prennent leurs propres décisions, gèrent leurs propres affaires et contribuent largement au bien-être du pays dans son ensemble.

À cette fin, le Ministère appuie les Autochtones (Premières nations, Inuits et Métis) et les habitants du Nord dans leurs efforts visant à :

• améliorer le bien-être social et la prospérité économique;
  
  
• favoriser des collectivités plus saines et plus durables; et
  
  
• participer pleinement au développement politique, social et économique du Canada, au profit de tous les Canadiens.

AADNC est le ministère fédéral qui est chargé principalement d'honorer les obligations et les engagements du gouvernement du Canada à l'égard des membres des Premières nations, des Inuits et des Métis et de s'acquitter des responsabilités constitutionnelles qui incombent au gouvernement fédéral dans le Nord. Le mandat global d'AADNC et l'éventail de responsabilités qui en découlent sont façonnés par plusieurs centaines d'années d'histoire et par des défis démographiques et géographiques uniques. Ce mandat découle de la Constitution canadienne, de la Loi sur les Indiens, de la Loi sur le ministère des Affaires indiennes et du Nord canadien, des lois territoriales, des traités, des ententes sur le règlement des revendications globales et sur l'autonomie gouvernementale ainsi que de nombreuses autres lois qui concernent les Autochtones et le Nord.

Le mandat des Affaires indiennes et inuites vient de la Loi sur les Indiens et de ses modifications, des lois constitutives des traités modernes (Accord définitif nisga'a, Accord sur les revendications territoriales des Inuit du Labrador, etc.) et de lois d'une promulgation plus récente (Loi sur la gestion financière et statistique des premières nations, Loi sur la compétence des premières nations en matière d'éducation en Colombie-Britannique, etc.) qui confèrent aux Premières nations des pouvoirs qui s'ajoutent aux compétences prévues par la Loi sur les Indiens. Le mandat ministériel a largement aussi pour origine les décisions de politique publique et les pratiques de programme qui ont vu le jour au fil des ans. Il est façonné par les décisions des tribunaux qui influent directement sur les politiques ministérielles. Il est enfin structuré par des accords de financement ou des ententes officielles liant le Ministère aux Premières nations et/ou aux gouvernements provinciaux ou territoriaux.

Le ministre des Affaires autochtones et du développement du Nord canadien est aussi l'interlocuteur fédéral auprès des Métis et des Indiens non inscrits. Il est responsable du Bureau de l'interlocuteur fédéral qui, à la faveur des relations et des partenariats formés avec les autres ministères fédéraux, les autres ordres de gouvernement et les organismes représentatifs et les dirigeants communautaires des Autochtones, fait connaître les conditions des Métis, des Indiens non inscrits et des Autochtones vivant en milieu urbain et suscite des possibilités de participation accrue à la vie économique et sociale.

Le mandat de développement du Nord découle de la Loi sur le ministère des Affaires indiennes et du Nord canadien. Il s'inspire également des lois qui donnent effet à des traités modernes au nord du 60e parallèle, comme la Loi concernant l'Accord sur les revendications territoriales du Nunavut, ou à des ententes sur l'autonomie gouvernementale, comme la Loi sur l'autonomie gouvernementale des premières nations du Yukon. Enfin, il est aussi dérivé des lois qui donnent effet au transfert aux gouvernements territoriaux des responsabilités et services ministériels de gestion de l'environnement ou des ressources, comme la Loi de mise en œuvre de l'Accord Canada-Yukon sur le pétrole et le gaz.

La prestation de la plupart des programmes d'AADNC, qui comptent pour la majorité de ses dépenses, est assurée par l'intermédiaire de partenariats avec des collectivités autochtones et d'accords fédéraux-provinciaux ou fédéraux-territoriaux. Le Ministère travaille également, par l'entremise du Bureau de l'interlocuteur fédéral, avec les Autochtones vivant en milieu urbain, les Métis et les Indiens non inscrits (dont bon nombre habitent dans des régions rurales). AADNC est l'un des 34 ministères et organismes fédéraux à offrir des programmes et des services aux Autochtones et dans le Nord.

Architecture des activités de programme (AAP)

Le mandat global d'AADNC est illustré par l'architecture des activités de programme (AP), qui soutient cinq résultats stratégiques (RS) :

1. Le gouvernement - Bonne gouvernance et relations de coopération pour les Premières nations, les Inuits et les résidants du Nord.
   
   
2. Les gens - Bien-être des personnes, des familles et des collectivités des Premières nations et des Inuits.
   
   
3. Les terres et l'économie - Participation entière des personnes et des collectivités des Premières nations, des Inuits et des Métis à l'économie.
   
   
4. Le Nord - Autonomie, prospérité et bien-être des gens et des collectivités du Nord.
   
   
5. Le Bureau de l'interlocuteur fédéral - Bien-être socioéconomique des Métis, des Indiens non inscrits et des Autochtones vivant en milieu urbain.

L'AAP est décrite plus en détail à l'annexe A.

Programmes de paiements de transfert

Selon les Comptes publics du Canada pour 2010-2011, AADNC arrive au cinquième rang parmi tous les ministères pour ses dépenses nettes (derrière Finances, Ressources humaines et Développement des compétences (RHDCC), Défense et Sécurité publique), et au troisième rang pour le total de ses paiements de transfert et de ses subventions et contributions (derrière Finances et RHDCC). En 2010-2011, les dépenses nettes du Ministère totalisaient 8 257 798 000 $, et ses paiements de transfert, 6 722 119 000 $. L'obligation faite au Ministère d'évaluer tous les cinq ans toutes les dépenses directes de programme et les subventions et contributions représente un important volume de travail.

Dépenses prévues pour l'exercice 2012-2013

Les chiffres ayant été arrondis, ils peuvent ne pas correspondre aux totaux indiqués.
Source : Rapport sur les plans et priorités d'AADNC pour 2010-2011s

Difficultés et possibilités

Les Autochtones représentent l'un des groupes de la population canadienne qui connaissent la plus forte croissance au pays. En effet, selon le Recensement de 2006, le nombre de personnes ayant déclaré être d'ascendance autochtone a franchi la barre du million. Cette poussée démographique signifie une augmentation croissante de la demande de services, mais, parallèlement, elle apporte tous les avantages qu'une génération de jeunes Autochtones éduqués et compétents peut offrir au marché du travail de demain. Le Nord canadien est une région extrêmement prometteuse pour le secteur des ressources naturelles, et la valorisation du potentiel qu'il recèle amènera de profonds changements pour les résidants du Nord, y compris les Autochtones, pour leurs collectivités et pour le Canada tout entier.

Le Ministère, s'il veut aider les Autochtones et les résidants du Nord à satisfaire leurs aspirations, doit tenir compte du fait que certains d'entre eux vivent dans des collectivités isolées au Canada, alors que d'autres sont concentrés dans les villes ou à proximité. Il doit aussi prendre en considération que bon nombre de collectivités autochtones, principalement celles établies dans le Nord, sont les premières à subir les effets des changements climatiques et environnementaux. Et au même moment, les collectivités autochtones et nordiques sont inondées de possibilités sans précédent, résultats de la mise en valeur des ressources, du règlement des revendications territoriales, de l'adoption de nouveaux modes d'exécution des programmes, de l'instauration de nouveaux cadres législatifs et, surtout, de leur capacité grandissante à administrer leurs propres affaires et à réaliser leurs priorités.

L'article 6.2.3 de la Directive sur la fonction d'évaluation confère au chef de l'évaluation la responsabilité d'élaborer et d'actualiser chaque année un plan quinquennal d'évaluation continu. Le Plan d'évaluation d'AADNC a ainsi été élaboré par la Direction générale de l'évaluation, de la mesure du rendement et de l'examen (DGEMRE), qui relève du Secteur de la vérification et de l'évaluation. L'établissement du Plan 2012-2013 a procédé de l'approche exposée ci-dessous.

Définition et délimitation de l'univers d'évaluation

Pour définir l'univers d'évaluation, il faut recenser les unités d'évaluation qui contribueront à couvrir la totalité de l'AAP. Ces unités d'évaluation sont les plus petites unités logiques de programme pouvant raisonnablement faire l'objet d'une évaluation individuelle.

Antérieurement, AADNC structurait ses plans d'évaluation en fonction de ses résultats stratégiques et y incluait les autorisations pertinentes (sources de fonds). Cependant, les plans n'indiquaient pas les liens directs avec la SGRR ni le montant des subventions et contributions. Aux fins du Plan 2012-2013, l'univers d'évaluation d'AADNC (voir l'annexe B) a été défini de façon à montrer les liens qui unissent la SGRR, les programmes, les dépenses de subventions et contributions, les autorisations et les évaluations proposées. Il est ainsi plus facile de constater le niveau et la portée des évaluations, et le champ couvert par les autorisations.

La SGRR d'AADNC chapeaute 46 sous-activités (SA). En tout, 26 évaluations (environ 54 % du total) se situent au niveau des sous‑activités. Cinq évaluations ciblent plusieurs sous-activités, et six autres visent des sous-sous-activités (SSA) ou un palier inférieur. Cette hétérogénéité dans la portée des évaluations s'explique par diverses raisons :

• Par le passé, pour répondre aux exigences de la Politique sur l'évaluation concernant la couverture des évaluations et les délais d'expiration des autorisations, plusieurs programmes étaient groupés en une seule évaluation, pour plus d'efficacité.
  
  
• Les programmes étaient également groupés en une seule évaluation dans les cas où les sous-activités étaient étroitement liées et contribuaient à des résultats communs.
  
  
• À AADNC, les sous-activités divergent grandement quant à leur taille et à leur complexité. Une sous-activité peut ne nécessiter qu'une petite évaluation, comme l'administration de l'inscription, tandis qu'une sous-activité telle que l'activation des biens communautaires exigera une évaluation de grande envergure.
  
  
• Il y a également des cas où, dans l'AAP, une sous-activité ne comporte qu'un programme. À des fins d'économie d'échelle, ces programmes uniques sont incorporés si possible à d'autres évaluations.
  
  

La définition de l'univers d'évaluation a été compliquée par les autorisations qui s'y rattachent. En effet, certains programmes utilisent de multiples autorisations, et certaines autorisations affectent des fonds à de multiples programmes. L'univers d'évaluation présente encore certaines lacunes informationnelles; pour cette raison, la DGEMRE continuera de travailler avec le dirigeant principal des finances à faire en sorte que le plan assure une couverture à 100 %.

Mener une évaluation du risque des unités d'évaluation

Chaque année, la Direction générale des services de vérification et d'assurance (DGSVA), du Secteur de la vérification et de l'évaluation d'AADNC, catégorise le risque relatif des sous-activités. Le processus suivi à cette fin, qui comprend un examen approfondi des documents ministériels et la tenue d'ateliers et de consultations avec les représentants des programmes et les intervenants externes, représente un élément essentiel de la préparation du plan de vérification basé sur le risque.

L'approche fondée sur le risque appliquée par la DGSVA est conforme aux directives du Bureau du contrôleur général et minutieuse, et les unités de vérification et d'évaluation étaient généralement les mêmes. Les facteurs de risque considérés étaient les suivants : effet des risques recensés sur l'atteinte des résultats ministériels; importance relative; portée; potentiel d'examen par le public; risque juridique; prévalence du risque; gravité des conséquences.

Antérieurement, dans la préparation du plan, la DGEMRE effectuait sa propre analyse des risques et les catégorisait (risque faible, moyen ou élevé) selon le danger qu'ils présentaient pour la mission, selon leur importance relative et selon la disponibilité des données sur le rendement. Cette catégorisation a servi à établir la priorité des projets d'évaluation et de mesure du rendement, ainsi qu'à délimiter les évaluations, à répartir les ressources et à établir le calendrier d'évaluation. Pour tirer parti de cette catégorisation des risques et éviter toute redondance, la DGEMRE a décidé d'y recourir pour éclairer le niveau d'effort et de ressources à consacrer aux évaluations.

Le plan de vérification basé sur le risque distingue cinq niveaux de risque, qui prennent en compte le nombre de facteurs de risque et la gravité pour le Ministère et les intervenants. Voici la définition des cinq niveaux de risque :

• Risque très élevé – L'entité vérifiable est intrinsèquement exposée à des risques multiples qui devraient persister ou s'aggraver avec le temps. Les conditions opérationnelles présentent de considérables facteurs de risque. La matérialisation d'un ou de plusieurs de ces risques entraînerait des conséquences graves, pouvant entraver en permanence ou à long terme l'aptitude d'AADNC à atteindre ses objectifs. Les conséquences seraient ressenties par la majorité des intervenants, tant à l'intérieur du Ministère qu'à l'extérieur.
  
  
• Risque élevé - L'entité vérifiable est intrinsèquement exposée à de nombreux risques qui devraient persister avec le temps. Les conditions opérationnelles présentent de nombreux facteurs de risque. La matérialisation d'un ou de plusieurs de ces risques entraînerait des conséquences importantes, que le Ministère pourrait supporter moyennant une gestion attentive. Certaines activités ministérielles pourraient faire l'objet d'un examen approfondi ou d'un changement de méthodes. Les conséquences seraient ressenties par un grand nombre d'intervenants.
  
  
• Risque modéré - L'entité vérifiable est intrinsèquement exposée à plusieurs risques qui devraient persister avec le temps. Les conditions opérationnelles présentent quelques facteurs de risque. La matérialisation d'un ou de plusieurs de ces risques entraînerait des conséquences modérées, auxquelles les cadres pourraient faire face en y accordant un peu d'attention. Les conséquences seraient ressenties par un petit groupe d'intervenants.
  
  
• Faible risque - L'entité vérifiable est exposée à quelques risques qui pourraient s'atténuer avec le temps. Les conditions opérationnelles présentent quelques facteurs de risque. La matérialisation d'un ou de plusieurs de ces risques entraînerait des conséquences mineures, que l'activité normale pourrait résorber. Les conséquences seraient isolées.
  
  
• Très faible risque - L'entité vérifiable est intrinsèquement exposée à des risques peu nombreux ou inexistants. Les facteurs de risque des conditions opérationnelles sont peu nombreux ou inexistants. La matérialisation d'un ou de plusieurs de ces risques entraînerait des conséquences négligeables, que l'activité normale pourrait résorber.

Création du plan

Le Plan 2012-2013 prend appui sur le plan de l'année précédente. Comme il en a été question, les unités d'évaluation y ont été alignées avec la SGRR, et les dépenses prévues au titre des subventions et contributions ont été ajoutées. Les échéances d'évaluation ont été décrites, de façon à ce qu'une évaluation soit prévue dans les cinq ans suivant la précédente.

Un des objectifs centraux de ce processus est d'assurer une répartition équitable et stratégiquement regroupée des projets d'évaluation, de manière à en répartir l'impact sur les gestionnaires de programme, les opérations régionales, l'ensemble des secteurs et la DGEMRE.

Occasionnellement, par le passé, une évaluation était prévue durant la même année qu'une vérification, ce qui créait des pressions sur le personnel de programme. Pour atténuer ce problème à l'avenir, la DGEMRE a inclus les vérifications prévues au Plan de vérification basé sur le risque pour 2012-2013. Lorsque des vérifications et des évaluations sont prévues pour la même année, il a été convenu avec la DGSVA que les travaux de vérification seraient effectués tôt dans l'année financière, pour éviter d'inonder de demandes d'information le personnel des programmes.

L'inclusion des vérifications prévues aide également à moduler le niveau d'effort consacré aux évaluations. En général, les vérifications mettent au jour une abondante information sur la conception et la gestion des programmes, et donnent des indications anticipées sur le degré d'atteinte des résultats du programme. Une vérification devant précéder une évaluation peut influencer la portée de l'évaluation et le niveau d'effort requis.

Un des facteurs importants considérés dans la conception du plan a été le Plan d'action pour la réduction du déficit, prévu pour bientôt. Le gouvernement du Canada s'est engagé à réduire de 10 % ses dépenses durant l'exercice 2012‑2013, pour appuyer les efforts de réduction du déficit national. Même si les détails du Plan d'action demeurent pour l'instant inconnus, c'est dans ce contexte que les évaluations ont été planifiées. Pour contrebalancer l'incertitude qui s'annonce, la DGEMRE s'est surtout concentrée à définir les travaux à mener en 2012-2013. Le plan sera revu à l'été 2012.

Le présent plan prévoit la tenue de 48 évaluations entre 2012-2013 et 2016-2017, dont le tableau ci-dessous indique la répartition quinquennale.

Répartition des évaluations par résultat stratégique et par année

Dans l'ensemble, les évaluations sont réparties assez uniformément entre les résultats stratégiques, soit de 10 à 12 évaluations par résultat durant la période de cinq ans. La répartition annuelle des évaluations par secteur est également relativement uniforme, même s'il peut arriver, durant certaines années, qu'aucune évaluation ne soit prévue pour certains secteurs, ou bien qu'un secteur en particulier fasse l'objet d'un nombre relativement important d'évaluations, comme c'est le cas en 2013-2014 pour « Les terres et l'économie », où cinq évaluations sont prévues. Ces écarts seront examinés au moment de la révision du plan en juin 2012.

Comme pour la liste des évaluations, le calendrier d'établissement des stratégies de mesure du rendement est issu du plan de l'année précédente. Habituellement, le moment prévu pour l'établissement des stratégies suivait une évaluation. Il est intéressant de souligner que toutes les stratégies de mesure du rendement qui figuraient dans le plan précédent, sauf une, devaient être achevées en 2012-2013.

À l'heure actuelle, des stratégies de mesure du rendement ont été mises en place pour 24 des 48 évaluations prévues (50 %). Pour 14 autres évaluations, il est prévu qu'une stratégie sera élaborée à temps pour l'évaluation. L'autre 20 % d'évaluations ne sont que partiellement couvertes, c'est-à-dire soit qu'il existe une stratégie pour un élément (p. ex. sous‑sous‑activité) de l'évaluation, soit qu'aucune stratégie n'est prévue. La démarche et le calendrier d'établissement des nouvelles stratégies de mesure du rendement seront également revus en juin 2012.

Consultation auprès de la haute direction

Une fois qu'un plan avait été ébauché, des réunions étaient organisées avec toutes les personnes relevant directement du sous-ministre, pour confirmer la délimitation et le calendrier des évaluations prévues. Ces réunions avec les cadres supérieurs ont également permis de voir à ce que les évaluations correspondent à leurs besoins en information (p. ex. rapports devant être présentés au Parlement, examens de programme). À la lumière de ces discussions, deux évaluations ont été reportées à 2012-2013.

Modulation des efforts

L'article 6.2.1, alinéa c), des Normes d'évaluation pour le gouvernement du Canada donne aux ministères la latitude nécessaire pour moduler la nature et l'ampleur de chaque évaluation selon les risques associés au programme et les besoins en information de l'administrateur général.

Une analyse des dix évaluations devant débuter en 2012-2013 a été entreprise, pour déterminer le niveau d'effort requis par chaque évaluation et mieux ajuster les ressources disponibles. Cette opération de modulation a tenu compte de quatre facteurs :

1. Importance relative – Les évaluations des programmes dont les dépenses en subventions et contributions dépassaient 500 M$ ont obtenu une note de 3; celles portant sur des dépenses de 100 à 500 M$, une note de 2; et celles couvrant un montant inférieur à 100 M$, une note de 1.
   
   
2. Risque – Une note de 4 a été accordée aux unités d'évaluation présentant une catégorie de risque « très élevé »; une note de 3 pour une cote de risque « élevé »; une note de 2 pour une cote de risque « modéré » et une note de 1 pour une cote « faible ».
   
   
3. Complexité – Les notes relatives à la complexité des évaluations étaient déterminées par le nombre de partenaires d'exécution, la couverture, la structure de gouvernance, le nombre de mécanismes d'exécution et le nombre d'objectifs :

Mesure du rendement – La disponibilité de données de mesure du rendement a été classée selon le nombre d'années depuis lesquelles il existe une stratégie de mesure du rendement : en vert depuis trois ans au moins; en jaune depuis un à deux ans; en rouge s'il n'existe pas de stratégie. Le pointage maximum est 10. Voici les résultats de l'opération de modulation :

• Incidence des ententes sur le règlement des revendications territoriales globales et l'autonomie gouvernementale = jaune depuis un à deux ans
  
  
• Négociation et mise en œuvre d'accords sur l'autonomie gouvernementale et le règlement de revendications territoriales = rouge s'il n'existe pas de stratégie
  
  
• Plan d'action sur les revendications particulières (évaluation sommative) = rouge s'il n'existe pas de stratégie
  
  
• Aide au revenu, Réinvestissement de la Prestation nationale pour les enfants et Aide à la vie autonome = jaune depuis un à deux ans
  
  
• Infrastructure des systèmes d'approvisionnement en eau et de traitement des eaux usées des Premières Nations = vert depuis trois ans au moins; en jaune depuis un à deux ans
  
  
• Plan d'action sur les sites contaminés fédéraux = jaune depuis un à deux ans
  
  
• Approche améliorée et axée sur la prévention pour les services d'aide à l'enfance et à la famille des Premières Nations au Québec et à l'Île du Prince Édouard = jaune depuis un à deux ans
  
  
• Activation des biens communautaires = rouge s'il n'existe pas de stratégie
  
  
• Entrepreneuriat autochtone = rouge s'il n'existe pas de stratégie
  
  
• Contribution à Nutrition Nord (évaluation de la mise en œuvre) = jaune depuis un à deux ans
  
  
• Le Programme de contribution de l'interlocuteur fédéral et de l'initiative Powley : Gestion des droits autochtones des Métis = rouge s'il n'existe pas de stratégie
  
  
• Consultation et engagement = rouge s'il n'existe pas de stratégie

L'analyse ci-dessus montre que sur les 12 évaluations prévues pour 2012-2013, sept ont une haute importance relative, couvrant des dépenses annuelles de plus de 500 M$ en subventions et contributions. Quatre font état d'un risque « très élevé », et six d'un risque « élevé ». Sept sont jugées complexes. Deux évaluations ont reçu le pointage maximal de 10, quatre ont reçu une cote de 9, et deux une cote de 8. Seulement trois évaluations ont reçu une cote de 5 ou moins, ce qui signifie que la DGEMRE doit gérer pour la première année du plan un portefeuille d'évaluations complexe et à risque élevé. Les cotes de modulation serviront à déterminer le niveau d'effort et de ressources.

Pour ce qui touche la mesure du rendement, le classement révèle l'inexistence de stratégie pour six évaluations. Une seule évaluation repose sur une stratégie qui remonte à plus de trois ans; les cinq autres évaluations peuvent compter sur de nouvelles stratégies de mesure du rendement. L'absence de stratégie de mesure du rendement influe sur le niveau d'effort à consacrer à une évaluation. Les évaluations devront introduire des méthodologies qui permettent de combler les lacunes informationnelles, ce qui exige habituellement plus d'efforts et de ressources.