Affaires autochtones et du Nord Canada Plan quinquennal des stratégies d'évaluation et de mesure du rendement - De 2016-2017 à 2020-2021

1.1 Objet du plan quinquennal

L'objectif premier du Plan est d'aider l'administrateur général à s'assurer d'avoir à sa disposition une information crédible, neutre et obtenue en temps opportun sur la pertinence continue et le rendement des dépenses directes de programme et des programmes permanents de subventions et contributions pour appuyer une prise de décisions fondée sur les faits et communiquer les résultats pour les Canadiens^{Note de bas de page 2}. En outre, le Plan :

• donne l'occasion d'harmoniser les évaluations afin de s'assurer que les besoins en matière d'information du Ministère et d'autres utilisateurs de l'évaluation (p. ex., les autres ministères du gouvernement où la DGEMRE assure une programmation horizontale) sont satisfaits;
• aide à faire en sorte que les évaluations étayant la restructuration des programmes soient planifiées et menées à terme avant le renouvellement des programmes;
• offre aux gestionnaires de programme et aux chefs de l'évaluation une tribune annuelle pour discuter de l'élaboration et de l'application de stratégies de mesure du rendement qui soutiennent efficacement les évaluations;
• permet aux sections ministérielles chargées d'élaborer le Rapport sur les plans et les priorités et le Rapport ministériel sur le rendement, de même qu'à d'autres groupes participant aux activités de planification stratégique et de rapport, de déterminer à quel moment les évaluations seront prêtes pour guider leur travail;
• instaure des communications régulières et un climat de concertation sur les besoins et les priorités d'évaluation à l'échelle du Ministère; et
• fournit aux organismes centraux un préavis de la date à laquelle les évaluations seront disponibles pour appuyer leurs travaux (p. ex. à l'appui d'un mémoire au Cabinet ou de présentations au Conseil du Trésor).

En outre, le Plan est un outil important de l'administrateur général et de la Direction générale pour gérer le déroulement des projets et la planification des activités de ses ressources humaines. Des rapports sur l'avancement du Plan sont généralement présentés à toutes les réunions régulières du CEMRE afin de donner l'assurance d'une mise en œuvre en temps opportun et d'alerter le Comité de tout changement ou ajout requis. La DGEMRE se réunit généralement quatre fois au cours d'un exercice.

1.2 Historique et contexte ministériel

Le Plan a été élaboré à l'aide du Guide d'élaboration d'un plan d'évaluation ministériel du Conseil du Trésor, mais en tenant compte aussi de l'orientation que donnera prochainement la Politique sur l'harmonisation des résultats et des ressources du Secrétariat du Conseil du Trésor. La mise à jour imminente de la Politique sur l'évaluation de 2009 reposait sur le constat que les architectures d'alignement des programmes et les cadres de mesure des programmes de l'ensemble du gouvernement avaient atteint un niveau de maturité tel qu'ils devaient être recentrés. Selon le Secrétariat du Conseil du Trésor, les outils d'établissement de rapports existants sont perçus comme surchargeant les ministères et mettant l'accent sur des indicateurs de signification limitée plutôt que sur l'atteinte des résultats. De plus, les évaluations ne sont pas jugées suffisamment rapides et sont souvent limitées par l'insuffisance de l'information sur le rendement. Dans certains cas, cela limitait la capacité de démontrer que les résultats étaient atteints.

La nouvelle politique devrait permettre aux ministères d'établir un cadre de résultats qui établit les responsabilités de base, les résultats connexes et les indicateurs appropriés. Elle limitera aussi les exigences de façon à ce que les ministères n'aient à communiquer au Conseil du Trésor qu'une partie de l'information sur le rendement qu'ils recueillent. Elle permettra aux ministères de mettre la priorité sur la couverture et les enjeux des évaluations, tout en assurant la professionnalisation de la fonction d'évaluation. Elle continuera de demander aux ministères de faire rapport tant de leurs dépenses directes de programme que de leurs programmes permanents de subventions et contributions, mais accordera plus de souplesse en permettant une planification fondée sur le risque pour ce qui est des dépenses directes de programme et en donnant possibilité de différer les évaluations au-delà de cinq ans lorsque les dépenses annuelles moyennes sont inférieures à 5 millions de dollars.

1.3 Mandat ministériel

AANC est le ministère fédéral responsable de répondre aux obligations et engagements du gouvernement du Canada envers les Premières Nations, les Inuits et les Métis, et d'acquitter les responsabilités constitutionnelles du gouvernement fédéral dans le Nord^{Note de bas de page 3}.

Le mandat général du Ministère découle de la Loi constitutionnelle de 1982, de la Loi sur les Indiens, de la Loi sur le ministère des Affaires indiennes et du Nord canadien, des lois territoriales, des traités, des ententes sur le règlement des revendications globales et sur l'autonomie gouvernementale ainsi que de nombreuses autres lois qui concernent les Autochtones et le Nord.

Une partie importante du mandat du Ministère provient également des décisions stratégiques et des pratiques de programme qui ont été établies au fil des ans. Le mandat du Ministère est aussi balisé par des décisions judiciaires qui ont des incidences politiques directes^{Note de bas de page 4}.

1.4 Structures et prestation des programmes

Les activités ministérielles sont largement structurées par des arrangements en matière de financement ou des ententes officielles conclues avec les Premières Nations ou les gouvernements provinciaux et territoriaux. La prestation de la plupart des programmes d'AANC, qui comptent pour la majorité de ses dépenses, est assurée par l'intermédiaire de partenariats avec des collectivités autochtones ou d'accords fédéraux-provinciaux ou fédéraux-territoriaux. AANC travaille également avec les Autochtones vivant en milieu urbain, les Métis et les Indiens non inscrits (dont bon nombre habitent dans des régions rurales).

1.5 Dépenses prévues et paiements de transfert

Selon les Comptes publics du Canada de 2015, AANC est le cinquième ministère fédéral en importance pour ce qui est du montant total des dépenses ministérielles nettes, et le troisième en importance pour ce qui est du montant total des paiements de transfert et des subventions et contributions, après Finances Canada et Emploi et Développement social Canada.

D'après le Budget principal des dépenses de 2016-2017^{Note de bas de page 5}, AANC dépense plus de 7,5 milliards de dollars annuellement, dont environ 88 % (6,7 milliards de dollars) vont directement aux bénéficiaires par l'intermédiaire de paiements de transfert. Les dépenses totales prévues d'AANC en 2016-2017 sont indiquées dans le tableau ci-dessous en fonction des résultats stratégiques du Ministère.

2.1 Moteurs de planification des évaluations

Des évaluations de programme sont requises par la disposition 6.1.7 de l'actuelle Politique sur l'évaluation du Conseil du Trésor (2009). Le paragraphe 42.1 de la Loi sur la gestion des finances publiques exige aussi d'évaluer tous les programmes permanents de subventions et de contributions tous les cinq ans. La planification des évaluations est faite en tenant compte de ces exigences et en privilégiant les pratiques de gestion rigoureuses, qui aident à faire en sorte que des résultats soient obtenus pour les Canadiens.

Chaque année, la Direction générale des services de vérification et d'assurance établit les rangs de priorité des unités vérifiables au sein du Ministère, conformément à l'orientation du Bureau du contrôleur général. Les considérations de risque sont : l'incidence des risques recensés sur l'atteinte des résultats ministériels; leur importance; leur portée; la possibilité qu'ils attirent l'attention du public; les risques juridiques; la prévalence des risques; et la gravité des conséquences. Le Plan est élaboré dans le contexte du Plan de vérification axé sur le risque pour 2016-2017 à 2018-2019). Les cotes de risque sont indiquées à l'annexe B et sont codées par couleur pour refléter le niveau de risque déterminé dans le Plan de vérification axé sur le risque^{Note de bas de page 6}.

2.2 Ce qu'il y a de nouveau dans le Plan

Le cadre de gestion du gouvernement fondé sur les résultats, concrétisé par les mandats ministériels rendus publics, l'imminente Politique sur l'harmonisation des résultats et des ressources et les priorités essentielles du gouvernement communiquées à AANC convergent pour favoriser un changement dans les structures des programmes et dans l'information sur le rendement disponible au sein du Ministère. Cela pourrait donner lieu à la création de nouvelles entités de programme et à la formulation de nouveaux résultats attendus et d'indicateurs de rendement connexes. Quoi qu'il en soit, l'orientation du Secrétariat du Conseil du Trésor précise que la planification de 2016-2017 doit être faite en conformité avec les politiques et les exigences de couverture.

La première étape de la préparation du Plan pour 2016-2017 à 2020-2021 consistait à s'assurer que toutes les dépenses permanentes en matière de programmes soient évaluées tous les cinq ans. Le crédit pour la couverture des évaluations est accordé à l'approbation d'un rapport par l'administrateur général, suivant le principe selon lequel l'approbation prévoit le partage de l'information à l'appui des interventions de la direction et la communication des résultats au public. Cet examen était fondé sur l'Architecture d'alignement de programmes du Ministère en 2016-2017 (annexe A) et, comme dans les années antérieures, cadre avec la Structure de gestion, des ressources et des résultats d'AANC.

La préparation du plan comprenait aussi l'examen des secteurs de programme au sein du Ministère afin de s'assurer que chacun soit évalué avant la reconduction des programmes ou conformément aux engagements temporels pris auprès du Conseil du Trésor, et que les exigences de la Loi fédérale sur la responsabilité soient satisfaites.

Par conséquent, le document comporte maintenant deux « tableaux de couverture », que tous les ministères doivent remplir et soumettre au Secrétariat du Conseil du Trésor chaque année. L'annexe B (« Affaires autochtones et du Nord Canada – Calendrier quinquennal des évaluations – De 2016-2017 à 2020-2021 ») présente la séquence de toutes les évaluations de programme au cours des cinq prochaines années, avec les dates prévues de début et de fin^{Note de bas de page 7}. Le Plan montre ainsi la réalisation prévue de 44 évaluations couvrant 100 % des dépenses directes de programme entre 2016-2017 et 2020-2021.

Le Calendrier quinquennal des évaluations est joint sous l'annexe B. L'annexe C (« Affaires autochtones et du Nord Canada – Couverture des programmes permanents de subventions et de contributions – De 2016-2017 à 2020-2021 ») comprend un aperçu du moment des évaluations, comme requis par la Loi sur la gestion des finances publiques.

2.3 Couverture des évaluations prévues des dépenses directes de programme, des services internes et des examens

Si on dresse le bilan de l'année écoulée, dix rapports d'évaluation portant sur des dépenses directes de programme ont été approuvés en 2015-2016, dont deux amorcées au cours de l'exercice précédent. Ces évaluations, qui concernent 1,2 milliard de dollars (15,02 %) des dépenses directes de programme du Ministère, sont les suivantes :

• l'évaluation du Programme d'accès au capital et aux services aux entreprises;
• l'évaluation des activités de consultation et d'accommodement;
• l'évaluation du Programme des sites contaminés au sud du 60e parallèle (auparavant connu sous le nom de Programme des sites contaminés dans les réserves);
• l'évaluation du Programme écoÉNERGIE pour les collectivités autochtones et nordiques;
• l'évaluation des établissements d'enseignement et des infrastructures communautaires;
• l'évaluation de la gestion des terres de réserve;
• l'évaluation de l'incidence des accords sur l'autonomie gouvernementale;
• l'évaluation de la mise en œuvre de la réforme de l'aide au revenu dans les réserves (évaluation conjointe avec Emploi et Développement social Canada);
• l'évaluation des services relatifs aux terres et au développement économique; et
• l'évaluation du pétrole et des minéraux.

Une autre évaluation a été achevée et approuvée en 2015-2016, soit l'évaluation des activités de recrutement, de perfectionnement et de maintien en poste d'AANC. Cette évaluation des services internes a été menée pour répondre aux besoins de la direction d'AANC et rend compte d'activités administratives importantes que le Ministère souhaitait examiner.

Les évaluations suivantes de dépenses directes de programme ont débuté en 2015-2016 et devraient être terminées et approuvées en 2016-2017 :

• l'évaluation de la gouvernance et des institutions gouvernementales;
• l'évaluation du logement dans les réserves;
• l'évaluation de la gouvernance du Nord – Soutien aux relations territoriales et aux organismes du Nord; et
• l'évaluation horizontale de l'adaptation aux changements climatiques (à réaliser conjointement avec Environnement Canada).

En plus des évaluations ci-dessus, qui portent sur des dépenses directes de programme, d'autres travaux commencés en 2015-2016 seront terminés en 2016-2017. Il s'agit de cinq évaluations des services internes et de deux examens :

• l'évaluation des unités de gestion des affaires (évaluation des services internes);
• l'évaluation du cycle annuel de gestion des ententes (auparavant le cycle de financement annuel accéléré) (évaluation des services internes);
• l'évaluation de la mise en œuvre de Milieu de travail 2.0 (auparavant Accommodement 2.0) (évaluation des services internes);
• l'examen de la mise en œuvre de l'Accord-cadre tripartite sur l'éducation (auparavant désigné sous le nom de Comité de coordination de l'éducation des Premières Nations) (examen); et
• l'étude des leçons apprises des crédits personnels (examen/étude des leçons apprises).

Par conséquent, neuf évaluations qui ont été commencées en 2015-2016 seront terminées et soumises à la DGEMRE pour approbation en 2016-2017.

L'annexe D (« Comité de l'évaluation, de la mesure du rendement et de l'examen – 2016-2017 – Calendrier des éléments »), énumère tous les engagements en matière de planification et les jalons et produits livrables de la Direction générale. En plus des travaux énumérés ci-dessus, le tableau montre que 18 nouvelles évaluations seront lancées au cours de 2016-2017. Parmi celles-ci, 16 porteront sur des programmes comportant des dépenses directes de programme et deux, sur des services internes, soit l'évaluation de l'initiative de développement du leadership autochtone et l'évaluation des centres de passation de marchés et d'approvisionnement. Cinq de ces 18 évaluations seront terminées et soumises à l'approbation de la DGEMRE en 2016-2017.

Le graphique de la page suivante montre le niveau d'activité auquel la DGEMRE devra s'engager au cours de l'exercice 2016-2017 et du suivant pour respecter le Plan et se conformer aux exigences de la politique. La ligne rouge montre le volume des projets actifs lorsqu'on tient compte de la préparation des mandats et de la clôture des projets (pour la publication sur le Web). La période d'activité maximale qui apparaît vers la fin de 2016-2017 correspond à la préparation d'une série de mandats pour des évaluations prévues.

Équivalent textuel de la Graphique 1

Le graphique 1 montre le nombre de projets d’évaluation actifs qui devraient être réalisés entre janvier 2016 et novembre 2017. L’axe vertical, qui s’intitule « Nombre de projets actifs », augmente par tranches de cinq allant de 0 à 25. L’axe horizontal ne porte pas de titre; les mois de janvier 2016 à novembre 2017y sont indiqués.

Le graphique comporte trois lignes. L’une est une ligne droite horizontale qui traverse tout le graphique, à la valeur de 17,5 sur l’axe vertical. Le texte imprimé dans le graphique indique « Nombre moyen de projets actifs ».

Une deuxième ligne horizontale, qui fluctue cette fois, est intitulée « Nombre d’évaluations, y compris les mandats (3m) et les clôtures (4m) ». Ses points correspondent aux valeurs suivantes : 16 janvier 2016; 15 février 2016; 15 mars 2016; 15 avril 2016; 20 mai 2016; 16 juin 2016; 16 juillet 2016; 17 août 2016; 19 septembre 2016; 18 octobre 2016; 18 novembre 2016; 19 décembre 2016; 16 janvier 2017; 20 février 2017; 23 mars 2017; 20 avril 2017; 20 mai 2017; 20 juin 2017; 18 juillet 2017; 18 août 2017; 18 septembre 2017; 15 octobre 2017; et 15 novembre 2017.

Une troisième ligne horizontale, qui fluctue elle aussi, s’intitule « Nombre d’évaluations uniquement d’après les dates d’approbation des mandats et les dates d’approbation par la Sous-ministre ». Les points correspondent aux valeurs suivantes : 9 janvier 2016; 8 février 2016; 8 mars 2016; 8 avril 2016; 10 mai 2016; 13 juin 2016; 9 juillet 2016; 9 août 2016; 12 septembre 2016; 11 octobre 2016; 11 novembre 2016; 12 décembre 2016; 11 janvier 2017; 10 février 2017; 16 mars 2017; 13 avril 2017; 13 mai 2017; 13 juin 2017; 11 juillet 2017; 11 août 2017; 11 septembre 2017; 8 octobre 2017; et 8 novembre 2017.

2.4 Couverture des évaluations prévues des programmes permanents de subventions et contributions

AANC a actuellement la responsabilité de 36 autorisations (subventions et contributions votées). Il existe une relation directe entre les autorisations indiquées dans le Budget principal des dépenses et le répertoire des programmes permanents de subventions et contributions que le Ministère considère être un « programme » dans seulement sept cas. Certains programmes s'appuient sur plusieurs subventions et contributions. Inversement, une subvention ou une contribution peut soutenir plusieurs programmes ministériels.

La Direction générale prend en compte ce qui précède dans sa planification afin de s'assurer que les évaluations examinent la pertinence et le rendement de toutes les subventions et contributions votées sur un cycle de cinq ans. Les activités d'évaluation sont organisées de manière à recueillir l'information nécessaire, soit au moyen d'évaluations distinctes des autorisations ou des subventions et contributions individuelles, soit au moyen d'évaluations qui rendent compte de la pertinence et du rendement des autorisations rattachées à des programmes plus vastes. Chaque rapport d'évaluation indiquera clairement les autorisations prises en compte par les activités d'évaluation.

Dans ce contexte, le Plan indique le moment prévu des évaluations à l'annexe C (« Affaires autochtones et du Nord Canada – Couverture des programmes permanents de subventions et de contributions – De 2016-2017 à 2020-2021 »). Ce tableau relie toutes les autorités responsables à tous les programmes ministériels. Cela aide à clarifier les liens qui existent entre et parmi les autorisations et les programmes afin de soutenir les efforts du Ministère pour répondre aux exigences de la Loi fédérale sur la responsabilité et fournir l'information nécessaire sur le rendement.

En 2016-2017, on prévoit que 22 des 36 autorisations (61 %) seront couvertes en totalité ou en partie par les évaluations prévues et les rapports que la Direction générale devrait approuver.

2.5 esure du rendement de la Direction générale de l'évaluation, de la mesure du rendement et de l'examen

La DGEMRE a établi des mesures du rendement pour s'assurer de progresser vers les exigences de couverture. Le Plan d'activités du Secteur de la vérification et de l'évaluation pour 2016-2017 établit des cibles pour la Direction générale concernant le lancement, le déroulement et l'achèvement des évaluations prévues. La Direction générale s'est donné pour objectif de lancer 50 % des évaluations prévues au cours du premier trimestre de l'exercice, 25 % au cours du deuxième trimestre et les 25 % restants au cours du troisième trimestre. Ainsi, la première année du Plan, cinq évaluations débuteront au premier trimestre, quatre au deuxième trimestre et les deux autres au troisième trimestre. En outre, la Direction générale a établi des cibles pour ses produits livrables, comme suit :

• les résultats préliminaires de 80 % des évaluations seront communiqués au moment prévu; et
• les rapports finaux de 65 % des projets d'évaluation seront déposés au moment prévu.

2.6 Mise en œuvre du Plan

Les évaluations menées par la DGEMRE serviront à appuyer la prise de décisions et l'établissement de rapports (comme les rapports sur les plans et priorités, les rapports sur le rendement ministériel et le rapport annuel sur l'état de la mesure du rendement) et à évaluer les progrès réalisés par les programmes pour atteindre les résultats attendus et intégrer les leçons apprises afin d'améliorer la conception et la prestation des programmes.

De plus en plus, afin de gérer la charge de travail, d'améliorer le déroulement des évaluations et d'assurer la plus grande pertinence de la fonction d'évaluation, la Direction générale verra à mettre l'accent sur les enjeux prioritaires dans ses évaluations et cherchera à en déterminer la portée de manière à répondre au point de pertinence, de rendement et d'efficacité le plus urgent, tel que déterminé dans sa phase de planification. Les changements imminents à la politique permettent une plus grande flexibilité dans la détermination des enjeux, ce qui confère à la DGEMRE plus de souplesse pour établir la portée de ses travaux. Une fois défini, le cadre de référence de chaque évaluation sera approuvé par la DGEMRE.

En 2015-2016, la DGEMRE a mis en place de nouvelles conventions d'offre à commandes avec un éventail d'entreprises, qui donnent accès à des services d'évaluation, d'enquête et d'analyse statistique et quantitative. Pour réaliser son plan, la Direction générale mènera ses activités à l'interne et pourra compter sur les compétences de ressources supplémentaires en matière d'évaluation, s'il y a lieu.

Le tableau ci-dessous donne un aperçu des dépenses et des ressources humaines réelles et prévues affectées à l'évaluation sur un horizon de trois ans.

Il est à noter que, bien que le tableau indique 22 postes équivalents temps plein, la Direction générale fonctionne rarement à sa pleine capacité et doit constamment pourvoir des postes vacants en raison du mouvement général de personnel vers d'autres possibilités et les délais nécessaires pour doter les postes. La Direction générale tire aussi parti des compétences et des talents d'étudiants de premier cycle et des cycles supérieurs tout au long de l'année.

2.7 Autres activités de la Direction générale

En plus de mener des évaluations, la Direction générale entreprend une panoplie d'activités pour appuyer et renforcer les travaux d'évaluation et de mesure du rendement du Ministère. Celles-ci comprennent la prestation de conseils et de soutien pour la mesure du rendement, la planification organisationnelle et l'établissement de rapports à l'échelle du Ministère (p. ex., l'Architecture d'alignement des programmes et le Cadre de gestion du rendement), l'appui au développement des capacités et des activités de sensibilisation, en plus de la tenue de travaux de recherche et d'études spéciales sur les enjeux relatifs à l'évaluation et à la mesure du rendement.