Archivé - Évaluation du Programme de soutien d'initiatives stratégiques et de recherche — Finances Canada

Informations archivées

Les informations archivées sont fournies aux fins de référence, de recherche ou de tenue de documents. Elles ne sont pas assujetties aux normes Web du gouvernement du Canada et n'ont pas été modifiées ou mises à jour depuis leur archivage. Pour obtenir ces informations dans un autre format, veuillez communiquez avec nous.

(Services d'évaluation de programme et de mesure du rendement)
Mars 2009

Table des matières 

Résumé

1.0 Introduction

1.1 Contexte
1.1.1 Budget

2.0 Méthode d'évaluation

2.1 Enjeux et questions d'évaluation
2.2 Méthode
2.2.1 Examen des dossiers
2.2.2 Entrevues auprès des parties prenantes
2.3 Limitations de la méthode

3.0 Conclusions des évaluations

3.1 Pertinence du programme
3.2 Réussite du programme
3.3 Rapport coût‑efficacité du programme et solutions de rechange

4.0 Résumé des Conclusions et des Recommandations

Annexe A - Liste des projets de SISR approuvés

Annexe B - Matrice d'évaluation

Annexe C - Modèle logique de SISR de Finances Canada

Annexe D - Guide d'entrevue

Annexe E – Réponse et Plan d'action de la direction

Résumé 

Le présent rapport expose les conclusions de l'évaluation du programme de soutien d'initiatives stratégiques et de recherche (SISR) menée pour Finances Canada. L'évaluation a été menée afin de donner suite aux exigences d'évaluation du programme en vue de son renouvellement, conformément à la Politique sur les paiements de transfert et aux exigences du Conseil du Trésor. Les conclusions de l'évaluation serviront aussi aux gestionnaires de programme en fournissant des renseignements visant à améliorer le rendement et l'exécution des programmes. La Direction de la vérification interne et de l'évaluation du SCT a lancé une fonction d'intendance au cours de l'évaluation. L'évaluation a mis l'accent sur trois principaux aspects : pertinence, réussite et rapport coût‑efficacité. 

Description du SISR

Le Programme de SISR de Finances Canada est un programme de contributions versées à des catégories de bénéficiaires visant à appuyer des projets spéciaux de petite taille qui contribuent aux objectifs ministériels, mais qui ne produisent pas de biens ni de services précis. Un maximum de 25 000 $ par année peut être versé à un bénéficiaire unique, et jusqu'à 100 000 $ par bénéficiaire peuvent être accordés sur une période de cinq ans, à titre exceptionnel, dans le cas de projets pluriannuels. Une somme de cent mille dollars (100 000 $) par année a été attribuée au titre de ce programme dans l'ensemble du ministère. Pour exercer ce pouvoir, il faut obtenir une recommandation conjointe des dirigeants d'une direction, l'approbation financière de l'agent financier supérieur à temps plein (AFSTP) et l'approbation du sous-ministre.

Pendant l'évaluation d'une durée de six ans (c. à‑d. de 2003‑2004 à 2008‑2009), un total de 173 700 $ a été approuvé par l'entremise du Programme de SISR de Finances Canada.

Méthode d'évaluation et limitations

La méthode d'évaluation a été conçue pour faire en sorte que le coût de l'évaluation corresponde aux fonds relativement modestes versés dans le cadre de ce programme. L'évaluation n'a donc intégré que deux éléments de preuve : l'examen des dossiers et des entrevues auprès des principales parties prenantes.

Comme pour toute évaluation, les méthodes comportent certaines limitations. D'abord, les entrevues et l'examen des dossiers n'englobaient pas tous les projets ayant été financés dans le cadre du programme. Des efforts ont toutefois été déployés afin de choisir les projets qui avaient représenté le pourcentage le plus élevé des dépenses du programme pendant la période d'évaluation. SCG considère que les dossiers choisis constituent un bon échantillon, et il estime qu'ils sont représentatifs des projets de Finances Canada dans le cadre du SISR. 

L'insuffisance de renseignements quantitatifs constitue une deuxième limitation de l'évaluation. Les entrevues et l'examen des dossiers menés aux fins de l'évaluation constituent des sources d'informations qualitatives. Peu de renseignements quantitatifs étaient disponibles au sujet du programme, surtout en ce qui a trait aux avantages ou aux résultats du programme.

Pertinence du programme

Les projets de SISR sont harmonisés avec les objectifs du ministère et du programme. Les projets de SISR examinés étaient liés à des recherches et au soutien de conférences sur des sujets liés aux objectifs de Finances Canada et du programme. Parmi les sujets examinés dans le cadre de projets de SISR, mentionnons l'évolution du secteur des services financiers et ses répercussions pour les fournisseurs de services canadiens; l'amélioration, l'avancement et la promotion de saines pratiques de régie d'entreprise; l'avancement des connaissances dans le domaine des régimes de retraite privés; et le développement du savoir‑faire du secteur privé dans le domaine de la politique fiscale.

Le Programme de SISR satisfait aux besoins des secteurs de Finances Canada en finançant des projets qui n'auraient autrement peut‑être pas été possibles. Les personnes interviewées ont signalé qu'il n'y avait pas de ressources sur place disponibles pour mener les travaux effectués dans le cadre de projets de SISR. De même, de façon générale, les personnes interviewées ont déclaré que les activités de projet de SISR n'auraient pas été menées par les organismes bénéficiaires sans les fonds octroyés. Selon les personnes interviewées, Finances Canada n'aurait pas eu les mêmes avantages si les fonds n'avaient pas été accordés. Par exemple, les organismes n'auraient pu mener autant de recherches; les Finances n'auraient pas eu autant d'influence sur le programme de recherche; et les chercheurs ne participeraient pas à la recherche sur la politique fiscale. De même, en l'absence des fonds octroyés par Finances Canada, les projets auraient probablement été menés à plus petite échelle, avec une moins grande participation des autres organismes.

Réussite du programme

L'examen des dossiers mené dans le cadre de cette évaluation a mis en relief l'insuffisance d'éléments de preuves dans les dossiers de Finances Canada en ce qui a trait aux avantages des projets. Les seuls renseignements ayant résulté de l'examen des dossiers, pour ce qui est des avantages de ces projets, étaient en majeure partie des renseignements au sujet des avantages prévus, plutôt que des avantages concrets obtenus. Il n'est pas exigé, aux termes du Programme de SISR, de verser un bilan au dossier du projet. Les avantages concrets qui échoient de Finances Canada par suite de ces projets ne sont donc pas consignés de manière courante. 

Recommandation 1 : Le secteur de programme doit mettre en œuvre un mécanisme afin de faire en sorte que l'impact du programme puisse être mesuré sous l'angle des avantages concrets, plutôt que des avantages prévus. Par exemple, un bilan déposé après le projet pourrait être exigé pour tous les projets de SISR. Ce rapport pourrait être un simple document d'une page à remplir par suite de chaque projet.

Les personnes interviewées estiment que le Programme de SISR a contribué à la réalisation des objectifs fixés (c. à‑d. améliorer les politiques ou les programmes, accroître la connaissance des questions stratégiques émergentes, et renforcer la capacité d'analyse). 

Selon les personnes interviewées, le Programme de SISR a permis d'améliorer les politiques ou les programmes dont leur secteur est responsable parce qu'il permet au ministère des Finances Canada de soutenir la recherche qui l'aide à offrir de meilleurs conseils stratégiques. Les personnes interviewées étaient aussi d'accord pour dire que le Programme de SISR a permis d'élargir la connaissance des questions stratégiques émergentes. Enfin, les personnes ont signalé que le Programme de SISR a permis de renforcer la capacité d'analyse. Étant donné que la recherche est influencée par le ministère des Finances Canada, elle est adaptée à ses besoins et elle accroît donc sa capacité de produire des analyses approfondies et pertinentes. La recherche financée par le SISR accroît également la quantité de renseignements disponibles pour les analyses.

Rapport coût‑efficacité du programme et solutions de rechange

Les solutions de rechange au Programme semblent peu nombreuses. Les personnes interviewées ont signalé l'insuffisance des ressources (humaines et financières) qui permettraient à Finances Canada de mener les travaux sur place. Des problèmes ont été constatés à l'égard de la seule autre solution de rechange suggérée (faire effectuer les travaux à contrat) surtout en raison du fait qu'ils n'étaient pas assortis du cadre juridique qui s'impose ou parce que l'exécution des travaux à contrat était considérée comme étant moins efficace qu'un programme de contribution.

Les personnes interviewées estiment que le programme présente un bon rapport coût‑efficacité en raison des avantages du partenariat avec d'autres organisations (c. à‑d. mise à profit d'autres ressources). Dans la plupart des cas, Finances Canada n'a fourni qu'une partie du financement nécessaire à l'exécution des projets. Pour ce qui est des dossiers examinés, Finances Canada a contribué au coût total des projets dans une mesure de 12 % à 100 %.

En raison de la nature du Programme et de sa taille relativement modeste, son efficacité n'a pas été perçue comme étant un problème sur lequel cette évaluation devait porter. Certains renseignements relatifs à l'efficacité ont toutefois été recueillis à l'étape des entrevues. Les personnes interviewées ont été, de façon générale, positives au sujet de l'administration du programme. La plupart ont signalé que le processus de demande était simple et facile, et que les autorisations étaient accordées en temps opportun. 

Peu d'améliorations à apporter ont été soulignées, même si l'examen des dossiers mené aux fins de cette évaluation a mis en relief le fait que les documents liés aux projets (c. à‑d. les formulaires de demande ou de recommandation) n'étaient pas tous disponibles par l'entremise du gestionnaire du Programme de SISR, et comme il n'est pas nécessaire d'assortir au dossier un bilan du projet, les avantages concrets des projets ne sont pas consignés de manière courante.

Recommandation 2 : Les documents des projets doivent être recueillis et conservés de manière plus systématique et ils doivent être entreposés dans un lieu central.

1.0 Introduction

Le présent rapport expose les conclusions de l'évaluation du Programme de soutien d'initiatives stratégiques et de recherche (SISR) menée pour Finances Canada. L'évaluation a été menée afin de donner suite aux exigences d'évaluation du programme en vue de son renouvellement, conformément à la Politique sur les paiements de transfert et aux exigences du Conseil du Trésor. Les conclusions de l'évaluation serviront aussi aux gestionnaires de programme en fournissant des renseignements visant à améliorer le rendement et l'exécution des programmes. Finances Canada et le Secrétariat du Conseil du Trésor (SCT) ont confié aux Services-conseils du gouvernement (SCG) le mandat de procéder à l'évaluation. La Direction de la vérification interne et de l'évaluation du SCT a lancé une fonction d'intendance au cours de l'évaluation.

L'étude visait à évaluer le programme sous l'angle de la pertinence, de la réussite et du rapport coût‑efficacité /solutions de rechange. La recherche liée à cette évaluation a été menée entre décembre 2008 et janvier 2009.

Le rapport d'évaluation est organisé comme suit :

  • La partie 1 renferme une description du Programme de SISR;
  • La partie 2 présente la méthode d'évaluation;
  • La partie 3 expose les résultats obtenus par enjeu et question d'évaluation;
  • La partie 4 présente les conclusions et les recommandations.

1.1 Contexte

Le Programme de SISR de Finances Canada est un programme de contributions versées à des catégories de bénéficiaires visant à appuyer des projets spéciaux de petite taille qui contribuent aux objectifs ministériels, mais qui ne produisent pas de biens ni de services précis. Un maximum de 25 000 $ par année peut être versé à un bénéficiaire unique, et jusqu'à 100 000 $ par bénéficiaire peuvent être accordés sur une période de cinq ans, à titre exceptionnel, dans le cas de projets pluriannuels. Une somme de cent mille dollars (100 000 $) par année a été attribuée au titre de ce programme dans l'ensemble du ministère. Pour exercer ce pouvoir, il faut obtenir une recommandation conjointe de l'exécutif d'une direction, l'approbation financière de l'agent financier supérieur à temps plein (AFSTP) et l'approbation du sous-ministre.

Les modalités et les conditions du programme devaient arriver à échéance le 31 mars 2008, mais elles ont été prolongées d'un an aux termes de la Politique sur les paiements de transfert en vigueur à ce moment. Une évaluation sommative du programme doit être menée afin de renouveler le programme pour une période de cinq ans.

1.1.1 Budget

Pendant l'évaluation d'une durée de six ans (c. à‑d. de 2003‑2004 à 2008‑2009), un total de 173 700 $ a été approuvé par l'entremise du Programme de SISR de Finances Canada. (Remarque : une dépense de 5 000 $ a été approuvée pour 2009‑2010.) Cela représente une somme moyenne de 28 950 $ par année attribuée aux projets. La ventilation des dépenses par année est établie au tableau 1.

Tableau 1
Financement approuvé au titre du SISR de Finances Canada
Exercice Somme
2003-2004 25 000 $
2004-2005 73 700 $
2005-2006 14 500 $
2006-2007 0 $
2007-2008 10 000 $
2008-2009 50 500 $
Total 173 700 $

Les fonds du SISR ont été attribués à un total de onze projets ayant surtout soutenu des conférences et des recherches stratégiques (5 projets dans chacun de ces domaines). Il convient de signaler que certains de ces projets étaient pluriannuels. Une liste complète des projets de SISR approuvés pendant la période d'évaluation d'une durée de six ans (de 2003‑2004 à 2008‑2009) figure à l'annexe A.

2.0 Méthode d'évaluation

2.1 Enjeux et questions d'évaluation

Cette évaluation a été menée afin de donner suite aux enjeux et aux questions d'évaluation énoncés dans la matrice qui a été mise au point aux fins de l'évaluation, comme précisée dans le protocole d'entente conclu entre le SCT/Finances Canada et SCG. 

Les questions d'évaluation examinées sont incluses au tableau 2. La matrice complète est présentée à l'annexe B. L'annexe C présente le modèle logique du Programme de SISR.

Tableau 2
Questions d'évaluation
Enjeu d'évaluation Question d'évaluation
Pertinence Le SISR satisfait‑il aux besoins des programmes de Finances Canada?
Réussite Le programme a‑t‑il permis d'obtenir les résultats intermédiaires indiqués dans le modèle logique?
Rapport coût‑efficacité De quels « leviers » le programme a-t-il permis de profiter (c.-à-d., proportion du financement des projets fournie par d'autres organismes)?

2.2 Méthode

La méthode d'évaluation a été conçue pour faire en sorte que le coût de l'évaluation corresponde au financement relativement modeste octroyé dans le cadre de ce programme. L'évaluation n'a donc intégré que deux éléments de preuve : l'examen des dossiers et les entrevues auprès des principales parties prenantes.

Des méthodes de recherche complémentaires ont été utilisées comme moyen d'accroître la fiabilité et la validité des renseignements et des données à recueillir. En particulier, les personnes interviewées aux fins de l'évaluation étaient celles qui étaient associées aux projets choisis au titre de l'examen des dossiers.

2.2.1 Examens des dossiers

Le choix des dossiers à examiner a été orienté par la valeur en dollars des dossiers. En particulier, SCG a voulu choisir les dossiers qui comptaient pour la plus grande proportion des sommes dépensées par le programme pendant la période d'évaluation. Le choix des dossiers a toutefois aussi été légèrement influencé par la disponibilité de documents relatifs au dossier. L'un des dossiers qui auraient été inclus parmi les cinq plus grandes valeurs en dollars visait une somme de 12 500 $. Or, comme ce projet n'a été mené qu'au dernier trimestre de 2008, certains documents du projet auraient manqué. Ce projet a donc été remplacé par le suivant sur la liste, qui était évalué à 10 000 $.

Cinq projets ont donc été choisis aux fins de l'examen des dossiers. La valeur de ces projets totalisait 133 000 $, soit environ 77 % du total des dépenses de programmes pendant la période d'évaluation étalée sur cinq ans. Ces cinq projets correspondaient aussi à quatre différents organismes bénéficiaires, et ils étaient assortis de dépenses dans cinq des six années visées par l'évaluation. Ils constituent donc un échantillon raisonnable des projets de Finances Canada dans le cadre du SISR, puisque l'échantillon total de ces projets de Finances Canada représente la majeure partie des fonds octroyés.

Un modèle d'examen des dossiers a été créé afin de recueillir les renseignements pertinents dans les dossiers des projets. Les renseignements manquants ou les renseignements additionnels requis ont été réunis dans le cadre des entrevues menées auprès des principales parties prenantes.

2.2.2 Entrevues auprès des parties prenantes

Un total de quatre entrevues ont été menées auprès de représentants des projets choisis aux fins de l'examen des dossiers1. Les entrevues ont été menées en personne2. Nous avons communiqué à l'avance avec toutes les personnes interviewées afin de choisir un moment qui convient, et nous leur avons envoyé à l'avance un guide d'entrevue (voir à l'annexe D). 

Les résultats des entrevues ont été résumés dans un modèle et ensuite analysés en fonction des indicateurs et des questions d'évaluation.

2.3 Limitations de la méthode

Comme pour toute évaluation, les méthodes comportent certaines limitations. D'abord, les entrevues et l'examen des dossiers n'englobaient pas tous les projets ayant été financés dans le cadre du programme et ne peuvent pas être considérés connue statistiquement représentatif de toutes les dépenses attribuées au programme. Cependant, tel que mentionné précédemment, des efforts ont toutefois été déployés afin de choisir les projets qui avaient représenté le pourcentage le plus élevé des dépenses du programme pendant la période d'évaluation. SCG considère que les dossiers choisis constituent un bon échantillon, et il estime qu'ils sont représentatifs des projets de Finances Canada dans le cadre du SISR. Les résultats sont aussi fondés sur des entrevues menées auprès de quatre personnes qui représentaient cinq projets de SISR. Même si le nombre de personnes interviewées est limité, celles‑ci représentent une très grande proportion du total des dépenses de projets (comme discuté à la section 2.2.1).

L'insuffisance de renseignements quantitatifs constitue une deuxième limitation de l'évaluation. Les entrevues et l'examen des dossiers menés aux fins de l'évaluation constituent des sources d'informations qualitatives. Peu de renseignements quantitatifs étaient disponibles au sujet du Programme, surtout en ce qui a trait aux avantages ou aux résultats du Programme.

3.0 Conclusions des évaluations

La présente partie du rapport renferme un résumé des conclusions de l'évaluation organisées en fonction des questions d'évaluation.

3.1 Pertinence du programme

Conclusion : Les projets de SISR sont harmonisés avec les objectifs du ministère et du programme. Le programme satisfait aux besoins des secteurs en finançant des projets qui n'auraient autrement peut‑être pas été possibles. Certains secteurs n'auraient pas eu accès aux avantages des projets sans les fonds octroyés.

Constatations :

Les projets de SISR sont harmonisés avec les objectifs du ministère et du programme. Suivant les modalités et les conditions du Programme de SISR, les objectifs du programme consistent à :

  • améliorer, faire avancer et promouvoir les politiques et les programmes fiscaux en appuyant les initiatives de recherche qui contribuent à l'avancement du savoir dans les secteurs de la fiscalité, de l'économie, des affaires sociales et des finances en ce qui a trait aux affaires financières du Canada;
  • servir de complément et d'amélioration au programme du ministère relativement à ses responsabilités fiscales, économiques, sociales et financières au titre de la gestion des affaires financières du Canada3.

L'objectif stratégique de Finances Canada énoncé dans son Rapport sur les plans et les priorités de 2008-2009, consiste à :

  • créer un avantage financier, économique, social et mondial pour le Canada en élaborant des politiques appropriées et en prodiguant des conseils judicieux concernant la situation économique, sociale et financière ainsi que le programme d'action global du gouvernement4.

Les projets de SISR examinés étaient liés à la tenue de recherches et au soutien de conférences sur des sujets concernant les objectifs de Finances Canada et du programme. Parmi les sujets traités dans le cadre des projets de SISR, mentionnons :

  • l'évolution du secteur des services financiers et ses répercussions pour les fournisseurs et les utilisateurs de services financiers, les marchés financiers, les responsables de l'élaboration des politiques, les organismes de réglementation et les sociétés d'assurance dépôts;
  • l'amélioration, l'avancement et la promotion de saines pratiques de régie d'entreprise, conformément aux objectifs du gouvernement du Canada consistant à renforcer la confiance des investisseurs dans la solidité des marchés financiers canadiens;
  • l'avancement des connaissances concernant les défis à relever au Canada dans le domaine des régimes de retraite privés;
  • le développement du savoir‑faire du secteur privé dans le domaine de la politique fiscale, afin d'éclairer le débat public en la matière.

De même, il était indiqué dans les documents des projets de SISR dont le programme a appuyé le développement de la capacité intellectuelle en incitant un plus grand nombre d'éminents économistes à traiter de sujets concernant des enjeux stratégiques intéressants les secteurs de Finances Canada.

Les personnes interviewées estiment aussi que les projets de SISR contribuent à la réalisation des objectifs du ministère et du programme. Par exemple, une des personnes interviewées a fait observer que l'AAP du ministère plaide en faveur d'une politique fiscale équitable et efficace. Cette personne a déclaré que le SISR contribue à la réalisation de cet objectif puisqu'il permet d'élaborer une politique équitable et efficace. De même, il favorise les travaux dans le domaine de la politique fiscale et il rehausse l'importance de la politique fiscale au sein de la collectivité de la recherche. Une autre personne interviewée a signalé que le SISR a contribué au soutien et à la diffusion d'initiatives de recherche dans le secteur financier, un domaine dans lequel d'autres recherches étaient nécessaires afin d'enrichir l'évaluation de la politique publique.

Le Programme de SISR satisfait aux besoins des secteurs de Finances Canada en finançant des projets qui n'auraient autrement peut‑être pas été possibles. Les personnes interviewées ont signalé qu'il n'y avait pas de ressources sur place disponibles pour mener les travaux effectués dans le cadre de projets de SISR. De même, de façon générale, les personnes interviewées ont déclaré que les activités de projet de SISR n'auraient pas été menées par les organismes bénéficiaires sans les fonds octroyés. 

En outre, Finances Canada n'aurait pas eu les mêmes avantages si les fonds n'avaient pas été accordés. Une des personnes interviewées a avancé que si Finances Canada n'avait pas octroyé de fonds au titre des activités de recherche sur la politique fiscale, des organisations comme l'Institut C.D. Howe n'effectueraient pas autant de recherche ou n'exerceraient pas autant d'activités dans ce domaine. En outre, selon cette personne interviewée, le financement octroyé par l'entremise du SISR au titre de ces projets de recherche permet à Finances Canada d'influer sur les objectifs de recherche. Les fonds octroyés à Finances Canada encouragent les chercheurs à participer à la recherche sur la politique fiscale, ce qui ne se ferait pas autrement. De même, en l'absence des fonds octroyés par Finances Canada, les projets auraient probablement été menés à plus petite échelle, avec une moins grande participation des autres organismes. 

3.2 Réussite du programme

Conclusion :  Les personnes interviewées estiment que le SISR a permis d'améliorer les politiques ou les programmes, d'accroître la connaissance, et de renforcer la capacité. Les avantages des projets ne sont pas bien étayés dans les dossiers.

Constatations :

Les personnes interviewées estiment que le Programme de SISR a contribué à la réalisation des objectifs fixés (c.-à-d., améliorer les politiques ou les programmes, accroître la connaissance des questions stratégiques émergentes, et renforcer la capacité d'analyse).

Selon les personnes interviewées, le Programme de SISR a permis d'améliorer les politiques ou les programmes dont leur secteur est responsable. Une des personnes interviewées a fait observer que le projet de SISR permet à Finances Canada d'offrir de meilleurs conseils stratégiques. Cette personne a signalé que les employés de Finances Canada participant à l'élaboration des politiques ont pu participer à la conférence financée par le Programme de SISR et ainsi profiter des discussions qui y ont eu lieu, et que le ministère a en accès aux documents produits pour la conférence.

Une autre personne interviewée a indiqué que la Direction de la politique du secteur financier est expressément responsable d'élaborer des politiques, des lois et des règlements visant à accroître l'efficacité, la sûreté et la stabilité du secteur financier. Le Programme du SISR a soutenu des thèmes de recherche qui ont été suggérés par les parties contributrices, y compris cette direction, et des discussions ont eu lieu au sujet de l'utilité des projets de recherche avant que des décisions soient prises en matière de financement, de manière à assurer l'applicabilité de la recherche.

Les personnes interviewées étaient aussi d'accord pour dire que le Programme de SISR a permis d'élargir la connaissance des questions stratégiques émergentes. Comme indiqué précédemment, une personne interviewée a mis en relief l'influence que Finances Canada sont en mesure d'exercer, en octroyant des fonds, sur le type de recherches menées et d'activités exercées. Le SISR permet donc d'élargir la connaissance des questions stratégiques émergentes qui intéressent Finances Canada. Une deuxième personne interviewée a donné l'exemple d'un projet financé par l'entremise du SISR qui a fourni à Finances Canada les résultats de recherches cernant des problèmes structurels présents dans les règlements sur les pensions, ainsi que les impacts liés à ces problèmes. La personne a indiqué qu'il est très important pour Finances Canada de connaître ces problèmes, et qu'il a été très utile à Finances Canada que des spécialistes puissent en déterminer les impacts. 

Les personnes interviewées ont aussi été d'accord pour dire que le Programme de SISR a permis de renforcer la capacité d'analyse, principalement au moyen de projets de recherche financés par l'entremise du SISR. Comme nous l'avons déjà indiqué, Finances Canada est en mesure d'exercer, en octroyant des fonds, une influence sur le type de recherches menées afin de s'assurer qu'elles correspondent à leurs besoins. Cela renforce donc leur capacité de produire des analyses approfondies et pertinentes. De même, comme l'a fait observer une des personnes interviewées, les projets financés dans le cadre du SISR augmentent la quantité d'information pouvant être utilisée aux fins d'analyse. Enfin, il a été signalé que le Programme de SISR a accru la capacité des chercheurs financés dans le cadre du programme, en contribuant aux thèses de doctorat et aux articles universitaires liés à la politique du secteur financier.

L'évaluation a mis en relief l'insuffisance de preuves dans les dossiers en ce qui a trait aux avantages des projets. Les seuls renseignements ayant résulté de l'examen des dossiers, pour ce qui est des avantages de ces projets, étaient en majeure partie des renseignements au sujet des avantages prévus, plutôt que des avantages concrets obtenus. Ces avantages prévus ont plutôt été extraits des formulaires de demande ou de recommandation dans le dossier. Il n'est pas exigé, dans le cadre du SISR, de joindre un bilan du projet au dossier. Dans un cas, des renseignements étaient disponibles au sujet des résultats concrets du projet pour Finances Canada. Pour la majorité des projets toutefois, les membres du personnel du Programme de SISR ne connaissent pas les avantages concrets de ces projets pour Finances Canada. De plus, même si certains rapports de projet ont été collectés dans le cadre de l'évaluation, il arrivait souvent qu'ils ne renferment pas de renseignements au sujet des avantages du projet pour Finances Canada.

Recommandation 1 : Le secteur de programme doit mettre en œuvre un mécanisme afin de faire en sorte que l'impact du programme puisse être mesuré sous l'angle des avantages concrets, plutôt que des avantages prévus. Par exemple, un bilan pourrait être exigé pour tous les projets de SISR. Ce rapport pourrait être un simple document d'une page à remplir par suite de chaque projet.

3.3 Rapport coût‑efficacité du programme et solutions de rechange

Conclusion :  Le programme présente un bon rapport coût‑efficacité. Les personnes interviewées estiment que les solutions de rechange (faire effectuer les travaux à contrat à l'interne) coûteraient trop cher ou ne seraient pas faisables en raison de l'insuffisance des ressources. Dans la plupart des cas, Finances Canada a fourni une partie du financement nécessaire à l'exécution des projets. Peu d'améliorations ont été jugées nécessaires, même s'il a été signalé qu'une meilleure gestion des documents et des dossiers serait profitable.

Constatations :

Les personnes interviewées estiment que le Programme de SISR présente un bon rapport coût‑efficacité. Même si les personnes interviewées n'ont pu établir le rendement en termes quantitatifs, tout indique que le programme présente un bon rapport coût‑efficacité. 

Les solutions de rechange au programme semblent peu nombreuses. À savoir s'il existe des solutions de rechange afin de réaliser les objectifs du Programme de SISR, les personnes interviewées ont signalé l'insuffisance des ressources (humaines et financières) qui permettraient à Finances Canada de mener les travaux sur place; faire effectuer les travaux à contrat, le cas échéant, coûterait encore plus cher. Selon une des personnes interviewées, au moment de l'introduction du SISR, le ministère a examiné les accords spéciaux de contribution et les contrats de service, ainsi que les contributions, qui n'étaient pas assortis du cadre juridique qui s'impose ou qui étaient moins efficaces qu'un programme de contributions.

Le rapport coût‑efficacité a été accru par le fait que Finances Canada ne fournissait habituellement qu'une partie des fonds nécessaires à l'exécution des projets. Le ministère s'est associé à d'autres organismes aux fins de l'exécution des projets, ce qui lui a permis de tirer profit d'autres ressources. Pour les dossiers examinés, Finances Canada avait contribué entre 12 % et 100 % du total des coûts du projet. Dans 4 cas sur 5, le ministère avait contribué pour moins de 50 % du total des coûts du projet.

En raison de la nature du programme et de sa taille relativement modeste, son efficacité n'a pas été perçue comme étant un problème sur lequel cette évaluation devait porter. Certains renseignements relatifs à l'efficacité ont toutefois été recueillis à l'étape des entrevues. Les personnes interviewées ont été, de façon générale, positives au sujet de l'administration du programme. La plupart ont signalé que le processus de demande était simple et facile, et que les autorisations étaient accordées en temps opportun.

Peu d'améliorations ont été jugées nécessaires, même s'il a été signalé qu'une meilleure gestion des documents et des dossiers serait profitable. L'examen des dossiers mené aux fins de cette évaluation a mis en relief quelques problèmes liés aux documents des projets. D'abord, les documents des projets (p. ex., formulaires de demande ou de recommandation) n'étaient pas tous disponibles par l'entremise du gestionnaire du Programme de SISR. Ensuite tel que mentionné plus haut, comme il n'est pas nécessaire d'assortir au dossier un bilan du projet, les membres du personnel du Programme de SISR ne connaissent pas les avantages concrets de ces projets.

Recommandation 2 : Les documents des projets doivent être recueillis et conservés de manière plus systématique et ils doivent être entreposés dans un lieu central.

De plus, les personnes interviewées ont cerné quelques aspects où ils aimeraient que des changements soient apportés. Une des personnes a suggéré que l'exigence d'autorisation des SM peut constituer un processus fastidieux, et que le pouvoir d'autorisation devrait être délégué à un niveau inférieur. Une autre personne a indiqué qu'elle aimerait pouvoir utiliser le Programme de SISR pour contribuer à des projets internationaux, mais que les exigences du SISR rendent cela difficile. En particulier, les exigences de vérification coûtent trop cher, et la limite de financement (25 000 $) est trop peu élevée. Cette personne a suggéré d'accepter les renseignements de vérification d'autres administrations, plutôt que de demander à des gouvernements étrangers de se soumettre à des exigences de vérification additionnelles.

4.0 Résumé des conclusions et des recommandations

Pertinence du programme

  • Les projets de SISR sont harmonisés avec les objectifs du ministère et du programme. Le Programme satisfait aux besoins des secteurs en finançant des projets qui n'auraient autrement peut‑être pas été possibles. Certains secteurs n'auraient pas eu accès aux avantages des projets sans les fonds octroyés

Réussite du programme

  • Les personnes interviewées estiment que le SISR a permis d'améliorer les politiques ou les programmes, d'accroître la connaissance, et de renforcer la capacité. Les preuves de réussite sont en grande partie qualitatives. Les avantages des projets ne sont pas bien étayés dans les dossiers, qui ne traitent que des avantages prévus.

Recommandation 1 : Le secteur de programme doit mettre en œuvre un mécanisme afin de faire en sorte que l'impact du programme puisse être mesuré sous l'angle des avantages concrets, plutôt que des avantages prévus. Par exemple, un bilan pourrait être exigé pour tous les projets de SISR. Ce rapport pourrait être un simple document d'une page à remplir à la suite de chaque projet.

Rapport coût‑efficacité du Programme et solutions de rechange

  • Le Programme semble présenter un bon rapport coût‑efficacité. Les personnes interviewées estiment que les solutions de rechange (faire effectuer les travaux à contrat à l'intérieure) coûteraient trop cher ou ne seraient pas faisables en raison de l'insuffisance des ressources. Dans la plupart des cas, Finances Canada a fourni une partie du financement nécessaire à l'exécution des projets. Peu d'améliorations ont été jugées nécessaires, même s'il a été signalé qu'une meilleure gestion des documents et des dossiers serait profitable.

Recommandation 2 : Les documents des projets doivent être recueillis et conservés de manière plus systématique et ils doivent être entreposés dans un lieu central.

Annexe A – Liste des projets de SISR approuvés

Projet Secteur Contribution de
Finances Canada
Projet de recherche sur les politiques Politique du secteur financier 25 000 $
Total 2003-2004   25 000 $
Projet de recherche sur les politiques Politique du secteur financier 25 000 $
Canadian Public Economics Group (conférence) Politique de l'impôt 4 500 $
Projet de recherche ministériel en histoire CMPCI 25 000 $
Recherche sur l'activisme des investisseurs institutionnels et la confiance des marchés Politique du secteur financier 10 000 $
Projet (sans titre) PEF 4 200 $
L'Institut d'administration publique du Canada (conférence nationale) Bureau du sous‑ministre 5 000 $
Total 2004-2005   73 700 $
Projet de recherche sur les politiques Politique du secteur financier 10 000 $
Canadian Public Economics Group (conférence) Politique de l'impôt 4 500 $
Total 2005-2006   14 500 $
Aucun projet financé  
Total 2006-2007   — $
Conférence Politique du secteur financier 5 000 $
Série de recherches sur les pensions Politique du secteur financier 5 000 $
TOTAL 2007-2008   10 000 $
Série de recherches sur les pensions Politique du secteur financier 5 000 $
Conférence stratégique Politique de l'impôt 25 000 $
Canadian Public Economics Group (conférence) Politique de l'impôt 3 000 $
International Institute on Social Policy de l'Université Queen's Politique de l'impôt / fédéral-provincial 5 000 $
Conférence stratégique sur les fonds d'investissement souverains Politique du secteur financier 12 500 $
Total 2007-2008   50 500 $
Total des paiements SISR-SCT jusqu'ici 173 700 $

Annexe B – Matrice d'évaluation

Enjeu Question Indicateur Source de données / méthode
Pertinence Le SISR satisfait‑il aux besoins des programmes de Finances Canada? Opinion de parties prenantes internes Entrevues auprès de parties prenantes internes
Réussite Le programme a‑t‑il permis d'obtenir les résultats intermédiaires indiqués dans le modèle logique? Opinion de parties prenantes internes Entrevues auprès de parties prenantes internes
Réalisation d'un échantillon de 50 % des accords de contribution (valeurs en dollars les plus élevées) Examen des dossiers
Entrevues auprès de parties prenantes internes
Rapport coût‑efficacité De quels « leviers » le programme a-t-il permis de profiter (c.-à-d., proportion du financement des projets fournie par d'autres organismes)? Valeur des investissements financiers et en espèces d'un échantillon de 50 % des accords de contribution (valeurs en dollars les plus élevées) Examen des dossiers
Entrevues auprès de parties prenantes internes

Annexe C – Modèle logique de SISR de Finances Canada

Modèle logique de SISR de Finances Canada

Annexe D – Guide d'entrevue

Évaluation des programmes de contribution au soutien d'initiatives stratégiques et de recherche (SISR)

Guide d'entrevue pour Finances Canada

Finances Canada et le Secrétariat du Conseil du Trésor (Fin/SCT) ont confié aux Services-conseils du gouvernement (SCG) le mandat de procéder à l'évaluation des programmes de contribution au soutien d'initiatives stratégiques et de recherche (SISR). Ces évaluations visent à examiner la pertinence, la réussite et le rapport coût‑efficacité des programmes.

Dans le cadre des évaluations, SCG mène des entrevues auprès des principales parties prenantes internes participant aux programmes. Les entrevues visent à mieux comprendre les programmes, à recueillir de l'information en vue d'évaluer leur réussite et à cerner les améliorations éventuelles à apporter.

Les questions suivantes serviront de guide d'entrevue. Il convient de signaler que vos réponses demeureront confidentielles (seuls des renseignements généraux seront communiqués), dans le rapport d'évaluation comme dans les documents fournis au ministère responsable.

Contexte

  • Décrivez brièvement votre rôle et votre participation au Programme de SISR.

Pertinence

  • Quels sont les objectifs du programme de SISR à Finances Canada?
  • Le Programme de SISR satisfait‑il aux besoins de Finances Canada et de votre secteur? (Veuillez expliquer).
  • Le Programme de SISR a‑t‑il contribué à la réalisation des objectifs stratégiques de Finances Canada et des priorités pangouvernementales? Dans l'affirmative, dites comment?
  • Dans quelle mesure des organismes qui reçoivent des contributions dans le cadre du programme de SISR auraient-ils pu exercer les activités financées s'ils n'avaient pas obtenu une contribution du Programme?
    • Quel aurait été l'impact sur Finances Canada si les fonds n'avaient pas été octroyés? (c.‑à‑d. Finances Canada aurait‑il tout de même eu accès aux avantages ou aux résultats des activités?)

Réussite

  • Le Programme de SISR a‑t‑il contribué à l'amélioration des politiques et des programmes dont votre secteur est responsable? Dans l'affirmative, veuillez donner des exemples précis (p. ex., résultats de recherches et utilisation de ces résultats; opinions post conférences consignées et utilisées, etc.) Sinon, pourquoi pas?
  • Dans votre secteur, le Programme de SISR a‑t‑il contribué à élargir la connaissance des questions stratégiques émergentes qui intéressent Finances Canada? Dans l'affirmative, veuillez donner des exemples précis (p. ex., résultats de recherches, opinions post conférences consignées et utilisées, etc.) Sinon, pourquoi pas?
  • Le Programme de SISR a‑t‑il contribué à accroître la capacité qu'a votre secteur de produire des analyses approfondies et pertinentes? Dans l'affirmative, veuillez expliquer et donner des exemples précis. Sinon, pourquoi pas?

Rapport coût‑efficacité /solutions de rechange

  • Le Programme de SISR présente‑t‑il un bon rapport coût‑efficacité?
  • Existe‑t‑il d'autres moyens de réaliser les objectifs du Programme de SISR? Dans l'affirmative, quelles sont‑elles et présenterait‑elle un rapport coût‑efficacité meilleur ou moins bon que l'actuel Programme de SISR?
  • Avez‑vous des suggestions pour améliorer le Programme de SISR? (c. à‑d. pour le rendre plus efficace ou améliorer son rapport coût‑efficacité) 

Autres

  • Le Programme de SISR a‑t‑il eu des impacts (positifs ou négatifs) non voulus? (Veuillez expliquer).
  • Avez‑vous d'autres observations, en ce qui concerne le Programme de SISR à Finances Canada, qui seraient pertinentes aux fins de notre évaluation?

Merci beaucoup d'avoir participé à notre évaluation.

Annexe E – Réponse Et Plan D'Action de la direction

Réponse et plan d'action de la direction concernant les recommandations portant sur l'évaluation du programme de soutien d'initiatives stratégiques et de recherche (SISR)5

Recommandation Réponse de la direction Plan d'action Centre de responsabilité Date d'échéance Commentaires
Il faudrait instaurer un mécanisme afin que les retombées du Programme puissent être mesurées sur le plan des avantages réels plutôt que sur celui des avantages attendus. Les recommandations de l'évaluation seront mises en œuvre. Le processus de demande et d'approbation des contributions au titre du SISR sera modifié afin :
a.   d'y inclure un mécanisme permettant de mesurer les retombées du Programme sur le plan des avantages réels plutôt que sur celui des avantages attendus;
Division de la gestion financière, services intégrés 31 juillet 2009  Mise en œuvre 
Il faudrait recueillir les documents relatifs aux projets et les stocker de manière systématique dans un lieu central. Les recommandations de l'évaluation seront mises en œuvre. b.  de s'assurer que les documents relatifs aux projets sont recueillis plus systématiquement et stockés dans un lieu central. Division de la gestion financière, services intégrés 31 juillet 2009 Mise en œuvre 

1  Une des personnes interviewées représentait deux projets.

2  En raison de problèmes de calendrier, une des personnes interviewées a remis ses réponses par écrit.

3  Finances Canada. Modalités et conditions du Programme de SISR

4  Finances Canada. Rapport sur les plans et les priorités de 2007‑2008

5 Le SIRS est un petit programme spécial, avec peu de dépenses (maximum de 25,000$ par an versée à un seul destinataire, et jusqu'à 100,000$ par bénéficiaire, sur une période de cinq ans dans des cas exceptionnels).