Les grands types d'approches évaluatives
La diversité des politiques publiques, des questions évaluatives et des contextes dans lesquels elles s'inscrivent a naturellement conduit au développement d'une riche palette d'approches méthodologiques. Pour appréhender cette complexité, il est indispensable de les classer selon des critères pertinents, permettant de clarifier leurs objectifs, leurs temporalités et leurs objets d'analyse. La typologie la plus courante et la plus opérante pour les décideurs et les évaluateurs distingue ainsi les approches selon leur finalité principale et le moment où elles interviennent dans le cycle de vie de l'intervention publique, ainsi que selon la nature même de ce qu'elles cherchent à mesurer et à comprendre.
2.1 La typologie temporelle : l'évaluation ex ante, concomitante et ex post
Le critère du timing par rapport à la mise en œuvre de la politique offre un premier cadre de classification essentiel, car il définit fondamentalement la raison d'être et la nature des questions posées par l'évaluation.
L'évaluation ex ante se situe en amont de l'action publique, à l'étape cruciale de la conception et de la décision. Son objectif fondamental est d'éclairer la puissance publique, qu'elle soit législative ou exécutive, en lui fournissant une analyse rigoureuse et prospective des options possibles. Elle ne se contente pas d'une simple description du projet ; elle en interroge la pertinence au regard des besoins sociaux et des priorités stratégiques identifiées. Elle scrute la cohérence interne du dispositif envisagé : les objectifs sont-ils clairs, réalistes et mutuellement compatibles ? Les moyens prévus sont-ils à la hauteur des ambitions affichées ? Au-delà de cette analyse qualitative, l'évaluation ex ante s'attache à examiner scrupuleusement la faisabilité technique, financière et administrative du projet. S'agit-il de technologies éprouvées ? Le financement est-il assuré sur la durée ? L'administration dispose-t-elle des compétences et des structures nécessaires pour porter le projet ? Enfin, elle cherche à anticiper les impacts potentiels, positifs comme négatifs, directs comme indirects, à l'aide d'outils prospectifs tels que l'analyse coût-bénéfice (qui cherche à monétariser l'ensemble des effets) ou l'analyse coût-efficacité (qui compare le coût à des résultats exprimés en unités physiques). En résumé, l'évaluation ex ante est un outil d'intelligence collective et de rationalisation de la décision, visant à prévenir les erreurs de conception et à optimiser l'allocation des ressources publiques avant même qu'elles ne soient engagées.
L'évaluation concomitante, également qualifiée de formative ou de suivi-évaluation, intervient pendant la phase active de déploiement de la politique. Sa finalité n'est pas de porter un jugement définitif sur les résultats finaux, mais d'accompagner le processus de mise en œuvre dans une visée résolument améliorative. Elle fonctionne comme un système de régulation en temps réel, un « tableau de bord » critique qui permet aux gestionnaires de piloter l'action au plus près du terrain. Son attention se porte sur le « comment » : le dispositif se déploie-t-il conformément au calendrier et aux procédures prévues ? Les acteurs impliqués (services de l'État, collectivités territoriales, opérateurs, associations) coordonnent-ils efficacement leurs actions ? Les bénéficiaires cibles sont-ils effectivement touchés par les actions, ou observe-t-on des problèmes de ciblage ? Les moyens humains, financiers et logistiques sont-ils adaptés et suffisants face aux réalités rencontrées ? En identifiant rapidement les goulots d'étranglement, les résistances ou les dérives, l'évaluation concomitante permet de proposer des ajustements, des corrections de trajectoire et des solutions pragmatiques. Elle est donc un outil de management et d'apprentissage organisationnel, essentiel pour adapter une politique souvent conçue de manière théorique à la complexité et à l'imprévisibilité de sa mise en œuvre pratique.
L'évaluation ex post, souvent dite sommative, constitue la forme la plus classique et la plus médiatisée de l'évaluation. Elle intervient après une période de mise en œuvre suffisamment longue pour que les effets de la politique aient eu le temps de se manifester et de se stabiliser. Son objectif est de porter un jugement rétrospectif et global sur la valeur de l'intervention publique. Ce jugement s'appuie sur une analyse multidimensionnelle qui dépasse la simple description des activités pour s'intéresser aux effets produits. L'évaluateur cherche ainsi à déterminer l'efficacité de la politique : a-t-elle atteint les objectifs qui lui étaient assignés ? Il s'interroge sur son efficience : les résultats obtenus justifient-ils les coûts engagés ? Y avait-il un moyen moins coûteux pour parvenir au même résultat ? Il examine son impact, c'est-à-dire ses conséquences plus larges, intentionnelles ou non, sur son environnement socio-économique. Enfin, il questionne sa pérennité : les effets positifs se maintiennent-ils après la fin de l'intervention ? L'évaluation ex post a une finalité à la fois de redevabilité (rendre des comptes aux citoyens et aux financeurs sur l'usage des deniers publics) et d'apprentissage stratégique. Ses conclusions sont déterminantes pour éclairer les décisions concernant l'avenir de la politique : faut-il la poursuivre en l'état, la réformer en profondeur, l'étendre à d'autres publics ou, au contraire, y mettre un terme pour réallouer les ressources vers d'autres priorités ?
2.2 La typologie par objet d'analyse : processus, résultats et impacts
Au-delà de la dimension temporelle, une autre grille de lecture fondamentale consiste à distinguer les approches selon leur objet d'analyse principal, c'est-à-dire ce sur quoi porte précisément le regard de l'évaluateur.
L'évaluation de la mise en œuvre (ou des processus) se concentre exclusivement sur le déroulement concret de l'action publique. Elle cherche à ouvrir la « boîte noire » de la politique pour comprendre la réalité de son fonctionnement. Qui sont les acteurs vraiment impliqués et comment interagissent-ils ? Les ressources prévues au budget ont-elles effectivement été mobilisées sur le terrain ? Les activités planifiées (formations, distributions d'aides, constructions d'équipements, etc.) ont-elles bien été réalisées, dans les délais et selon les standards de qualité escomptés ? Cette approche est fondamentale car elle permet de mesurer et de comprendre l'écart inévitable qui existe entre le programme « sur le papier », idéalisé et formalisé, et le programme « en vie réelle », avec ses contingences, ses adaptations informelles et ses difficultés. Elle est indispensable pour interpréter correctement les résultats ultérieurs. Un échec apparent d'une politique peut en effet provenir d'une mauvaise conception théorique, mais tout aussi bien d'une mise en œuvre défaillante qui, bien que la conception fût excellente, n'a pas permis de la traduire en actes. Inversement, un succès peut être dû à des facteurs contextuels ou à des initiatives locales non prévues initialement. L'évaluation de processus fournit ainsi les clés de compréhension causale indispensables à tout jugement éclairé.
L'évaluation des résultats (ou des effets directs) s'intéresse aux conséquences immédiates et observables de la politique, au niveau opérationnel. Elle répond à des questions quantitatives et qualitatives relativement factuelles. Le nombre d'aides financières prévues a-t-il été distribué ? Le taux de participation au programme de formation est-il conforme aux attentes ? Les nouveaux équipements culturels sont-ils fréquentés par le public visé ? La couverture du service public numérique promise a-t-elle été atteinte ? Cette évaluation se situe souvent à un premier niveau de boucle de rétroaction, vérifiant que les « outputs » (les productions directes de l'action) sont bien au rendez-vous. Elle est cruciale pour le pilotage managérial et la gestion courante, mais elle ne suffit pas à elle seule à juger de la valeur sociétale de la politique, car elle ne dit rien sur les changements réels induits dans la vie des personnes ou sur le territoire.
L'évaluation d'impact représente l'approche la plus exigeante sur le plan méthodologique, mais aussi la plus ambitieuse sur le plan intellectuel. Son objet n'est pas les résultats directs, mais les effets ultimes de la politique. Elle cherche à établir de manière robuste un lien de causalité entre l'intervention publique et des changements observés dans la situation des bénéficiaires ou de leur environnement. La question centrale est : « Qu'est-ce qui se serait passé sans la politique ? ». L'objectif est d'isoler la « valeur ajoutée » nette de l'action publique en la distinguant de l'influence d'autres facteurs externes (la conjoncture économique, des politiques parallèles, des évolutions sociétales). Pour ce faire, l'évaluation d'impact a recours à des méthodes contrefactuelles rigoureuses, qui consistent à comparer la situation du groupe ayant bénéficié de la politique (le groupe « traité ») à celle d'un groupe de comparaison aussi similaire que possible n'ayant pas bénéficié de l'intervention (le groupe « témoin » ou « de contrôle »). La construction de ce groupe témoin, par des méthodes expérimentales (tirage au sort) ou quasi-expérimentales (appariement statistique), est au cœur de la démarche. C'est cette comparaison qui permet d'attribuer avec un degré de confiance élevé l'amélioration du niveau de vie, la baisse du chômage de longue durée, la réduction de la délinquance ou la hausse des résultats scolaires à la politique elle-même, et non à d'autres causes. L'évaluation d'impact est donc le domaine de prédilection de l'économie et de la sociologie quantitative, visant à produire une preuve scientifique de l'effet causal d'une intervention.
En conclusion, ces deux grandes typologies – temporelle et par objet – ne sont pas mutuellement exclusives mais complémentaires. Une évaluation ex post complète cherchera souvent à analyser à la fois les processus de mise en œuvre, les résultats directs et l'impact causal. La compréhension de ces différentes approches et de leurs finalités spécifiques est un prérequis indispensable pour concevoir, commander et interpréter une évaluation de manière pertinente, en adéquation avec les questions que l'on se pose et le moment du cycle de vie de la politique où l'on se situe.
0 Commentaires