"Quelles perspectives pour l'évaluation des politiques publiques ?"

Colloque LIEPP – Sciences Po

“Quelles perspectives pour l’évaluation des politiques publiques ?”

 Lundi 30 janvier 2017

Cette note est un bref compte rendu des travaux présentés par le Laboratoire Interdisciplinaire d’Evaluation des Politiques Publiques (LIEPP) au cours de 3 tables rondes sur les 4 qui se sont tenues lors de ce colloque. Pour une présentation exhaustive de tous les sujets abordés, notamment des différentes méthodologies suivies, on pourra utilement se reporter au dossier complet du colloque ­- documents de présentation des différents intervenants et de leurs travaux – publié sur le site du LIEPP.

La conférence a été ouverte par Frédéric Mion, Directeur de Sciences-Po, qui a présenté le LIEPP.

Codirigé par Bruno Palier et Etienne Wasmer, le LIEPP qui fête ses 5 ans, est une structure originale dont le caractère innovant ressemble à Sciences-Po par son caractère pluridisciplinaire et ses racines dans les sciences sociales, où travaillent des chercheurs et enseignants de haut niveau. Son objet, l’évaluation des politiques publiques, le conduit à se pencher sur des questions fondamentales qui restent encore largement en friche. Les lieux où se déroulent les travaux sur l’évaluation des politiques publiques et ces travaux eux-mêmes, ne sont pas très nombreux. Or la question de l’évaluation est centrale pour les démocraties et au cœur de la préoccupation des citoyens. Cela pose la pertinence des politiques publiques : les recettes d’hier sont-elles adaptées au monde d’aujourd’hui ? C’est donc un outil indispensable du système démocratique.

Bruno Palier a ajouté que l’anniversaire du LIEPP était l’occasion de mettre en relief l’usage de l’évaluation des politiques publiques afin d’enrichir le débat public et sa place en France. Étienne Wasmer a ensuite donné la parole à Didier Migaud, Premier président de la Cour des comptes, en rappelant les contacts réguliers entre la Cour et le LIEPP, deux organes non partisans.

Didier Migaud a indiqué que si l’évaluation était le plus récent des métiers de la Cour des Comptes (révision constitutionnelle du 28 juillet 2008), l’analyse des résultats se faisait déjà bien avant 2008, au regard des objectifs fixés. La mise en œuvre du processus d’évaluation a constitué un défi pratique et intellectuel : il y a d’abord eu une phase de test puis une mise en application. Le processus est à présent opérationnel et la Cour a maintenant suffisamment de recul pour évaluer l’évaluation.

Au cours de son intervention, Didier Migaud a souhaité transmettre deux messages :

1°) la portée et les limites actuelles de l’évaluation

Il y a une avancée significative mais insuffisamment exploitée de cet outil, par les décideurs; pourtant un cadre a été posé par la loi et la révision constitutionnelle pour donner de la visibilité aux résultats. Et de nombreux évaluateurs publics, privés, chercheurs s’en sont saisis. La Cour des Comptes a construit une méthode : une approche principalement qualitative qui repose en partie sur l’observation statistique et à laquelle les parties prenantes sont associées et avec une dimension quantitative qui demeure présente. L’évaluation est faite soit sur demande soit sur auto-saisine et porte sur des sujets très variés (par ex : coût de la politique de lutte contre la pollution ou contre l’alcoolisme, coût du lycée). Mais il a constaté qu’il n’était pas encore entré dans les mœurs d’analyser les résultats. Il y a « une grande tolérance collective de la faiblesse des résultats ». En outre, trop souvent l’action précède la réflexion par exemple en matière de politique fiscale laquelle peut aboutir à prendre des décisions avec des effets contraires. Trop souvent également de nouvelles dispositions sont mises en place sans examen préalable de l’existant.

2°) la fixation de quelques buts prospectifs de la démarche

Les recommandations des évaluateurs ont vocation à éclairer le choix des décideurs et à proposer des scénarios pragmatiques, pour une meilleure utilisation des moyens déjà engagés avant de faire de nouvelles dépenses. Il faut prendre en compte les contraintes des décideurs mais sans remettre en cause l’ADN de l’évaluateur. Le but est d’adopter dans le processus de réforme les démarches d’évaluation. Cela signifie qu’il faudra sans doute adapter la procédure budgétaire parlementaire : passer moins de temps sur la loi de finances initiale qui dure plusieurs mois et plus sur la loi de règlement qui, elle, est débattue en moyenne en 24 à 48 heures, à la différence de ce qui se passe dans les autres pays. La loi de règlement devrait ouvrir la discussion sur le résultat du budget. De ce point de vue le Sénat a une culture pour les travaux d’évaluation plus forte que l’Assemblée nationale. L’impact serait positif car tout le monde saurait que les résultats plus que les intentions, seraient pris en compte.

En réponse à des questions dans la salle, Didier Migaud a évoqué le sujet de l’impact de l’Europe et de ses politiques, dans l’évaluation par la Cour et leur prise en compte. Il y a des relations étroites avec la Cour des comptes européenne et les Cours des comptes homologues.

Il y a aussi à prendre en compte la dimension du temps : il faut aller au pluriannuel et éviter de changer la loi de programmation annuelle quand les résultats ne correspondent pas. Il faut tenir compte aussi des délais. Si le décideur veut aller plus vite il peut recourir à l’Inspection générale des finances, mais son contrôle n’est pas contradictoire, pas indépendant, et pas public. Il y a aussi le problème des évaluations qui ne sont pas prises en compte en raison du désintérêt de certains décideurs.

Concernant les sanctions, Didier Migaud précise qu’il est facile de les appliquer s’il y a de réelles irrégularités mais plus difficilement s’il s’agit de simples erreurs ou d’une mauvaise gestion. Mais la sanction peut aussi être politique : le citoyen pourrait s’impliquer davantage, sur la base de l’article 15 de la Déclaration des droits de l’Homme qui implique de rendre compte auprès des citoyens. Cela relève du fonctionnement même de la démocratie.

Première table ronde: l’évaluation du CICE- combien d’emplois à quel coût ?

Présidente de session Cornelia Woll, directrice des études et de la scolarité à Sciences Po.

Participants :

Sarah Guillou, directrice adjointe du département innovation et concurrence de l’OFCE

Yannick Lortie, professeur d’économie à l’université de Paris-Est

Clément Carbonnier, maître de conférences en économie à l’université de Cergy-Pontoise, co-directeur de l’axe « politiques socio-fiscales » du LIEPP

Gwenaële Rot, professeure de sociologie à Sciences Po rattachée au CSO et affiliée au LIEPP

Marc Ferracci, professeur d’économie à l’université Panthéon-Assas

Yannick Lortie, Sarah Guillou, Clément Carbonniers et Gwenaële Rot ont chacun présenté le détail de la méthodologie suivie pour leurs recherches et les résultats de leurs travaux sur l’évaluation du CICE. Ils ont souligné la difficulté d’une évaluation effectuée moins de deux ans après la mise en place du processus à évaluer, alors qu’il s’agit d’une mesure de portée générale dont l’impact peut se manifester plus tard. Certaines données sont arrivées en juin 2016 alors que les résultats de leurs études étaient attendus en septembre 2016 : la discussion a été très contrainte en temps.

Mettant en perspective les différentes méthodes suivies par chaque équipe, Marc Ferracci a ensuite souligné l’originalité de la démarche consistant à recourir à une multiplicité d’évaluateurs dont les études ont ensuite elles-mêmes fait l’objet d’évaluation. Avec quelques légères différences dans leurs résultats, ces études révèlent que le CICE a eu un impact soit faible, soit non significatif : c’est un dispositif qui n’a pas donné l’effet escompté au regard de son coût. Les effets sur les emplois sont décevants ce qui était assez prévisible car c’est un dispositif complexe et réversible: la démarche de simplification comme l’allégement de charges serait plus simple. Il ajoute qu’il est important de pérenniser l’évaluation, de « donner les clés » à des chercheurs indépendants avec des moyens financiers et l’accès aux données. La temporalité est aussi un enjeu : il faut donc inscrire l’évaluation dans la pérennité. La loi doit le prévoir et préciser les indicateurs qu’il faut évaluer. Le législateur doit clarifier ses intentions.

Deuxième table ronde: Le Grand Paris exprès- quels emplois et quels investissements directs ?

Président de session : Étienne Wasmer

Participants :

L’équipe du LIEPP impliquée dans l’évaluation du Grand Paris : Pierre Henri Bonneau et Guillaume Chapelle, responsables de projet au LIEPP

Dominique Bureau, délégué général du conseil économique pour le développement durable et président du conseil scientifique.

Sylviane Gastaldo, directrice du programme « évaluation des investissements publics » au Commissariat général à l’investissement (CGI)

Patrick Le Galès, directeur de recherche CNRS au CEE, doyen de l’école urbaine de Sciences Po

Jean-Claude Prager, directeur des études économiques de la Société du Grand Paris

Jean-Claude Prager a précisé ce qu’était le Grand Paris Exprès : en 15 ans on va doubler le métro de Paris. Compte tenu de l’ampleur de ce projet qui implique une infrastructure transformationnelle, on a décidé de s’appuyer sur les meilleures compétences mondiales pour en mesurer tout l’impact. Il a donc été créé un conseil scientifique et indépendant qui est présidé depuis le 1er janvier par Dominique Bureau. Les projections de trafic qu’on utilise habituellement sont dépassées pour ce projet car les modèles actuels ont tendance à sous-estimer très fortement la fréquentation du Grand Paris Exprès. De nombreux effets doivent être mesurés ; l’impact sur l’économie locale, sur l’emploi, le développement économique et l’augmentation de l’attractivité de l’Ile de France pour l’investissement international : que seraient Londres, Paris ou New York s’il n’y avait pas de métro ?

Guillaume Chapelle et Pierre Henri Bonneau ont présenté les travaux du LIEPP sur le lien entre la présence d’un métro et l’attractivité de la ville.

Puis Sylviane Gastaldo a précisé l’obligation légale de procéder pour tout projet d’investissement public à une évaluation socio-économique préalable et ajouté que cette évaluation est soumise à une contre-expertise par le CGI, elle-même contrôlée par l’Inspection générale des finances.

Dominique Bureau a ensuite rappelé la tradition d’évaluer les impacts des politiques de transports sur la base de plusieurs modèles différents, tradition qui remonte à Gilles Dupuis au milieu du XIXe siècle avec le développement des chemins de fer. Il a regretté que la politique publique soit trop souvent évaluée selon son impact sur l’emploi, ce qui n’est pas pertinent car cela n’intègre généralement pas les effets d’éviction ni les effets d’attractivité.

Patrick Le Galès a enfin observé qu’il y avait un débat important sur ces grands projets d’infrastructures. En France, il y a une croyance positive autour de ces projets même si leurs effets peuvent être modestes dans certains cas. La question des transports est devenue primordiale depuis 10 ans : c’est devenu « sexy car transformationnel ». On est à la frontière du savoir et de la croyance avec parfois des modèles très divers et une dimension imaginaire importante: le choix des critères d’évaluation renvoie en fait à des schémas nationaux.

 

Troisième table ronde: comment combattre les inégalités à l’école ?

Présidente de session : Christine Musselin la directrice scientifique de Sciences Po.

Participants :

Denis Fougère, directeur de recherche CNRS à l’OSC, affilié au LIEPP, co-directeur de l’axe « politique éducatives » du LIEPP

Agnès van Zanten, directrice de recherche CNRS à l’OSC, affiliée au LIEPP, co-directrice de l’axe « politique éducatives » du LIEPP

Nathalie Mons, professeure de sociologie à l’université de Cergy-Pontoise, présidente du Conseil national d’évaluation du système scolaire (CNESCO)

Denis Fougère a précisé que la question de la politique éducative était de plus en plus présente en France depuis le rapport PISA de 2012. Présentant l’axe « politiques éducatives » du LIEPP, fondé sur la recherche interdisciplinaire (travaux de sociologues et d’économistes, avec complémentarité des champs et des méthodes), il a évoqué les nombreuses enquêtes effectuées auprès d’enfants en bas âge ou d’élèves du collège. Pour un même groupe d’élèves suivis de la 6^e à la 3^e, on constate une grande stabilité de leurs résultats avec très peu d’amélioration. Il y a donc nécessité d’une intervention précoce dès le primaire voire la maternelle : à partir de 11 ans la situation est fossilisée. Les études montrent également les liens entre les choix d’orientation et l’origine sociale : il s’agit de mesurer et de comprendre l’autocensure scolaire. Ainsi à niveau scolaire équivalent les élèves de classes sociales défavorisées émettent des souhaits plus modestes, qu’ils soient dans un collège en éducation prioritaire ou pas. Ces résultats montrent qu’il y a une influence des facteurs psychologiques, sociaux et familiaux.

Agnès van Zanten a ensuite présenté le détail de ses travaux : une enquête menée depuis quatre ans sur les éléments relatifs à l’orientation des élèves, et une étude sur les conventions d’éducation prioritaire de Sciences Po. Dans ce dernier cas, il apparait une tension permanente entre deux axes: l’un visant à créer de nouveaux liens avec le lycée et à développer une politique publique, l’autre s’orientant vers une politique relativement malthusienne fondée sur la recherche des «pépites de banlieue» et l’accompagnement intensif d’un nombre réduit d’élèves prometteurs.

Enfin Nathalie Mons a présenté l’expérience du CNESCO : un organisme jeune, créé en 2014 avec un premier mandat de 6 ans, qui a mis en avant un ensemble de préconisations pour une politique de prévention alors que la France a longtemps été attachée plutôt au remède qu’à la prévention. Le CNESCO est confronté à l’absence de continuité des politiques publiques car chaque ministre amène sa politique. Se pose donc le problème du temps long et du temps politique pour l’évaluation de la politique. Le CNESCO s’appuie sur un socle scientifique et participatif : sa démarche consiste à soumettre des éléments aux acteurs pour proposer des préconisations pertinentes et pragmatiques et en améliorer l’acceptabilité.

Conclusion de France Audacieuse:

Un colloque au contenu très riche et complexe avec des intervenants de très grande qualité scientifique, illustrant parfaitement la spécificité du LIEPP – son caractère pluridisciplinaire et ses racines dans les sciences sociales- soulignée par Frédéric Mion dans son propos introductif.

C’est également une parfaite illustration de la nécessité non seulement de systématiser l’évaluation des politiques publiques mais également d’en tirer ensuite toutes les conclusions pour orienter l’action publique: c’est plus que jamais obligatoire et urgent, en ces temps de contraintes financières, d’utiliser cet outil.

Nathalie Kaleski – 7 février 2017