Avertissement
Si vous arrivez directement sur cette page, sachez que ce travail est un rapport d'étudiants et doit être pris comme tel. Il peut donc comporter des imperfections ou des imprécisions que le lecteur doit admettre et donc supporter. Il a été réalisé pendant la période de formation et constitue avant-tout un travail de compilation bibliographique, d'initiation et d'analyse sur des thématiques associées aux concepts, méthodes, outils et expériences sur les démarches qualité dans les organisations. Nous ne faisons aucun usage commercial et la duplication est libre. Si, malgré nos précautions, vous avez des raisons de contester ce droit d'usage, merci de nous en faire part, nous nous efforcerons d'y apporter une réponse rapide. L'objectif de la présentation sur le Web est de permettre l'accès à l'information et d'augmenter ainsi les échanges professionnels. En cas d'usage du document, n'oubliez pas de le citer comme source bibliographique. Bonne lecture...

Contribution aux bonnes pratiques de l’évaluation

manaila
  Sonia MANAILA
mokric
Dragan MOKRIC
photo_auteur1.jpg
Mirela CHIOLHAN
photo_auteur1.jpg
Jonathan TAHIATOHIUPOKO
Référence bibliographique à rappeler pour tout usage :
Contribution aux bonnes pratiques de l'évaluation, CHIOLHAN Mirela, MANAILA Sonia, MOKRIC Dragan, , TAHIATOHIUPOKO Jonathan , Projet d'Intégration, MASTER Management de la Qualité (MQ), UTC, 2011-2012, URL : http://www.utc.fr/master-qualite, puis "Travaux" "Qualité-Management", réf n°202
RÉSUMÉ

 

    La mission de notre travail est de remettre en cause les pratiques d’évaluation face à la réalité du système évalué.
Nous allons essayer de trouver un équilibre entre les deux visions existantes, la vision normative qui met en place l’objectivisme et la vision subjective qui correspond à un avis personnel. De cette manière, nous pouvons évaluer de façon performante le système d’une organisation selon les bonnes pratiques identifiées.

    Le mot « évaluation » peut avoir plusieurs significations en fonction de la perception des acteurs concernés.

    L’évaluation c’est : « porter un jugement  sur la valeur, estimer, apprécier, juger».
Dans le projet que nous avons effectué, on peut trouver les causes d’une mauvaise évaluation, les problèmes qui apparaissent  et les alternatives identifiées.


Mots clés : évaluation, bonnes pratiques, réalité du travail

ABSTRACT

The mission of our work is to put in evidence the practices of evaluation face to the reality of the evaluated system. We will try to find the equilibrium between the two existent visions, the normative vision that is related to objectivism and the subjective vision that correspond to a personal point of view. This way, we can evaluate in an efficient manner the system of an organization according to the good practices identified.

The word “evaluation” can have several meanings concerning the perception of the actors involved.

The evaluation is: “having a judgment over the value. Estimate, appreciate, judge.”
In the project that we have done you will find the causes of a bad evaluation, the problems that appear and the alternatives identified.


Key words :evaluation, good practices, the work reality

ABSTRACT

Misiunea noastră este de a evidenţia practicile evaluării confruntate cu realitatea sistemului evaluat. Vom încerca să găsim un echilibru între cele două viziuni existente, viziunea normativă care  tinde către obiectivism şi viziunea subiectivă ce corespunde unui punct de vedere personal. În acest fel, putem evalua într-o manieră performantă sistemul unei organizaţii in concordanţă cu bunele practici identificate.

Notiunea de “evaluare” poate avea mai multe conotaţii, în funcţie de percepţia actorilor implicaţi.

Evaluarea este: “a avea o judecata asupra valorii. A estima, a aprecia, a judeca.”
În proiectul realizat, veţi găsi cauzele unei evaluări incorecte, problemele ce apar şi alternativele identificate.


Cuvinte cheie: evaluare, bune practici, realitatea mediului lucrativ

 

Remerciement :


Tout d’abord, nous tenons à remercier notre tuteur M. Jean-Pierre CALISTE pour sa disponibilité, ses indications  et ses conseils généreusement distribués. De même, nous remercions M. Gilbert FARGES, le responsable de notre formation, pour son aide et les notions théoriques qu’il nous a enseignées durant notre projet et pour toutes ses remarques constructives à  chaque jalon d’avancement.
Egalement, nous remercions les étudiants de l’année 2006/2007, Sébastien HACQUIN, Aroube AL SAADI, Grégory SIERADZK, pour les informations fournies dans le projet d’intégration master management de la qualité, utc:  « comment faire confiance à l'évaluation ».
 Nous aimerions remercier aussi Madame Claire TOURMEN, le maître de conférences AGROSUP à Dijon, d’avoir  partagé avec  nous  ses connaissances et  expérience lors de l’entretien que nous avons réalisé avec elle.
Enfin nous voudrions remercier le bureau master pour le  matériel de bureautique (notamment les posts-it et la reliure du rapport) qu’il a mis à notre disponibilité.


Sommaire :


Introduction

Contexte, Problématique traitée et enjeux associés

C’est quoi l’évaluation ?

Le contexte de la pratique de l’évaluation via le P.E.S.T.E.L

Politique & Législative

Économique & Socioculturel

Technologique et écologique

Clarification de La problématique : QQOQCP

La Planification Dynamique Stratégique relatif aux enjeux du projet

Périmètre du projet

Analyse des risques projets

La stratégie considérée pour le projet

Méthodologie de résolution

Extraction des éléments issus des sources bibliographiques

Regroupement des idées - MINDMAP

Famille de risques dans la pratique de l’évaluation

La sélection des pratiques

Logigramme synthétique de la méthode de résolution

Perspective et conclusion

Perspective du projet

Conclusion

Bibliographies et Annexes

Fiches de lecture



    

retour sommaire

  

Introduction




    La pratique de l’évaluation est l’un des mécanismes[1] prépondérant au sein des gouvernements et des organisations contemporaines, qu’elles soient à but lucratif ou non lucratif, où toute entités se doivent d’assurer leurs pérennités.

 C’est ainsi que deux modes de gouvernance, la compétition marchande et le rôle étatique ont guidés ce principe omniprésent vers des courants multiples qui se reflète de part les déviances montantes et la pluralité de ces formes.

Le dispositif d’évaluation s’appui sur des instruments de mesure à l’aide d’indicateur censé être applicable pour tout type de structure (hôpital, entreprise, association, tribunal…) ce qui contribue à un suivi pertinent et objectif de l’évolution du processus opérationnel et stratégique.

Or cette approche pragmatique est fortement reprochée[2]selon les spécialistes et concernés provocant malheureusement des symptômes organisationnels tel que les psychopathologies et autres méfaits sociétales comme l’effet « prix Goncourt »[3].
   
Historiquement, la rationalisation du travail par Taylor[4] lors de la généralisation  industrialo-capitalisme en 1890 créa le besoin d’évaluer ce qui devint ainsi, l’opérateur essentiel de la naissance du capitalisme. Elle prend son essor au XIXème siècles, principalement aux Etats-Unis, pour mesurer d’abord l’efficacité des étudiants puis du système éducatif et de santé. L'évaluation[5] a fait l'objet depuis deux siècles de multiples théories qui se confrontent, donnant lieu notamment à une bataille idéologique entre adeptes du quantitatif et ceux du qualitatif.

Depuis quelques années, un courant participative de l’évaluation entre en jeu, grâce à la sociologie des organisations et des retours d’experts tel que E.Monier[6], précisant que « Le chargé d'évaluation devient un maïeuticien, un méthodologue et un médiateur », réfutant l’évaluateur traditionnel, également de critique fondé, « l’essentiel de ce qu’en cherche à évaluer, se dérobe à l’observation directe » selon C.Dejours qui propose de « percevoir l’expérience subjective du travail ».

 

C’est dans un souci d’équité des deux visions de la pratique d’évaluation, celle de l’objectivisme tangible traditionnel et du subjectivisme tacite précurseur que nous souhaitons entamer une analyse préliminaire des pratiques de l’évaluation au niveau normative et au niveau de l’état de l’art.

 

Il s’agit donc par la suite, de clarifier le sujet sur les bonnes pratiques de l’évaluation à l’aide d’objectifs identifiés et mesurables puis de l’expertise et la mise en œuvre du plan d’action défini avec comme idéal de contribuer et rendre plus performant tout organisme en possession de ce rapport afin d’améliorer l’efficacité, l’efficience du processus d’évaluation et de ce fait, la performance de ces entités.

   Contexte, Problématique traitée et enjeux associés

C’est quoi l’évaluation ?

 

Evaluer c'est d'abord mesurer[7], mais aussi apprécier la valeur d’un projet ou d’une action, sa mise en œuvre, ses résultats au regard des missions des objectifs initialement prévus. Il faut donc commencer à travailler l'évaluation dès le début de l'élaboration du projet. L’évaluation peut s’appliquer dans n’importe quel domaine de travail.

 

L'évaluation permet de mesurer divers aspects d’un projet ou d’une action dans un organisme: l'efficience, l'efficacité, l'impact, la cohérence et la cohésion des gens d’une équipe. Ainsi cette technique[8] dite de gestion possède une polysémie qui se diversifie sous l’expertise académique d’un article et un contrôle de normes de qualité dans un processus productif ; ou bien dans le suivi du chiffre d’affaire d’une organisation ; comme dans un indice de satisfaction des usagers d’un service social; également dans une épreuve standardisée pour comparer les compétences scolaires des élèves, etc.

 

L’évaluation est aussi pour l’équipe un processus permanent, qui doit être utilisé comme un instrument d’accompagnement des personnes, une démarche collective de production de connaissances. 

 

        Le mot « évaluation » peut avoir plusieurs connotations en fonction de la perception des acteurs concernés. Il existe de nombreuses définitions pour cette notion et c’est dans ce cadre, que l’on entreprend de clarifier le concept d’évaluation. Voici quelques exemples des définitions:


« Porter un jugement  sur la valeur.  Estimer, apprécier, juger. » (Le nouveau petit Robert  1994)

« Déterminer plus ou moins approximativement la valeur de quelque chose » (Lexis)

« La rétroaction planifiée et systématique d’informations nécessaires pour guider l’action future. » (Arnold 1971)

« La collecte et l’interprétation systématique d’évidence (données probantes) menant, de façon inhérente au processus, à un jugement sur la valeur (d’un programme) dans une perspective d’action. » (Beeby 1977)   

« L’analyse d’une action raisonnée en termes de sa pertinence, son implantation et ses résultats. » (SCE 1985)

« Le processus de détermination de la valeur des choses. » (Scriven 1991)


Les définitions présentées ci-dessus contiennent des mots qui montrent la subjectivité et l’incertitude de l’évaluation, comme estimer, apprécier, approximativement, jugement, pertinence. La subjectivité d’un évaluateur intervient dans l’analyse des données, étant le principal motif  du manque de confiance dans le processus d’évaluation. Comme on sait que la rationalité de l’homme est limitée, on s’attend que l’interprétation de la réalité diffère en fonction de l’évaluateur. L’effet est la méfiance des acteurs concernés regardant la mauvaise interprétation des données, donc d’une évaluation qui ne reflète pas la réalité.

L’évaluation est souvent perçue par les évalués comme une vérification de leur activité et ils ont peur d’une mauvaise perception de leurs actions. Dans la relation évaluateur-évalué intervient la notion de confiance, qui n’est pas toujours présente.

Une seconde raison du manque de confiance dans l’évaluation, autre que la subjectivité, est l’incompréhension de l’activité par l’évaluateur. Donc il n’a pas la capacité de construire un référentiel robuste et il ne peut pas comprendre l’essentiel  de l’objet analysé. La pertinence de l’évaluation est mise en cause par les acteurs qui ne comprennent pas toujours la nécessité de cette démarche. Il n’est pas toujours évident d’assimiler que l’évaluation n’est pas le but, mais uniquement un moyen d’analyser la réalité pour la prise de décision. 

        La perception de l’évaluation comme un contrôle emmène à avoir une vision binaire des choses (conforme/ non conforme). Le processus d’évaluation donne une gradualité à chaque objet analysé et mets en avant l’inexistence de mauvaise pratique, mais seulement des pratiques qui peuvent être amélioré. Donc l’appréciation des évaluateurs a un rôle informatif pour des futures décisions.

retour sommaire

Le contexte de la pratique de l’évaluation via le P.E.S.T.E.L

 

Le contexte actuel qui entoure  la pratique de l’évaluation est très vaste, allant de la dynamique sociétale contemporaine au fonctionnement propre des entités étatiques mondiales, au niveau national et international, voire d’organisme responsable de l’évaluation aux organismes qui se font évaluer.

Par conséquent, nous allons prospecter selon une méthode empruntée au terrain du marketing de diagnostic de l’environnement externe. C’est à l’aide du PESTEL, étant l’acronyme de Politique, Économique, Socio-culturel, Technologique, Écologique et Législative qu’une description succincte du contexte est proposée pour entrevoir en sous parties la situation actuelle.

Politique & Législative

 

La stratégie des états tend vers le contrôle, la maitrise de fonctionnement du système et ceci passe par la mise en place de démarche pour s’assurer que la concordance entre les objectifs et les résultats escomptés sont le plus proche possible.

 Comme en France, où en 2006, une loi de programme pour la recherche[11]a été mise en place ce qui a conduit à la création de  l’AERES[12] ayant pour rôle de suivre et accompagner  l’évaluation des institutions éducatives  françaises. Dans ce climat, la progression du budget affilié à l’AERES a triplé[13] en 2 ans de 2006 à 2009, ce qui connote des pistes sur l’importance prise par les entités étatiques dans la pratique d’évaluation.

Toujours en France, on remarque un nombre conséquent d’organismes nationaux d’évaluation pour des domaines spécifiques comme  dans le domaine social et socio-médical[14].

Au niveau législatif, en Europe sous la gouvernance de l’U.E, on peut identifier des décrets et lois relatifs à la pratique d’évaluation. Par exemple, concernant l’enregistrement, l’évaluation et l’autorisation des substances chimiques (dite règlement REACH)[15] afin de cadrer et maitriser dans l’union européenne la prévention des risques environnementales. Le gouvernement Français a montré récemment un intérêt à l’évaluation d’une partie de ces institutions, selon l'article 12 de la loi de programmation des finances publiques[16] du 9 février 2009, l’ensemble des dépenses fiscales et niches sociales existantes à cette date, à savoir 538 mesures dérogatoires fiscales et sociales, ont fait l'objet d'une évaluation de leur bilan coût/efficacité.

 

Économique & Socioculturel

 

C’est à la suite de la crise économique mondiale de 2008, que l’on dénonça fortement le problème d’évaluation[17] des actifs financiers.

Cette crise a pour origine l’évaluation financière douteuse des risques de crédit, forte de ce constat, on remet en cause actuellement le système de titrisation[18] étant l’instrument financier regretté des banques d’investissements et des agences de notation qui déclencha à son insu l’aide massive des états, l’argent du contribuable.

 

Dans le cadre socioculturel, les répercutions de l’évaluation au sein de la société actuel montre des symptômes de pathologie mais aussi des fondements bienfaiteurs de l’approche de l’appréciation de la valeur.

On peut citer la démarche du gouvernement américain à la pratique de l’évaluation au sein de ses institutions ce qui a conduit à l’émergence d’une association dans la pratique de l’évaluation, l’AEA[19].

Cette dernière a  pour mission[20]d’améliorer les méthodes et la pratique d’évaluation, promouvoir l’utilisation et la perspective de profession de l’évaluation, contribuer à l’apport de théorie et connaissances  dans ce domaine.

Un équivalent européen existe, l’European Evaluation Society[21], qui a le but de stimuler, promouvoir la théorie et l’utilisation de l’évaluation en Europe.

Bien que des organismes participent à la promotion de l’appréciation et de la mesure, au niveau des faits, des signes de déviance datant de l’époque industrielle stagnent  de nos jours et s’accompagne de nouvelle psychopathologie qui s’accroit au fur à mesure que la complexité des organisations s’établisse et que la compétitivité féroce et déloyale fait jurisprudence, subis par la mondialisation. On peut recenser que la quête de performance[22]dans une entreprise par exemple, est source de déni institutionnel qui octroie un laisser-faire des défaillances résultantes du travail réel, ou bien que le gestionnaire devient pilote du processus sans connaître le travail effectif de l’opérateur. Et ceci peut engendrer des mécanismes de défenses ou différents types d’aliénations de la part des opérateurs.

Voici un récapitulatif des principales organisations présentent dans le monde[23] participant à l’édifice de la pratique de l’évaluation :


Figure n°: 1 - les différentes organisations sur la pratique de l'évaluation dans le monde

carte_evaluation


Technologique et écologique

L’avancée technologique remarquable qui se symbolise sous plusieurs traits dans la société actuelle, connote une variété et multiplicité des disciplines résultantes, avec des spécialisations abouties ou en construction.

Pour ces derniers, on peut noter que l’évaluation prend une ampleur prépondérante et obligatoire, surtout lorsque le facteur humain et environnemental entre en jeu. Notamment pour les nouvelles technologies, tel que les problématiques d’éthique que pose certaine approche, tel un commentaire émis par M. LARRÈRE[24] : « Est-ce que les biotechnologies, les nanotechnologies et la biologie synthétique relèvent d'artefacts ou de processus naturels ? Cette question est cruciale car le sens donné à ces techniques influera sur les dispositions éthiques et métaphysiques ».



C’est ainsi, qu’un panorama du contexte permet de se situer par rapport à l’état de l’évaluation dans notre époque. Ceci afin de comprendre le périmètre du projet relatif à la pratique de l’évaluation.

 

retour sommaire

Clarification de La problématique : QQOQCP

 

C’est à l’aide du formalisme et du cigle QQOQCP pour Qui ? , Quoi ? Ou ? Quand ? Comment ? et Pourquoi ? que nous proposons d’éclaircir le sujet traité. Le schéma ci dessous synthétise et nous permet de formuler la problématique que nous proposons de résoudre :


Figure n°: 2 - QQOQCPQQOQCP





 

La problématique identifiée ‘comment peut-on évaluer la réalité dans une organisation ? ‘ nous ouvre une voix vers une démarche d’appropriation des critiques et bienfaits de l’évaluation afin d’identifier des bonnes pratiques de l’appréciation de la valeur dans la réalité.



La Planification Dynamique Stratégique relatif aux enjeux du projet 


Afin de visualiser en un coup d’œil les enjeux relatifs au projet, la représentation graphique de la planification stratégique dynamique nous permet de situer les acteurs environnants, la mission et les objectifs du projet par rapport à l’équipe qui agisse à sa réalisation.

 

Le public concerné et impliqué par rapport aux pratiques de l’évaluation est avant tout le personnel d’une organisation mais aussi l’organisation elle-même mais aussi l’auditeur et le public assigné à être évalué. Le public indirectement impliqué est la société.

Les attentes générales du public sont une évaluation juste et correcte du travail et une évaluation qui reflète la réalité du travail. Le besoin et le livrable particulier c’est d’avoir les bonnes pratiques de l’évaluation.

C’est pour cette raison que le contexte de notre travail est orienté vers les soucis de cette réalité qui se reflète de par les psychopathologies du travail, puis en prenant en compte la part importante des organismes tertiaire d’où la prépondérance des relations avec le client et le personnel dans la co-production des services.

La mission de notre travail est donc dévaluer de façon performante le système d’une organisation selon les critères et indices spécifiés.

Les priorités choisies à travailler sont la réalisation d’une synthèse entre les normes d’évaluation et la réalité du système évalué.

L’existence de normes et de critiques sur le processus d’évaluation est notre support ainsi que notre force mais la réalisation d’un guide des bonnes pratiques reste notre domaine à développer et élaborer et de le mettre en pratique dans une organisation. Ceci constitue notre objectif mesurable.

 


 

 

retour sommaire

Périmètre du projet


Analyse des risques


    Dans l’optique de repérer les contraintes potentielles qui risque de perturber le bon déroulement du projet, une analyse des risques fut menée dans le but de déceler les risques et les contre-mesures pour y remédier.

 

Après un brainstorming et un diagramme d’affinité, le tableau ci-dessous fut établi regroupant les risques perçus par les membres du projet et la famille de risques corresponde.

 

Famille de risques

Risques perçus

avoir des problèmes de communication et de gestion des taches

se perdre dans des détails

ne pas écouter les autres

ne pas clarifier la thématique

avoir des problèmes de gestion de tâche

de ne pas arriver à un consensus

avoir des conflits dans l'équipe de projet qui empêchent l'avancement

Ne pas consacrer suffisamment de temps pour finir le projet

de ne pas avoir le temps pour finir le projet

ne pas respecter les dates limites

risque de ne pas mener le projet avec des jalons prévus

avoir des contraintes extérieures qui nous empêchent d’avancer avec le projet

la météo nous empêche de nous  voir

de ne pas avoir d'internet chez nous

ne pas disposer des ressources pour réaliser notre projet (panne ordinateur)

ne pas fournir le livrable attendu

aller en cercle sans trouver des bonnes pratiques

la peur de ne pas livrer exactement ce que M.FARGE demande

risque que notre projet ne serve à rien (aucune utilité)

risque de ne pas trouver une solution concrète

de ne pas avoir des sources d'inspirations

risques de faire hors sujet

d'aller sur la direction erronée

avoir une mauvaise compréhension du sujet

 

 

Ensuite les alternatives pour chaque famille de risques (intrinsèquement pour chaque risque perçu) fut identifié et représenté sous la représentation ici-bas :


Figure n° : 3 – les risques et contre-mesures du projet

risque&contre_mesure


La stratégie considérée pour le projet

 

Maintenant que les objectifs à atteindre et les risques sont identifiés, l’axe sur lequel il est nécessaire d’entreprendre pour caractériser la pratique de l’évaluation se schématise à partir du schéma dynamique du progrès selon l’ISO 9001. En effet, ce dernier récapitule selon un graphe la coordination synthétique au sein d’une entité et il semble être adéquat pour représenter les pratiques d’une évaluation sans omettre les exigences essentielles  de l’ISO 9001, telle qu’une direction de pilotage de l’entité, puis un management des ressources allouées pour la réalisation des objectifs fixés, ensuite la réalisation de l’activité propre à l’entité selon un cycle DCAP pour notre cas et une capitalisation par le retour d’expérience. Ainsi, on peut visualiser le déroulement global d’une évaluation. L’identification des pratiques est limité à une vision macro pour une compréhension holistique de l’évaluation.

De même, il faut savoir que la pratique de l’évaluation peut se diviser en deux sous ensembles, l’évaluation externe qui est une appréciation d’une entité par un groupe d’évaluateur externe avec la complicité de la direction alors que l’évaluation interne est réalisé par les membres de l’entité, que se soit les employés voir des partenaires. 

 

retour sommaire

Méthodologie de résolution

 

Extraction des éléments issus des sources bibliographiques

 

Dans l’optique de recadrer les pratiques d’évaluation actuelles, nous nous sommes inspirées d’articles et d’ouvrages qui remettent en cause l’évaluation de nos jours et présentent des pistes d’améliorations dans le but d’identifier les raisons du dysfonctionnement et y pallier. De ce fait, les membres du groupe ont enregistré toutes les critiques d’une part et les  points d’amélioration d’autre part issus de ces différents textes. L’enregistrement[27] du tout fut procédé sur post-it pour les supports bibliographiques physiques, tandis que les supports numériques furent enregistrés directement via l’ordinateur.

Ainsi, voici la liste des appuis bibliographiques qui nous ont permis d’extraire les éléments problématiques de la critique de l’évaluation et ces solutions[28] :



- FD X 50-186  juillet 2005, système  de management, Lignes Directrices pour la Mise en place d’un Processus d’Auto-évaluation


- FD X 50-174 : 1998, Management de la qualité - Évaluation de l’efficacité d’un système qualité


- Christophe DEJOURS , « l’évaluation du travail à l’épreuve du réel : Critique des fondements de l’évaluation », INRA Edition, Paris, 2003


    - Christian MARÉCHAL, « Comprendre l'évaluation dans le secteur social et médico-social », lexitis Edition, 2011


- Gabrielle BALAZS & Jean pierre FARGUER, une nouvelle forme de management : l’évaluation, Actes de la recherche en sciences sociales. Vol. 114, septembre 1996. pp. 68-78


- Claudine HAROCHE, « l’inévaluable dans une société de défiance », PUF cahier internationaux de sociologie, 2010, n ° : 128-129, p 53-78



- Danilo MARTUCCELLI, « critique de la philosophie de l’évaluation », P.U.F. | Cahiers internationaux de sociologie 2010/1 - n° 128-129 - pages 27 à 52


- Jean-Pierre GAUDIN et Pierre LIVET, « Processus d’évaluation des sciences sociales : acteurs et valeurs », Revue européenne des sciences sociales [En ligne], XLVI-141 | 2008,


- Bernard PERRET, « L’évaluation des politiques publiques », La Découverte & Syros, Paris, 2001.


- CNRS, « Comparaison des pratiques d’évaluation individuelle et collective dans les établissements publics de recherche », SECRETARIAT GENERAL DU COMITÉ NATIONAL, 2008


- Wing S. CHOW et Lai Sheung CHAN, « social network, social trust and shared goals in organizational knowledge sharing », Information and Management, Elsevier 2008


- Claire TOURMEN & lise DEMAILLY, « évaluation en tension : pour une critique documentée et constructive de l’évaluation », | octobre-décembre 2011


- Claire TOURMEN, « Les compétences des évaluateurs de politiques publiques », Formation emploi [En
ligne], 104 | octobre-décembre 2008



 

De surcroit, un interview avec une spécialiste de l’évaluation, Mde TOURMEN fut effectué. Voici l’extrait de notre échange. Lors de l’entretient avec Claire TOURMEN, elle a évoqué les causes de la non évaluation ainsi que les solutions applicables pour résoudre ce problème.

En effet, dans un premier temps les causes principales du non évaluation sont : la méfiance du contexte de l’évaluation, manque de temps et des moyens ainsi que les compétences des évaluateurs.
Dans un deuxième temps, nous distinguons : l’environnement hostile, le scepticisme dans les résultats de l'évaluation, différence entre la pratique et la théorie, financement de l’évaluation et le manque du temps pour évaluer.

Les solutions possibles et envisageables sont d’avoir les moyens financiers puis de connaitre les finalités d’évaluation. Mais aussi avoir le temps pour évaluer et prendre de bonnes décisions de pratique selon le contexte. Par la suite, il faut connaitre les finalités d’évaluation mais aussi avoir les référentiels d’évaluation.

Souvent, ce qui est recherché à évaluer sont le climat de travail, la souffrance, la spécificité des locaux tout en demandant les avis des gens qui y travaillent sur le bien-être des locaux, la gestion et l’organisation du travail. Pour cela il faut construire un référentiel d’évaluation avec les indicateurs adéquats comme celui d’absentéisme. Notamment il existe une différence d’évaluation entre les pays. Aux Etats-Unis, la méthodologie d’évaluation est différente de celle élaborée en France car elle s’adapte selon le contexte précis d’utilisation.

 

Regroupement des idées - MINDMAP

 

Afin de discerner les pratiques dans chaque phase du déroulement d’une évaluation, les causes furent regroupées selon la phase correspondante à l’aide d’un MINDMAP[30]. Puis les solutions[31] associées issues des ouvrages et d’un brainstorming ont été retranscrites dans cette représentation synthétique. Les détails sont visibles en annexes 5, 6 et dans un document complémentaire où tout les risques et alternative sont explicités.

 

Famille de risques dans la pratique de l’évaluation

 

Une attention particulière a été portée pour les causes (ou risques), où ces dernières ont été classées dans des familles de risque potentiellement responsables de la mauvaise appréciation de la pratique de l’évaluation. En effet, un Ishikawa dynamique fut opéré en prenant un par un tel risque repéré lors des lectures et le classant dans les familles qui se créaient au fur et à mesure. La technique employée fut de colorer sur la MINDMAP[32] chaque risque qui se ressemble en ayant l’objectif de restreindre à  4, voir 6 sous ensembles.

De ce fait, on obtient l’Ishikawa ci-dessous :



Figure n° 4 : Grandes familles des risques relatifs aux pratiques de l’évaluation.famille risque


retour sommaire

La sélection des pratiques

 

Maintenant que les alternatives de chaque risque sont  identifiées, il est nécessaire de les sélectionner pour identifier les bonnes pratiques de l’évaluation. Pour cela, une grille d’appréciation des alternatives a été créée. Cette grille de sélection se base sur les familles de risques discernées afin que chaque alternative soit confrontée à chaque famille. Le principe réside sur l’énonciation suivante : « l’alternative peut répondre plus ou moins à une famille de risque ».

En se basant sur ce principe, on peut pondérer notre appréciation d’une alternative pour chaque famille de risque lié au critique de l’évaluation. Dans notre situation, chaque membre du groupe va répondre à la grille,  et de ce fait, va déterminer une valeur comprise parmi 0%, 30%, 70% et 100% (étant une suite de valeurs distinctes et sans valeur médiane).

Ci-dessous, vous avez l’échelle de notation de la grille :

 

Notation

Signification

0%

l’alternative ne répond pas au risque

30%

l’alternative élimine en partie le risque

70%

l’alternative élimine en grande partie le risque

100%

l’alternative élimine le risque

 

Ainsi, nous obtenons un jugement de valeur d’une alternative de chaque membre pour chaque famille de risque. Alors, une note moyenne est identifiée pour chaque alternative déterminée par chaque membre. Cette note est issue du calcul pondéré suivant:


calcul_1


          
     Ri est le risque noté, c’est à dire la valeur attribuée par chaque membre pour la correspondance entre une alternative et une famille de risque selon l’intervalle définie. La somme des valeurs est ensuite pondéré selon qu’une alternative répond (soit 30%, 70%, 100% d’où une valeur égale à 1) ou ne répond pas (soit 0% d’où une valeur de 0) à une famille de risque (Ri). C’est donc la somme des réponses logiques qui est multiplié par la somme des notations des risques et qui est divisé par 2500 pour ramener à un Taux d’efficience (Te) compris entre 0% et 100%.

Ensuite, le Taux d’efficience Moyen (TeM) qui correspond à la moyenne des Te de tous les membres est déduit. (Rappelant la nature subjective et personnel de la détermination des valeurs par chaque membre, rendant le TeM contextuel et propre).

Le Taux d’efficience Moyen (TeM) est un critère de sélection des alternatives.

De même, l’écart type (ET) du Te entre les membres par rapport à la TeM est envisagé dans notre analyse, ainsi, on peut visualiser l’écart des notations pour une alternative. Voici les calculs correspondants :

calcul_2


Du fait de la nature épistémologique distinct des alternatives (fait référence à une action particulière, des qualificatifs orientant l’appréciation,…), il est préférable de relativiser chaque écart type de chaque TeM dans le but d’obtenir un second critère de sélection : l’Ecart Type relative (ETr) de formule suivante :


Calcul de
                l'écart relative

 

 

Donc, il est possible de filtrer les alternatives selon deux critères précédemment définis :

-         le TeM, le Taux d’Efficience Moyen du groupe pour chaque alternative, qui permet de distinguer les alternatives répondant plus ou moins aux différentes familles de risques.

-         Le ETr, l’Ecart Type relatif du TeM pour chaque alternative, qui permet de montrer les écarts d’appréciations du groupe par rapport à une alternative.

Afin de nuancer notre approche sur les pratiques dans le processus de l’évaluation, une qualification graduée du TeM et du ETr fut nécessaire. Le TeM est divisé en deux sous ensemble :


- faible efficience quand le TeM est compris entre 0% et 50%     et

- forte efficience quand le TeM est compris entre 50% et 100%

 

 Tandis que l’ETr, ce critère est séparé de la manière suivante :

 - dissensus quand l’ETr est compris entre 0% et 50%         et

- consensus quand l’ETr est compris entre 50% et 100%

 

Ainsi, on obtient une matrice qui se schématise comme suit :


Figure n° 5 : Matrice de classification des pratiquesmatrice des pratiques


Voici le processus récapitulatif de sélection des alternatives :

 


Étapes de
                calcul


La totalité de la démarche statistique effectuée est regroupé dans un fichier EXCEL personnalisable et adaptable selon le contexte. D’où l’obtention d’un outil de sélection des bonnes pratiques de l’évaluation. Cet outil présente les caractéristiques suivantes :

       
       Fonctionnelle

 

-         Contextuel

-         personnalisable

-         robuste

-         nuancé

Technique


-         Possibilité d’ajouter des alternatives dans la colonne correspondante

-         Possibilité d’émettre de nouveau critère de sélection des alternatives

-         Le choix du seuil de la limite de l’efficience du TeM et du consensus selon l’ETr

-         Paramétrage du tri des colonnes


Ci-dessous, on peut visualiser un extrait de l’outil de sélection des bonnes pratiques de l’évaluation :


Visulisation
                des onglets personnes et synthèse


Les onglets visibles dans le schéma ci-dessus montre les personnes participant à la notation de la grille et avec un onglet dit ‘calcul’ qui regroupe les critères et TeM des alternatives.



 

exemple de la
                grille d'une personne