Importance et difficulté de prendre en compte la mesure dans un système qualité universitaire

 

 

Maurice Pillet1, Luce Sanchez2, Jean Luc Maire1

1 Université de Savoie, Laboratoire LISTIC – Annecy – France

2 Université de Grenoble, IUT – Grenoble – France

Maurice.pillet@univ-savoie.fr

luce.sanchez@iut2.upmf-grenoble.fr

jean-luc.maire@univ-savoie.fr

 

 

La maîtrise de la qualité de tout système passe par la maîtrise d'un processus de production de valeur, mais également – et on l’oublie trop souvent - par la maîtrise des processus de mesure. Si dans le cas de processus industriels l'identification des processus de mesure est souvent évidente, il n'en est pas de même dans le cas des organismes d'éducation et de formation. Nous soulignons dans cette communication papier, l'importance que doit prendre la mesure dans l’amélioration d'un processus, et décrivons les caractéristiques nécessaires à tout processus de mesure.

Au travers d’exemples nous illustrons la mise en place de deux processus de mesure et les bénéfices que l’on peut en tirer pour l’amélioration du service rendu aux clients.

 

Mots clés

Six Sigma, ISO 9000, Mesure, Formation, Amélioration continue

 

 

1. Introduction

Au cours de ces vingt dernières années, le concept de qualité a profondément évolué. Partant d'une vision très centrée sur la conformité aux spécifications des produits, elle arrive à une vision plus globale visant à améliorer la performance industrielle pour une plus grande satisfaction du client. Plusieurs étapes sont à l'origine de ces évolutions dont on peut citer sans être exhaustifs :

·      L'arrivée de la notion de qualité totale qui permettait de dépasser la simple conformité ;

·      L'ISO 9000 d'abord organisée en chapitres afin de prévenir les principales sources de défaillances, puis avec une vision processus davantage tournée vers le client et avec un souci de performance industrielle ;

·      La démultiplication de l'utilisation des outils statistiques et méthodologiques comme les plans d'expériences, la Maîtrise Statistique des Procédés, le QFD, l'AMDEC

·      L'intégration des notions d'amélioration continue telles que le Kaizen et d'amélioration par percées telles que l'approche Hoshin ;

·      L'intégration de démarches de progrès permettant d'organiser les différents outils en les repositionnant par rapport à une approche de gestion par projet telles que Six Sigma, Shainin…

Au cœur de ces évolutions la mesure a pris une part de plus en plus importante jusqu'à devenir un des piliers des approches modernes de la qualité telles que "Six Sigma". Une idée sous jacente à toutes ces évolutions est que maîtriser le processus seul ne suffit pas, il faut être capable de le mesurer. La mesure fournit d'une part l'information factuelle sur un état, une situation, d'autre part elle permet également la quantification des progrès accomplis dans une démarche.

La mesure ne consiste pas seulement à fournir un chiffre, elle doit posséder un certain nombre de propriétés telles que la justesse, la reproductibilité, la répétabilité… Les industriels – surtout ceux qui ont appliqué "Six Sigma" - ont fait sur ces domaines des progrès considérables. Ils se sont dans un premier temps rendus compte qu'ils ne savaient pas mesurer et qu'une information non pertinente n'était pas génératrice de progrès. Dans un second temps, ils ont appris à véritablement "mesurer" et ils ont pu constater la formidable source de progrès qu'ils généraient par la mesure. Tous ceux qui ont appliqué Six Sigma affirment : « Avant on ne savait pas mesurer, et surtout on ne connaissait pas cette formidable source de progrès ». 

Par rapport à ces fabuleux progrès, le monde de l'éducation semble rester plus statique malgré quelques exemples de démarches réussies [1][2].  Il n'a sans doute pas encore pris en compte le potentiel considérable qu'il pouvait développer en améliorant son système de mesure. Qui doit mesurer, Quoi, Où, Quand, Comment et Pourquoi mesurer dans un système éducatif, telles sont les questions auxquelles nous tenterons de répondre dans cette présentation.

2. L'importance de la mesure dans un système éducatif

Il n'y a pas de progrès sans mesure. La mesure permet de mesurer un écart entre une situation donnée et une situation visée, c'est le point de départ de toute démarche d'amélioration, de tout plan d'action. La mesure dans un processus d'amélioration continue ou dans le cas d'une recherche de progrès par percée intervient à plusieurs niveaux :

·      comme une caractéristique de l'état de sortie du processus que l'on mesure ;

·      comme une caractérisation de l'état du processus lui-même ;

·      comme une caractérisation des entrées du processus.

Si l'on prend exemple sur les démarches telles que Six Sigma ou Shainin, on constate que la mesure intervient au début de tout processus d'amélioration. La démarche DMAIC (Définir, Mesurer, Analyser, Innover, Contrôler) de Six Sigma est de ce point de vue exemplaire. Dès lors que l'on a défini le problème (Phase Définir), on doit être capable de trouver un processus de mesure qui traduit la satisfaction des clients (Phase Mesure). L'analyse du problème et la recherche de solutions n'interviennent qu'après. Dans le cas d'un système éducatif, on peut se poser la question de la place de la mesure, est-elle placée en tête de toute démarche de progrès ?

Dans un contexte de plus en plus concurrentiel ou les clients (étudiants, stagiaires de formation continue mais également financeurs : entreprises, organismes publics…) sont de plus en plus exigeants, la mise en place d'un système de mesure a pour avantage de permettre de démontrer l'efficacité et la qualité de nos formations.

2.1. Qui, Quoi, Où, Quand mesurer ?

Comme dans tout processus, la mesure peut intervenir à plusieurs niveaux dans un système d’éducation. Citons quelques exemples (l'ordre des exemples n'implique pas de hiérarchie).

·        La mesure du résultat de l'acte d'enseigner, le niveau atteint par l'élève. Cette première mesure apparaît comme celle qu'on pense savoir faire le mieux depuis bien longtemps au travers des notes. Est-ce si sûr ? Quelles sont les caractéristiques du système de mesure en place ?

·      La mesure de la performance du processus d'enseignement. Cela se fait rarement  dans les cursus de formation initiale, c'est pourtant une obligation dans les cursus de formation continue. L'étudiant doit avoir la possibilité d'évaluer le professeur comme le décrit Williams [3].

·      Les mesures liées aux autres étapes du processus ou aux processus particuliers en rapport avec le système éducatif, telles que la qualité de l'accueil, le nombre de dossiers de candidature, le nombre de modifications de l'emploi du temps, les absences, les délais pour le rendu de copies, le temps de mise à disposition de documents administratifs, le nombre d'ouvrages empruntés par élève…

·      La mesure de la performance du système éducatif  sa capacité à éduquer les individus, à leur permettre de s'insérer dans la vie active, la capacité du système à répondre aux besoins de la société. Cela peut aller jusqu’à la certification du diplôme [4]. On peut souligner ici l'importance d'un questionnaire administré aux étudiants après la fin de leur cursus : 6 mois, un an voire plus pour évaluer leur parcours post-formation.

L'approche processus a pour avantages de montrer et donc de prendre conscience des éléments suivants indispensables à la mise en place d'indicateurs pertinents :

·      La multiplicité des clients ;

·      L'ensemble du système : le cours n'est qu'une partie du processus. Le personnel administratif joue un rôle très important ;

·      Les interfaces entre les étapes et les acteurs qui sont des sources de dysfonctionnement.

En conséquence, les indicateurs qui permettent l'amélioration continue doivent être définis à toutes les étapes du processus en recherchant le consensus d'une équipe pédagogique composée des enseignants et des administratifs.

Exemple : analyse de processus en cours à l'IUT 2 de Grenoble pour les activités de formation continue et d'apprentissage.

Figure 1 – Cartographie d'un processus de formation

Cette approche nous a montré l'importance de l'évaluation des enseignements par les stagiaires mais également de l'ensemble de la formation (accueil et information, programmes, conditions matérielles, services administratifs…) ainsi que la mise en place par formation d'un bilan pédagogique mais aussi commercial et budgétaire.

L'ensemble de ces mesures doivent être capable de comparer deux situations (avant/après, filière A/filière B…) et de stimuler les processus de progrès. Si l'acte de mesure peut sembler simple dans le cas d'un processus industriel, celui-ci est beaucoup plus complexe dans le cas d'un système éducatif. Le manque culturel d'habitude de la mesure, le manque d'outils, de rigueur, la difficulté liée au mesurande lui-même explique en partie cette complexité.

La mise en place d'un système de mesure nécessite une évolution culturelle en profondeur. L'introduction de la notion de client nécessaire dans cette approche doit être progressive et nuancée. L'étudiant ne doit pas jouer le rôle d'un "consommateur de cours" mais être un acteur exerçant sa part de responsabilité dans le processus. Des questions sur le travail personnel fourni, sa motivation et son implication…peuvent être introduites dans les questionnaires d'évaluation.

Mais malgré cette complexité, le monde de l'éducation doit être capable de faire le pas réalisé par les industriels et aborder sans a priori le problème de la mesure afin de pourvoir progresser… de façon mesurable.

On vient de le montrer dans les différents exemples, la mesure peut intervenir à différents niveaux de nos processus, en différents lieux, et à différents moments. L’introduction de démarche de progrès de type « Six Sigma » dans l’éducation sera certainement salutaire en forçant les acteurs de ces démarches à se poser la question de la mesure.

2.2. Les caractéristiques d'un système de mesure, le comment ?

Mesurer ne consiste pas simplement à obtenir un chiffre comme on le constate malheureusement trop souvent. Mesurer c'est obtenir un indicateur capable de rendre compte des évolutions du processus. Pour être adapté, un processus de mesure doit posséder un certain nombre de caractéristiques [5]:

·      Justesse : c'est l'écart systématique entre la moyenne de plusieurs mesures et la valeur de référence ;

·      Linéarité : c'est la différence de justesse sur la plage d'utilisation de du processus de mesure ;

·      Stabilité : c'est la variation des résultats d'un système de mesure sur une même caractéristique et le même produit sur une période de temps prolongée ;

·      Répétabilité : représente les variations de mesures successives obtenues sur un même mesurande dans les mêmes conditions ;

·      Reproductibilité : représente les variations de mesures obtenues sur un même mesurande en faisant varier une condition.

L'acte de mesurer suppose de disposer d'un moyen de mesure qui est mis en œuvre par un individu dans un environnement donné avec une certaine méthodologie. On peut donc caractériser le processus de mesure par les 5 M du processus de mesure créateur de variabilité dans le résultat de la mesure. Pour illustrer ces 5M, prenons l'exemple de l'évaluation des connaissances d'un groupe d'étudiant. Cette "mesure" (la note de l'étudiant) semble être admise comme étant une bonne mesure. Peut-on en être aussi certain ?

Les sources de variabilité sont nombreuses :

·      Mesurande : Il correspond à la valeur intrinsèque de ce que l'on veut mesurer, dans le cas de l'évaluation d'un étudiant, la variabilité du mesurande va correspondre à l'état émotif, social, physique du candidat au moment de l'épreuve ;

·      Main d'œuvre : Dans ce cas il s'agit du correcteur qui à sa propre variabilité, est-il homogène du début à la fin du paquet de copies ? D'une semaine à l'autre ? Deux correcteurs sont-ils homogènes devant deux copies identiques ?

·      Moyen de mesure : représenté ici par le sujet. La façon dont on rédige le sujet peut entraîner des différences dans l'interprétation du travail demandé à l'étudiant ;

·      Milieu : qui va prendre en compte les conditions dans lesquelles s'est déroulé l'examen, la correction, mais également qui peut englober le climat social dans l'université…

·      Méthode : Qui prend en compte la façon dont le processus de mesure est conduit. Il va prendre en compte le barème, la façon de l'appliquer…

 

On se rend bien compte dans cet exemple la très grande source de variabilité qui existe dans un tel processus de mesure. Dès lors que l'on a pris conscience de cette variabilité, dans toute démarche qualité, on doit se poser les questions suivantes :

·      Quelle est la part de la variabilité dans la note rendue ?

·      Quelle est la part que l'on peut réellement affecter au mesurande ?

·      Comment améliorer mon processus de mesure afin d'améliorer mon processus d'enseignement ?

2.3. Evaluation d'un système de mesure

L'évaluation d'un processus de mesure consiste à se poser la question suivante : les variations observées à la sortie du processus de mesure traduisent-elles de véritables variations à l'entrée ?

Si la justesse et la linéarité ne sont pas toujours des caractéristiques recherchées dans le cas de mesures relatives et non absolues dans un référentiel universel, la répétabilité, et la reproductibilité apparaissent toujours comme étant essentielles. Pour évaluer ces deux caractéristiques, on doit procéder à un test R&R (Répétabilité et Reproductibilité) :

·        Pour tester la répétabilité, on fait mesurer plusieurs fois par le même opérateur, sur la même caractéristique, la même mesure ;

·        Pour tester la reproductibilité, on identifie quelles sont les conditions de mesure qui sont susceptibles de changer (opérateurs différents par exemple) et on réalise une mesure dans les deux conditions.

Il est également important de réaliser ce test sur plusieurs mesurandes. En effet, il peut y avoir des écarts entre deux opérateurs qui dépendent du mesurande.

Dans le cas général, une étude R&R se conduit à partir d'une dizaine de "produits", mesurés au moins deux fois, par au moins deux opérateurs différents. Dans le cas du processus d'évaluation de copies par exemple, on prend 10 copies qui sont corrigées deux fois par deux correcteurs différents. La figure 2 donne un exemple d'une telle évaluation 

 

Correcteur 1

Correcteur 2

N° copie

1° évaluation

2° évaluation

1° évaluation

2° évaluation

1

5

6

7

8

2

15

13

15

16

3

12

14

13

12

4

12

11

14

12

5

14

12

15

14

6

8

9

10

10

7

6

4

7

7

8

10

12

10

12

9

17

17

16

18

10

14

15

14

16

Figure 2– Etude R&R

L'analyse R&R va consister à analyser la décomposition de la variance totale par rapport aux différentes sources de dispersion :

·        les copies sont différentes (écarts du mesurande) ;

·        les correcteurs sont différents (reproductibilité) ;

·        il peut y avoir une interaction entre les correcteurs et les copies (reproductibilité) ;

·        la variance résiduelle (répétabilité).

Dans le cas du tableau ci-dessus et sans rentrer dans les détails statistiques que le lecteur pourra trouver dans la littérature spécialisée [6], l'analyse statistique (figure 3) montre qu'il existe un biais significatif entre les deux correcteurs de un point et que l'ensemble des variations de répétabilité et de reproductibilité représentent une variation à ± 2 sigma de ± 2,6 points pour une même copie.

Dans ces conditions, on peut se poser la question sur la pertinence de la note et de l'interprétation que l'on peut faire de ce résultat. 

Une des solutions pour améliorer ce résultat consiste à multiplier le nombre de mesures (faire évaluer la même copie plusieurs fois). Dans ces conditions,  on divise la variance de répétabilité par le nombre de corrections. Nos ressources nous le permettent-elles ?

Toutefois, la mise en évidence de ce phénomène peut conduire l'enseignant ou une équipe pédagogique à améliorer son système d'évaluation en précisant ses attentes dans les travaux demandés et ses critères de notation. Cela a été le cas au département Information-Communication de l'IUT 2 de Grenoble dans le cadre de la démarche qualité. La variabilité de la note s'accentue en multipliant le nombre d'enseignants intervenant dans le processus. Dans les IUT, un certain nombre de travaux sont évalués par des jurys composés d'un ou plusieurs enseignants : projet tutoré, étude de cas, stage en entreprises… chaque jury n'intervenant que pour un nombre donné d'étudiants. Se pose alors de façon très aiguë le problème de l'homogénéité des différents jurys. Suite à ce constat, l'équipe a mené un travail de réflexion afin de définir les critères d'évaluation pour créer ou améliorer les outils d'évaluation. Un travail similaire a été effectué pour faciliter et homogénéiser les entretiens pour l'admission des étudiants.

 

 

Figure 3 – Evaluation R&R  d'une mesure d'un paquet de copies

 

3. Exemple de mise en place d'un processus d'amélioration à partir d'une mesure

L'expérience que nous souhaitons relater, a lieu depuis 1987 à l'IUT d'Annecy au département Organisation et Génie de la Production. Ce département offre deux spécialités à ses étudiants, la Gestion industrielle et la Qualité. A ce titre, le département se devait d'être novateur en matière de Qualité et a initié dès cette date une démarche qualité totale dans le but d'une meilleure satisfaction des clients. L'expérience consiste à réaliser une mesure de la performance du processus d'enseignement vu par les étudiants. Cette mesure, difficile à faire accepter au début dans un contexte universitaire où les enseignants ont plus l'habitude d'évaluer que d'être évalué, est aujourd'hui complètement intégrée au système qualité du département et se positionne comme un une source d'idées de progrès très importante.

 

3.1. Caractéristiques du processus de mesure

 

Votre sentiment?

Quels sont selon vous les points à améliorer? (pour d'autres idées mentionner au dos)

D

L

K

J

C

Améliorer la présentation au tableau

Ralentir le rythme !

Supports visuels plus clairs

Illustrer la théorie par des exemples concrets

Distribuer des supports plus lisibles (taille de la police..)

 

 

 

 

 

 

 

 

 

 

Figure 4 – Le questionnaire

Mesurande

On cherche à mesurer ici la perception du cours par l'étudiant. Le principe sous jacent est que l'étudiant pour apprendre doit avoir une opinion positive du cours qu'il suit. Il ne s'agit donc pas d'une évaluation de la formation qui se trouve souvent à la croisée de plusieurs cours.

Moyen de mesure

Le moyen de mesure est une enquête réalisée auprès des étudiants chaque année à partir d’un questionnaire (figure 3). Ce questionnaire est réalisé pour chaque module d’enseignement.

Cours : pédagogie (progression, méthodes, exercices…)

Méthode

L’enquête est anonyme afin de faciliter l’objectivité, elle comporte des questions ouvertes et fermées. Elle a lieu une fois par an, après le stage de fin d’année pour les deuxièmes années et au retour des vacances d’été pour les premières années. Ce délai de trois mois entre la fin des cours et la mesure a pour fonction d’éviter de recueillir des appréciations « à chaud ».

Le résultat de cette évaluation est traité chaque année au cours d’une réunion qualité du département consacrée à ce sujet. En cas de problème un plan d’action est mis en place. Par exemple une mauvaise évaluation systématique des modules scientifiques a conduit l'équipe a analyser le rapport entre les attentes des professeurs et le niveau de recrutement réel. Cela a conduit à une modification des programmes du département et à une modification de la façon d'enseigner les modules scientifiques.

Main-d'œuvre

La responsabilité de la conduite de l’enquête et de son dépouillement incombe au responsable qualité du département.

Milieu

On demande aux étudiants de répondre individuellement pour ne pas créer d’effet de groupe.

3.2. Capabilité du processus de mesure

Le fait de faire réaliser le questionnaire par l'ensemble de la promotion permet d'obtenir une excellente répétabilité de la mesure. En effet comme on l’a souligné précédemment, en réalisant une moyenne de plusieurs évaluations (ici une moyenne de 80), on améliore l’écart type de répétabilité de .

La reproductibilité peut facilement être vérifiée en comparant l'évaluation sur plusieurs groupes. L’excellente homogénéité constatée sur les trois groupes d’une promotion confirme l’absence de problème de reproductibilité.

La justesse n’est pas concernée dans ce type de mesure car on ne cherche pas une mesure absolue, mais une mesure relative entre les différents modules et entre les différentes années.

3.3. Les problèmes rencontrés

La mise en place d’un tel système d’évaluation dans une université a bénéficié d’un certain nombre de facteurs conjoncturels positifs. En effet, cette évaluation a été réalisée dès la création du département avec une équipe jeune à faible effectif et sensibilisée aux concepts de qualité. Par la suite, la pérennisation d’une telle pratique a été favorisée par la mise en place d’un système qualité de type ISO 9000 dans le département.

Cependant, malgré cela, on a pu relever plusieurs oppositions notamment lorsque l’équipe d’enseignants se renforçait. Les deux principaux reproches qui ont été fait sont les suivants :

·        N’y a-t-il pas une corrélation forte entre les notes des élèves dans la matière et l'évaluation du professeur ?

·        Acceptation des résultats par certains enseignants, une telle évaluation est-elle de la démagogie ou de la pédagogie ?

Pour chacun de ces deux points, nous nous efforçons de prouver de façon factuelle l’absence de telles dérives. Ainsi, chaque année nous réalisons le test de corrélation entre l’évaluation du module et la moyenne des élèves dans le module. Ce graphique montre chaque année une très légère corrélation positive. Mais il n’y a pas forcément relation de cause à effet. En effet un module bien ressenti par les étudiants aura un taux d’absentéisme plus faible, une meilleure participation des étudiants, et en conséquence une moyenne légèrement plus élevée à l’évaluation.

Quand au second point, les résultats observés sur les progrès pédagogiques de l’ensemble de l’équipe d’enseignants tendent à démontrer le bien fondé d’une telle démarche, bien que de nombreux progrès restent encore à faire.

Enfin nous avons noté la difficulté de faire évoluer les cours qui ne sont pas réalisés par les enseignants du département mais par des vacataires extérieurs qui ont souvent une évaluation plus faible.

3.4. Résultats 

Figure 5 – les résultats sur trois ans consécutifs

Au cours des années, on a noté une progression de la note moyenne des enseignants, surtout dans les domaines métiers conduisant à une excellente ambiance au sein du département. On note par exemple sur la figure 5 la progression importante réalisée par un jeune collègue en anglais qui est passé en trois ans d'une évaluation très moyenne à la meilleure évaluation. On peut faire l'hypothèse que cette amélioration est le fruit de l’auto stimulation des enseignants pour améliorer leur pédagogie qui résulte sans doute en partie de cette évaluation. Les résultats de ces progrès se traduisent de façon concrète et mesurable de plusieurs manières :

·        Réalisation de supports pédagogiques de meilleure qualité… qui sont d’ailleurs devenus des ouvrages de référence dans les domaines de compétence du département. Sur l’équipe de 12 enseignants, 7 sont auteurs ou co-auteurs d’ouvrages de synthèse dans les domaines de compétences du département.

·        Utilisation intensive des nouvelles approches pédagogiques : vidéo projection, animations pédagogiques avec visualisation en cours d’interviews d’industriels, utilisation de simulateurs de processus industriels développés par les enseignants…

Concernant les nouvelles approches pédagogiques mises en œuvre, elles ont aussi largement débordées le cadre du département et sont aujourd’hui diffusées sur l’ensemble des universités et des organismes de formation continue au travers de l’association OGP Transfert. A titre d’exemple citons les simulateurs SIMDI qui permettent une simulation informatique interactive de processus industriels afin d'enseigner les cartes de contrôle, les plans d'expériences, les outils Shaining, Six Sigma…

L'objectif des simulateurs SIMDI est de mettre "en situation" l’étudiant. Par exemple dans le simulateur de tour à commande numérique, le stagiaire doit piloter une production sans carte de contrôle dans un premier temps, puis avec une carte de contrôle de son choix (moyenne, médiane, pre control…). On valide avec les capabilités obtenues, les coûts de revient et l'apport des cartes de contrôle. Il a la possibilité de réaliser un plan d'expériences pour améliorer la capabilité court terme Cp (le z du processus). Le simulateur de processus de soudage laser permet de mettre en œuvre des plans d'expériences en surface de réponse et de faire une optimisation multi-réponses pour trouver le meilleur compromis entre deux Y contradictoires : la profondeur de la soudure et la qualité de la soudure.

L'intérêt des simulateurs informatiques est la rapidité avec laquelle les productions ou les expériences sont réalisées, permettant ainsi aux étudiants de se consacrer à l'essentiel : la démarche d'optimisation. Les différents simulateurs sont disponibles en mode démonstration sur le site www.ogp.annecy.com

 

 

Figure 6– Simulateurs SIMDI

4. Conclusion

Si la mise en place de démarche qualité dans les établissements d’enseignement commence à devenir une réalité, la mise en place de démarche de progrès de type Six Sigma reste encore balbutiante. Pourtant, l’expérience des entreprises industrielles nous montre la complémentarité de ces deux piliers de la qualité. Pour pouvoir initier de telles démarches, il faut nécessairement mettre en place des mesures possédant un certain nombre de particularités que nous avons développé. Ces mesures doivent intervenir à différents stades du processus de création de valeur et doivent être centrées sur la satisfaction du client.

Mesurer n’est pas une chose facile, mais c’est la base de tout progrès. Les industriels ont appris au cours de ces dernières années l’importance qu’il fallait accorder à la mesure, à nous désormais de faire cet apprentissage.

 

Bibliographie

[1] Goldberg, Jacqueline S.; Cole, Bryan R. - Quality Management in Education: Building Excellence and Equity in Student Performance- Quality Management Journal, Vol. 9, No. 4, OCTOBER 2002, pp. 8-22

[2] Dew, John Robert - Leading the Quality Movement in Higher Education - Annual Quality Congress Proceedings, Charlotte, NC, Vol. 55, No. 0, MAY 2001, pp. 159-163

[3]Williams, Sandra S. - The Development of a Student Satisfaction Survey for Higher Education Administrative Services - Quality Management Journal, Vol. 4, No. 3, APRIL 1997, pp. 15

[4]Aft, Larry - Evaluating Higher Education Programs in Quality -  Quality Progress, Vol. 35, No. 10, OCTOBER 2002, pp. 30-31

[5] Duret, Daniel ; Pillet, Maurice Qualité en production – Les éditions d'organisation - 2002

[6] Pillet, Maurice Six Sigma – Les éditions d'organisation - 2004