Derrière PTE Academic : John de Jong parle des tests, des tâches, de la notation, des conspirations, de l'expression orale et de l'équité avec Jay
Chez E2Language, nous sommes déterminés à découvrir la vérité sur les tests de langue anglaise. Nous n’aimons pas spéculer sur la meilleure façon de se préparer et de réussir ces tests car nous comprenons qu’ils représentent des obstacles majeurs pour vous. Au lieu de cela, nous voulons connaître les faits. Nous croyons qu’avec des informations précises et un bon enseignement, l’expérience de passer un test peut devenir une expérience passionnante et valorisante.
Récemment, Jay a eu l’occasion de discuter avec le professeur John H. A. L. De Jong*, l’architecte derrière le PTE Academic de Pearson. John de Jong a travaillé chez Pearson de 2006 à 2016 et a occupé les postes de Vice-Président du développement des tests et de Vice-Président Senior des normes mondiales. Pendant cette période, il a développé le Pearson Test of English Academic (PTE Academic). Il est certainement une autorité en matière de tests de langue et peut-être l’autorité sur le PTE Academic.
Dans cette conversation, Jay discute avec John de Jong des raisons pour lesquelles Pearson a créé le PTE Academic en premier lieu, pourquoi il y a 20 tâches différentes, comment fonctionnent les interrelations de notation, si le système peut être « manipulé » ou non, comment fonctionne la notation de l’expression orale et pourquoi le PTE Academic est un test d’anglais « équitable » :
Jay : Vous étiez l’un des principaux architectes du PTE-A. Pourquoi le marché avait-il besoin d’un autre test d’anglais alors que l’IELTS et le TOEFL sont déjà bien établis ?
John : En fait, j’étais le principal architecte du PTE Academic. Le TOEFL et l’IELTS sont des tests un peu plus anciens utilisant la technologie d’hier et les concepts d’hier en matière de tests de langue. Pearson m’a engagé pour créer un nouveau test d’anglais et je voulais créer un test de langue réelle. Les rédacteurs traditionnels construisent un texte autour d’un problème de langue. Le texte est peu susceptible de se produire dans la vie réelle car il est écrit pour inclure un problème de langue. Pour le PTE Academic, les rédacteurs doivent baser leurs questions sur des échantillons de langue tels qu’ils existent. Les textes ne sont pas écrits pour le test, ils sont trouvés. Les rédacteurs doivent fournir la source de leurs échantillons de langue. Avec l’énorme quantité de langue dans les livres, les enregistrements et sur Internet, les rédacteurs peuvent trouver des échantillons de langue réelle, comme les candidats les rencontreraient dans leurs études. Des textes sur des sujets académiques, mais aussi sur la vie étudiante. Par exemple, les tests de langue traditionnels utilisent un langage scénarisé pour les items d’écoute, qui est ensuite lu par des acteurs, produisant un langage très peu naturel, sans les contractions, élisions, etc. qui se produisent dans l’usage vivant de la langue. Les utilisateurs réguliers de la langue parlent en phrases hachées, répétant et contournant les éléments essentiels.
Jay : J’aime vraiment enseigner le PTE-A parce que chaque tâche se concentre sur différentes compétences en anglais. Par exemple – et corrigez-moi si je me trompe – mais Lecture : Remplir les blancs met l’accent sur les « collocations » tandis que Lecture et Écriture : Remplir les blancs se concentre sur le « choix des mots ». Pouvez-vous expliquer pourquoi vous avez décidé de créer 20 tâches ?
John : J’ai choisi d’utiliser un grand nombre de tâches linguistiques différentes afin de mieux représenter la langue telle qu’elle se produit dans la vie réelle et de permettre d’aborder la compétence linguistique sous de nombreux angles, assurant ainsi que le caractère multifacette de la compétence linguistique soit mieux représenté. Les différents types d’items présentent une gamme d’aspects linguistiques. Les items peuvent aborder des compétences intégrées ou se concentrer sur une seule compétence. Cette approche offre également aux étudiants une variété d’occasions de montrer leur capacité à gérer l’anglais. Ils ne dépendent pas de la capacité à résoudre un type particulier de problème linguistique.
Jay : Certaines tâches du PTE-A sont « interconnectées ». Expression orale : Lecture à voix haute, par exemple, contribue à la fois à vos scores d’expression orale et de lecture tandis que Écoute : Résumer un texte parlé apporte des points à la fois à vos scores d’écoute et d’écriture. Pourquoi avez-vous décidé de fusionner ces compétences ?
John : J’ai choisi de présenter des items dits intégrés, des items abordant plus d’une compétence, pour refléter l’usage réel de la langue. En traitant la langue, les utilisateurs dépendent souvent de plus d’une compétence. Par exemple, lorsqu’on demande où se trouve la pharmacie la plus proche dans une ville étrangère, la langue utilisée doit pouvoir formuler la question et comprendre la réponse. En écoutant une conférence, l’étudiant doit pouvoir suivre ce qui est dit et prendre des notes, c’est-à-dire écrire.
Jay : Malheureusement, de nombreux enseignants sur Internet se concentrent sur les « astuces » et la « manipulation de l’algorithme » plutôt que d’améliorer les compétences en anglais de leurs étudiants avant de passer le PTE-A. Est-il possible pour quelqu’un avec un faible niveau d’anglais de « tromper » l’ordinateur pour obtenir un score élevé ?
John : Lors de la phase initiale, lorsque j’ai présenté quelques items prototypes à des groupes d’étudiants, ils ont dit que pour bien réussir ces items, ils ne pouvaient pas compter sur la formation traditionnelle aux tests mais devaient vraiment connaître l’anglais et que donc la meilleure préparation au test serait de lire des journaux et des livres et de regarder la télévision. En effet, je suis convaincu qu’un score élevé au PTE Academic est plus facilement atteint en entraînant l’usage de la langue qu’en cherchant à tromper le système.
Jay : Beaucoup de nos étudiants ont des difficultés particulières avec leurs scores d’expression orale. Quel serait votre conseil pour ces candidats qui essaient d’améliorer leurs scores d’expression orale ?
John : Mon conseil serait qu’ils enregistrent tout échantillon d’usage réel de la langue (les informations à la télévision, une chanson d’un rappeur, un programme de discussion à la radio, etc.) et le rejouent phrase par phrase. D’abord, pour s’assurer qu’ils comprennent complètement et chercher tout mot inconnu, puis lors d’une deuxième ou troisième écoute, répéter chaque phrase mot à mot, en essayant d’imiter aussi fidèlement que possible la vitesse et l’intonation de l’original. Parfois seuls, parfois avec un ami ou un collègue leur demandant de pointer les différences entre l’original et leur propre production. Cette méthode « ouvrira » leurs oreilles à la langue anglaise mais les aidera aussi à augmenter leur vocabulaire.
Jay : Beaucoup d’étudiants ont commenté qu’ils trouvent le PTE-A « plus équitable » que d’autres tests d’anglais car il est noté par un ordinateur plutôt que par une personne. Quelle est la qualité de la notation des essais et des productions orales par le PTE-A ?
John : Premièrement, une différence évidente entre la notation humaine et la notation machine est que les humains varient, alors que la machine ne varie pas. La machine attribuera exactement la même note à un essai ou à une réponse orale que ce soit la première, la deuxième ou la troisième fois qu’elle est chargée de noter ces réponses. Mais différentes personnes ont des styles différents, des normes différentes, et même une seule personne peut noter différemment au début d’une nouvelle journée et le soir quand elle est fatiguée. Deuxièmement, la qualité de la notation machine se manifeste par le fait que la notation machine a montré une meilleure corrélation avec des correcteurs humains strictement formés et expérimentés qu’avec des correcteurs novices.
*Le professeur John H. A. L. De Jong est titulaire d’un Master of Arts en Linguistique générale, en français et en anglais de l’Université de Leiden et d’un Ph.D. en mesure éducative de l’Université de Twente. Il s’est spécialisé dans la mise à l’échelle empirique de la compétence linguistique et promeut le développement d’échelles de rapport standardisées internationalement de la compétence linguistique.
En 2000, John de Jong a fondé sa société de conseil LTS (Language Testing Services) pour fournir des services de formation et de conseil en éducation linguistique et en tests de langue. Il a travaillé avec Ordinate Corporation en Californie, USA, le Australian Council for Educational Research, le Conseil de l’Europe, le Ministère néerlandais de l’Éducation, de la Culture et des Sciences, le Ministère néerlandais de la Justice, la Banque mondiale et l’OCDE où il est également l’un des conseillers techniques pour le Programme international pour le suivi des acquis des élèves (PISA) depuis 1998.
John de Jong a également participé aux projets du Conseil de l’Europe depuis 1991, travaillant à la définition d’un cadre commun pour l’apprentissage, l’enseignement et l’évaluation des langues. Il a aussi travaillé à l’établissement de la charge d’apprentissage d’une langue étrangère en fonction de la langue maternelle.