Detrás de PTE Academic: John de Jong habla sobre exámenes, tareas, puntuación, conspiraciones, expresión oral y equidad con Jay

En E2Language, estamos decididos a descubrir la verdad sobre los exámenes de inglés. No nos gusta especular sobre la mejor manera de prepararse y aprobar estos exámenes porque entendemos que son grandes obstáculos para ti. En cambio, queremos conocer los hechos. Creemos que con información precisa y buena enseñanza, la experiencia de realizar un examen puede convertirse en una experiencia emocionante y validante.

Recientemente, Jay tuvo la oportunidad de hablar con el profesor John H. A. L. De Jong*, el arquitecto detrás de PTE Academic de Pearson. John de Jong trabajó en Pearson desde 2006 hasta 2016 y ocupó el cargo de Vicepresidente de Desarrollo de Exámenes y Vicepresidente Senior de Normas Globales. Durante este tiempo desarrolló el Pearson Test of English Academic (PTE Academic). Sin duda, es una autoridad en pruebas de idiomas y quizás la autoridad en PTE Academic.

En esta conversación, Jay charla con John de Jong sobre por qué Pearson creó PTE Academic en primer lugar, por qué hay 20 tareas diferentes, cómo funcionan las interrelaciones de la puntuación, si el sistema puede ser ‘manipulado’ o no, cómo funciona la puntuación en la expresión oral y por qué PTE Academic es un examen de inglés ‘justo’:

Jay: Fuiste uno de los principales arquitectos del PTE-A. ¿Por qué el mercado necesitaba otro examen de inglés con el IELTS y TOEFL ya bien establecidos?

John: De hecho, fui el arquitecto principal de PTE Academic. Tanto TOEFL como IELTS son exámenes algo más antiguos que utilizan la tecnología y los conceptos de evaluación de idiomas de ayer. Pearson me contrató para crear un nuevo examen de inglés y quería crear un examen de lenguaje real. Los redactores tradicionales de ítems construyen algún texto alrededor de un problema de idioma. Es poco probable que el texto ocurra en la vida real porque está escrito para incluir un problema de idioma. Para PTE Academic, los redactores de ítems deben basar sus preguntas en muestras de lenguaje tal como existen. Los textos no se escriben para el examen, se encuentran. Los redactores deben proporcionar la fuente de sus muestras de lenguaje. Con la enorme cantidad de lenguaje en libros, grabaciones y en Internet, los redactores pueden encontrar muestras de lenguaje real, como las que los examinados encontrarían en sus estudios. Textos sobre temas académicos, pero también sobre la vida estudiantil. Por ejemplo, los exámenes tradicionales de idiomas usan lenguaje guionizado para los ítems de escucha que luego es leído por actores, produciendo un lenguaje muy poco natural, sin las contracciones, elisiones, etc. que ocurren en el uso real del idioma. Los usuarios habituales del idioma hablan en oraciones fragmentadas, repitiendo y circunscribiendo los elementos esenciales.

Jay: Me gusta mucho enseñar el PTE-A porque cada tarea se enfoca en diferentes habilidades del idioma inglés. Por ejemplo – y corrígeme si me equivoco – pero Reading: Fill in the Blanks se centra en las ‘colocaciones’, mientras que Reading y Writing: Fill in the Blanks se enfoca en la ‘elección de palabras’. ¿Puedes explicar por qué decidiste crear 20 tareas?

John: Elegí usar un gran número de tareas diferentes para representar mejor el lenguaje tal como ocurre en la vida real y para abordar la habilidad lingüística desde muchos ángulos, asegurando así que el carácter multifacético de la habilidad lingüística esté mejor representado. Los distintos tipos de ítems presentan una variedad de aspectos del lenguaje. Los ítems pueden abordar habilidades integradas o concentrarse en una sola habilidad. Este enfoque también ofrece a los estudiantes diversas oportunidades para mostrar su capacidad de manejar el inglés. No dependen de la habilidad para resolver un tipo particular de problema lingüístico.

Jay: Algunas de las tareas del PTE-A están ‘interrelacionadas’. Speaking: Read Aloud, por ejemplo, contribuye tanto a tu puntuación de expresión oral como de lectura, mientras que Listening: Summarize Spoken Text aporta puntos tanto a tu puntuación de escucha como de escritura. ¿Por qué decidiste combinar estas habilidades?

John: Elegí presentar los llamados ítems integrados, ítems que abordan más de una habilidad, para reflejar el uso real del lenguaje. Al usar el idioma, los usuarios a menudo dependen de más de una habilidad. Por ejemplo, al preguntar dónde está la farmacia más cercana en una ciudad extranjera, el lenguaje usado debe poder formular la pregunta y entender la respuesta. Al escuchar una conferencia, el estudiante debe poder seguir lo que se dice y tomar notas, es decir, escribir.

Jay: Desafortunadamente, muchos profesores en internet se enfocan en ‘trucos’ y ‘manipular el algoritmo’ en lugar de mejorar las habilidades de inglés de sus estudiantes antes de tomar el PTE-A. ¿Es posible que alguien con bajo nivel de inglés ‘engañe’ a la computadora para obtener una puntuación alta?

John: Cuando en la fase inicial presenté algunos ítems prototípicos a grupos de estudiantes, dijeron que para hacerlo bien en estos ítems no podían depender del entrenamiento tradicional para exámenes, sino que necesitaban realmente conocer el inglés y que, por lo tanto, la mejor preparación para el examen sería leer periódicos y libros y ver televisión. De hecho, estoy seguro de que una puntuación alta en PTE Academic se logra más fácilmente entrenando el uso del idioma que intentando engañar al sistema.

Jay: Muchos de nuestros estudiantes tienen dificultades particulares con sus puntuaciones en expresión oral. ¿Cuál sería tu consejo para aquellos candidatos que intentan mejorar sus puntuaciones en expresión oral?

John: Mi consejo sería que graben cualquier muestra de uso real del idioma (las noticias en la televisión, una canción de un rapero, un programa de discusión en radio, etc.) y la reproduzcan frase por frase. Primero, para asegurarse de que entienden completamente y buscar cualquier palabra desconocida y en una segunda o tercera reproducción repetir cada frase literalmente, tratando de imitar lo más fielmente posible la velocidad y la entonación del original. A veces hacerlo solos y otras veces con un amigo o colega que les señale las diferencias entre el original y su propia producción. Este enfoque ‘abrirá’ sus oídos al idioma inglés y también les ayudará a aumentar su vocabulario.

Jay: Muchos estudiantes han comentado que sienten que el PTE-A es ‘más justo’ que otros exámenes de inglés porque es calificado por una computadora en lugar de una persona. ¿Qué tan bueno es el PTE-A calificando ensayos y respuestas orales?

John: Primero, una diferencia obvia entre la calificación humana y la automática es que los humanos varían, y la máquina no. La máquina otorgará la misma puntuación exacta a un ensayo o una respuesta oral ya sea la primera, segunda o tercera vez que se le asigna calificar esas respuestas. Pero las personas tienen diferentes estilos, diferentes normas, e incluso una misma persona puede calificar diferente al inicio de un día fresco y por la noche cuando está cansada. En segundo lugar, la evidencia de la calidad de la calificación automática se demuestra por el hecho de que se ha mostrado que la calificación automática se correlaciona mejor con calificadores humanos estrictamente entrenados y experimentados que con calificadores novatos.

*El profesor John H. A. L. De Jong tiene una Maestría en Artes en Lingüística General, Francés y Lenguas Inglesas de la Universidad de Leiden y un Ph.D. en Medición Educativa de la Universidad de Twente. Se especializó en la escalación empírica de la competencia lingüística y promueve el desarrollo de escalas de reporte estandarizadas internacionalmente de competencia lingüística.

En 2000, John de Jong fundó su empresa consultora LTS (Language Testing Services) para ofrecer servicios de capacitación y consultoría en educación y evaluación de idiomas. Ha trabajado con Ordinate Corporation en California USA, el Australian Council for Educational Research, el Consejo de Europa, el Ministerio de Educación, Cultura y Ciencia de los Países Bajos, el Ministerio de Justicia de los Países Bajos, el Banco Mundial y la OCDE, en la que también ha sido uno de los Asesores Técnicos para el Programa para la Evaluación Internacional de Alumnos (PISA) desde 1998.

John de Jong también ha estado involucrado en los proyectos del Consejo de Europa desde 1991 trabajando en la definición de un marco común para el aprendizaje, enseñanza y evaluación de idiomas. También trabajó en establecer la carga de aprendizaje de un idioma extranjero en función del primer idioma.