Por trás do PTE Academic: John de Jong fala sobre testes, tarefas, pontuação, conspirações, fala e justiça com Jay

Na E2Language, estamos determinados a descobrir a verdade sobre os testes de língua inglesa. Não gostamos de especular sobre a melhor forma de se preparar e passar nesses testes porque entendemos que eles são grandes obstáculos para você. Em vez disso, queremos descobrir os fatos. Acreditamos que, com informações precisas e um bom ensino, a experiência de fazer um teste pode se tornar uma experiência emocionante e validadora.

Recentemente, Jay teve a oportunidade de conversar com o Professor John H. A. L. De Jong*, o arquiteto por trás do PTE Academic da Pearson. John de Jong trabalhou na Pearson de 2006 a 2016 e ocupou o cargo de Vice-Presidente de Desenvolvimento de Testes e Vice-Presidente Sênior de Padrões Globais. Durante esse período, ele desenvolveu o Pearson Test of English Academic (PTE Academic). Ele é certamente uma autoridade em testes de língua e talvez a autoridade em PTE Academic.

Nesta conversa, Jay conversa com John de Jong sobre por que a Pearson criou o PTE Academic em primeiro lugar, por que existem 20 tarefas diferentes, como funcionam as inter-relações de pontuação, se o sistema pode ser ‘manipulado’ ou não, como funciona a pontuação da parte de fala e por que o PTE Academic é um teste de língua inglesa ‘justo’:

Jay: Você foi um dos principais arquitetos do PTE-A. Por que o mercado precisava de outro teste de inglês com o IELTS e TOEFL já bem estabelecidos?

John: Na verdade, eu fui o principal arquiteto do PTE Academic. Tanto o TOEFL quanto o IELTS são testes um pouco mais antigos que usam a tecnologia e os conceitos de teste de língua de ontem. A Pearson me contratou para construir um novo teste de inglês e eu queria criar um teste de língua real. Os criadores tradicionais de itens constroem algum texto em torno de um problema de língua. O texto provavelmente não ocorreria na vida real porque é escrito para incluir um problema de língua. Para o PTE Academic, os criadores de itens são obrigados a basear suas perguntas em amostras de língua como elas existem. Os textos não são escritos para o teste, eles são encontrados. Os criadores de itens são obrigados a fornecer a fonte de suas amostras de língua. Com a enorme quantidade de língua em livros, gravações e na Internet, os criadores de itens podem encontrar amostras de língua real, como os candidatos encontrariam em seus estudos. Textos sobre assuntos acadêmicos, mas também sobre a vida estudantil. Por exemplo, testes tradicionais de língua usam linguagem roteirizada para itens de escuta, que é então lida por atores, produzindo uma linguagem muito artificial, sem as contrações, elisões, etc., que ocorrem no uso da língua ao vivo. Usuários regulares da língua falam em frases fragmentadas, repetindo e circunscrevendo os elementos essenciais.

Jay: Eu realmente gosto de ensinar o PTE-A porque cada tarefa foca em diferentes habilidades da língua inglesa. Por exemplo – e me corrija se eu estiver errado – mas Leitura: Preencher as Lacunas tem foco em ‘colocações’, enquanto Leitura e Escrita: Preencher as Lacunas foca em ‘escolha de palavras’. Você pode explicar por que decidiu criar 20 tarefas?

John: Eu escolhi usar um grande número de tarefas diferentes de língua para representar melhor a língua como ela ocorre na vida real e para permitir abordar a habilidade linguística de vários ângulos, garantindo assim que o caráter multifacetado da habilidade linguística seja melhor representado. Os vários tipos de itens apresentam uma variedade de aspectos da língua. Os itens podem abordar habilidades integradas ou se concentrar em uma única habilidade. Essa abordagem também oferece aos estudantes várias chances de mostrar sua capacidade de lidar com o inglês. Eles não dependem da habilidade de resolver um tipo particular de problema linguístico.

Jay: Algumas das tarefas do PTE-A são ‘inter-relacionadas’. Fala: Leitura em Voz Alta, por exemplo, contribui tanto para suas pontuações de fala quanto de leitura, enquanto Escuta: Resumir Texto Falado contribui com pontos tanto para suas pontuações de escuta quanto de escrita. Por que você decidiu unir essas habilidades?

John: Eu escolhi apresentar os chamados itens integrados, itens que abordam mais de uma habilidade, para refletir o uso da língua na vida real. Ao lidar com a língua, os usuários frequentemente dependem de mais de uma habilidade. Por exemplo, ao perguntar onde fica a farmácia mais próxima em uma cidade estrangeira, a língua usada deve ser capaz de formular a pergunta e entender a resposta. Ao ouvir uma palestra, o estudante deve ser capaz de acompanhar o que está sendo dito e fazer anotações, ou seja, escrever.

Jay: Infelizmente, muitos professores na internet focam em ‘truques’ e ‘manipular o algoritmo’ em vez de melhorar as habilidades de inglês de seus alunos antes de fazer o PTE-A. É possível para alguém com baixo nível de inglês ‘enganar’ o computador para obter uma pontuação alta?

John: Quando, na fase inicial, apresentei alguns itens prototípicos para grupos de estudantes, eles disseram que, para se sair bem nesses itens, não poderiam depender do treinamento tradicional de teste, mas precisavam realmente conhecer o inglês e que, portanto, a melhor preparação para o teste seria ler jornais e livros e assistir televisão. De fato, estou confiante de que uma pontuação alta no PTE Academic é mais facilmente alcançada treinando o uso da língua do que tentando enganar o sistema.

Jay: Muitos de nossos alunos têm dificuldades particulares com suas pontuações de fala. Qual seria seu conselho para esses candidatos que tentam melhorar suas pontuações de fala?

John: Meu conselho seria que eles gravem qualquer amostra de uso real da língua (notícias na TV, uma canção de um rapper, um programa de discussão no rádio, etc.) e a reproduzam frase por frase. Primeiro, para garantir que compreendam completamente e pesquisem quaisquer palavras desconhecidas e, em uma segunda ou terceira reprodução, repitam cada frase literalmente, tentando imitar o mais fielmente possível a velocidade e a entonação do original. Às vezes, façam isso sozinhos e às vezes com um amigo ou colega pedindo que apontem as diferenças entre o original e a própria produção. Essa abordagem ‘abrirá’ seus ouvidos para a língua inglesa, mas também ajudará a aumentar seu vocabulário.

Jay: Muitos estudantes comentaram que sentem que o PTE-A é ‘mais justo’ do que outros testes de língua inglesa porque é corrigido por um computador em vez de uma pessoa. Quão bom é o PTE-A em corrigir redações e respostas orais?

John: Primeiro, uma diferença óbvia entre a correção humana e a da máquina é que os humanos diferem, e a máquina não. A máquina atribuirá a mesma nota exata a uma redação ou resposta oral, seja a primeira, segunda ou terceira vez que for corrigida. Mas pessoas diferentes têm estilos diferentes, normas diferentes, e até uma única pessoa pode corrigir de forma diferente no início de um dia novo e à noite, quando está cansada. Em segundo lugar, a evidência da qualidade da correção da máquina surge do fato de que a correção automática tem mostrado correlação melhor com corretores humanos estritamente treinados e experientes do que com corretores novatos.

*O Professor John H. A. L. De Jong possui um Master of Arts em Linguística Geral, Francês e Línguas Inglesas pela Universidade de Leiden e um Ph.D. em Medição Educacional pela Universidade de Twente. Ele se especializou na escalagem empírica da proficiência linguística e promove o desenvolvimento de escalas de relatório padronizadas internacionalmente de proficiência linguística.

Em 2000, John de Jong fundou sua empresa de consultoria LTS (Language Testing Services) para fornecer serviços de treinamento e consultoria em educação e testes de língua. Ele trabalhou com a Ordinate Corporation na Califórnia EUA, o Australian Council for Educational Research, o Conselho da Europa, o Ministério Holandês da Educação, Cultura e Ciência, o Ministério Holandês da Justiça, o Banco Mundial e a OCDE, na qual também tem sido um dos Consultores Técnicos do Programa Internacional de Avaliação de Estudantes (PISA) desde 1998.

John de Jong também está envolvido nos projetos do Conselho da Europa desde 1991, trabalhando na definição de um quadro comum para aprendizagem, ensino e testes de línguas. Ele também trabalhou no estabelecimento da carga de aprendizagem de uma língua estrangeira em função da primeira língua.