PTE Academic의 이면: John de Jong이 Jay와 함께 시험, 과제, 점수, 음모론, 말하기 및 공정성에 대해 이야기하다

E2Language에서는 영어 시험에 관한 진실을 알아내는 데 집중하고 있습니다. 우리는 이러한 시험을 준비하고 통과하는 최선의 방법에 대해 추측하는 것을 좋아하지 않습니다. 왜냐하면 그것들이 여러분에게 큰 장애물이 된다는 것을 이해하기 때문입니다. 대신, 우리는 사실을 알아내고자 합니다. 정확한 정보와 좋은 교육이 있다면 시험을 치르는 경험이 흥미롭고 검증받는 경험이 될 수 있다고 믿습니다.

최근 Jay는 Pearson의 PTE Academic의 설계자인 John H. A. L. De Jong 교수*와 대화할 기회를 가졌습니다. John de Jong은 2006년부터 2016년까지 Pearson에서 근무했으며 시험 개발 부사장과 글로벌 표준 수석 부사장 직책을 맡았습니다. 이 기간 동안 그는 Pearson Test of English Academic (PTE Academic)를 개발했습니다. 그는 언어 시험 분야의 권위자이며 아마도 PTE Academic에 관한 최고의 권위자일 것입니다.

이번 대화에서 Jay는 John de Jong과 Pearson이 처음에 PTE Academic을 만든 이유, 20가지 다른 과제가 있는 이유, 점수 간 상호관계가 어떻게 작동하는지, 시스템을 ‘조작’할 수 있는지 여부, 말하기 점수 산정 방식, 그리고 PTE Academic이 ‘공정한’ 영어 시험인 이유에 대해 이야기합니다:

Jay: 당신은 PTE-A의 주요 설계자 중 한 명이었습니다. 이미 IELTS와 TOEFL이 잘 자리 잡은 상황에서 왜 시장에 또 다른 영어 시험이 필요했나요?

John: 사실 저는 PTE Academic의 주요 설계자였습니다. TOEFL과 IELTS는 다소 오래된 시험으로 어제의 기술과 어제의 언어 시험 개념을 사용합니다. Pearson은 저에게 새로운 영어 시험을 만들도록 의뢰했고 저는 진짜 언어 시험을 만들고 싶었습니다. 전통적인 문제 출제자는 언어 문제를 중심으로 텍스트를 만듭니다. 그 텍스트는 언어 문제를 포함하도록 작성되었기 때문에 실제 생활에서는 거의 발생하지 않습니다. PTE Academic의 문제 출제자는 존재하는 언어 샘플을 기반으로 질문을 만들어야 합니다. 텍스트는 시험을 위해 작성되는 것이 아니라 발견되는 것입니다. 출제자는 언어 샘플의 출처를 제공해야 합니다. 책, 녹음, 인터넷에 방대한 양의 언어가 있기 때문에 출제자는 시험 응시자가 학습 중에 접할 실제 언어 샘플을 찾을 수 있습니다. 학문적 주제뿐 아니라 학생 생활에 관한 텍스트도 포함됩니다. 예를 들어, 전통적인 언어 시험은 듣기 문제에 대본화된 언어를 사용하며, 배우가 읽기 때문에 매우 부자연스러운 언어가 나오고 축약형, 탈락 등이 없는 경우가 많습니다. 실제 언어 사용에서는 일반 사용자가 끊어진 문장으로 말하고 필수 요소를 반복하거나 둘러서 표현합니다.

Jay: 저는 PTE-A를 가르치는 것을 정말 좋아합니다. 각 과제가 다른 영어 능력에 초점을 맞추기 때문입니다. 예를 들어 – 틀렸다면 고쳐주세요 – Reading: Fill in the Blanks는 ‘연어(collocations)’에 초점을 맞추고, Reading과 Writing: Fill in the Blanks는 ‘단어 선택’에 집중합니다. 왜 20가지 과제를 만들기로 결정했는지 설명해 주실 수 있나요?

John: 저는 실제 생활에서 발생하는 언어를 가장 잘 대표하고 다양한 각도에서 언어 능력을 평가할 수 있도록 많은 종류의 언어 과제를 사용하기로 했습니다. 이를 통해 언어 능력의 다면적 특성이 더 잘 반영됩니다. 다양한 문제 유형은 여러 언어 측면을 제시합니다. 문제는 통합 기술을 다루거나 단일 기술에 집중할 수 있습니다. 이 접근법은 학생들에게 영어를 다룰 수 있는 능력을 보여줄 다양한 기회를 제공합니다. 특정 유형의 언어 문제 해결 능력에 의존하지 않습니다.

Jay: 일부 PTE-A 과제는 ‘상호 연관’되어 있습니다. 예를 들어 Speaking: Read Aloud는 말하기와 읽기 점수에 모두 기여하고, Listening: Summarize Spoken Text는 듣기와 쓰기 점수에 모두 점수를 부여합니다. 왜 이러한 기술을 통합하기로 결정했나요?

John: 저는 실제 언어 사용을 반영하기 위해 여러 기술을 다루는 통합 문제를 제시하기로 했습니다. 언어를 다룰 때 사용자는 종종 한 가지 이상의 기술에 의존합니다. 예를 들어, 외국 도시에서 가장 가까운 약국이 어디인지 물을 때, 질문을 형성할 수 있어야 하고 또한 답변을 이해할 수 있어야 합니다. 강의를 들을 때 학생은 말하는 내용을 따라가야 하고 또한 필기, 즉 쓰기를 할 수 있어야 합니다.

Jay: 안타깝게도 인터넷상의 많은 교사들이 학생들의 영어 실력을 향상시키기보다는 ‘요령’과 ‘알고리즘 조작’에 집중합니다. 영어 실력이 낮은 사람이 컴퓨터를 ‘속여’ 높은 점수를 받을 수 있나요?

John: 초기 단계에서 몇몇 전형적인 문제를 학생 그룹에 제시했을 때, 학생들은 이 문제에서 잘하려면 전통적인 시험 훈련에 의존할 수 없고 진짜 영어를 알아야 한다고 말했습니다. 따라서 최고의 시험 준비는 신문과 책을 읽고 텔레비전을 보는 것이라고 했습니다. 실제로 저는 PTE Academic에서 높은 점수를 받는 것이 시스템을 속이려는 것보다 언어 사용 훈련을 통해 더 쉽게 달성된다고 확신합니다.

Jay: 많은 학생들이 말하기 점수에 어려움을 겪고 있습니다. 말하기 점수를 향상시키려는 수험생들에게 조언을 해주신다면?

John: 제 조언은 실제 생활 언어 사용 샘플(텔레비전 뉴스, 래퍼의 노래, 라디오 토론 프로그램 등)을 녹음하고 문장별로 재생하는 것입니다. 먼저 완전히 이해했는지 확인하고 모르는 단어를 찾아보세요. 두 번째나 세 번째 재생에서는 원본의 속도와 억양을 최대한 모방하며 문장을 그대로 반복하세요. 때로는 혼자서, 때로는 친구나 동료와 함께 하여 원본과 자신의 발음 차이를 지적받으세요. 이 방법은 영어에 대한 귀를 열어줄 뿐 아니라 어휘력 향상에도 도움이 됩니다.

Jay: 많은 학생들이 PTE-A가 사람 대신 컴퓨터가 채점하기 때문에 다른 영어 시험보다 ‘더 공정하다’고 느낀다고 합니다. PTE-A는 에세이와 말하기 제출물을 얼마나 잘 채점하나요?

John: 우선, 사람과 기계 채점의 명백한 차이는 사람은 다르고 기계는 다르지 않다는 점입니다. 기계는 같은 에세이나 말하기 답변에 대해 첫 번째, 두 번째, 세 번째 채점 시에도 정확히 같은 점수를 부여합니다. 하지만 사람마다 스타일과 기준이 다르고, 같은 사람도 하루 시작과 피곤한 저녁에 다르게 채점할 수 있습니다. 둘째, 기계 채점의 품질 증거는 기계 채점이 엄격하게 훈련받고 경험이 풍부한 인간 채점자와 더 높은 상관관계를 보인다는 점에서 드러납니다. 초보 채점자와는 그렇지 않습니다.

*John H. A. L. De Jong 교수는 Leiden University에서 일반 언어학, 프랑스어, 영어로 문학 석사를, Twente University에서 교육 측정학 박사 학위를 받았습니다. 그는 언어 능력의 경험적 척도화를 전문으로 하며 국제적으로 표준화된 언어 능력 보고 척도 개발을 촉진합니다.

2000년 John de Jong은 언어 교육 및 언어 시험에 관한 교육과 컨설팅 서비스를 제공하는 자신의 컨설팅 회사 LTS (Language Testing Services)를 설립했습니다. 그는 미국 캘리포니아의 Ordinate Corporation, 호주 교육 연구 위원회, 유럽 평의회, 네덜란드 교육 문화 과학부, 네덜란드 법무부, 세계은행, OECD와 협력했으며 1998년부터 국제 학생 평가 프로그램(PISA)의 기술 자문위원 중 한 명이기도 합니다.

John de Jong은 1991년부터 유럽 평의회의 프로젝트에 참여하여 언어 학습, 교육 및 시험을 위한 공통 프레임워크 정의 작업을 했습니다. 또한 외국어 학습 부담을 모국어의 함수로 설정하는 작업에도 참여했습니다.