에피소드 20 w/ Jay & Nick
발표자: E2Talks에 오신 것을 환영합니다. 이 팟캐스트는 영어 언어 환경에 대해 이야기하는 곳입니다. 이번 팟캐스트에서 제이는 Language Confidence의 창립자인 닉 젠킨스와 함께합니다. Language Confidence는 학생들에게 발음에 대한 자동 교정 피드백을 제공하는 AI 기반 소프트웨어 서비스입니다. 이번 대화에서 제이와 닉은 발음에 대해 넓게 이야기하고, 특히 AI가 학생들이 더 나은 말하기 습관을 기르는 데 어떻게 도움을 줄 수 있는지에 대해 이야기합니다. Language Confidence의 시작, 현재 할 수 있는 것, 그리고 가까운 미래에 할 수 있을 것들에 대해 다룹니다. 또한 발음 교육, 학습, 기술과 관련된 다양한 주제도 다룹니다. 꼭 들어보세요!
Jay: 안녕하세요, 닉. 어떻게 지내세요?
Nick: 사실 지금 상황을 고려하면 꽤 잘 지내고 있습니다. 네, 꽤 괜찮고, 당신은요?
Jay: 네. 지금 세계 어디쯤에 계신가요?
Nick: 현재는 아름다운 시드니에 있는 차이나타운의 공유 오피스인 Haymarket HQ에 있습니다.
Jay: 멋지네요. 닉, 자기 소개와 Language Confidence가 어떻게 시작되었는지 조금 이야기해 줄 수 있나요?
Nick: 네. 간단히 말하면, 이게 제 세 번째 스타트업입니다. 첫 번째는 제가 21살 때 팔았고, 두 번째는 온라인 교육 분야에서 했는데 꽤 크게 실패했어요. 거의 모든 걸 잘못했다고 생각합니다. 온라인으로 아이들에게 영어를 가르치는 앱이었고, 콘텐츠를 제공하는 서비스였죠. 그래서 중국에 거의 3년간 있었습니다. 사업이 끝나고 나서 뭔가 해야 했어요. 그래서 영어를 가르치면서 T 셀 자격증을 땄고, 가르치면서 이런 아이디어가 떠올랐습니다. 앱 분야에서 우리가 배우는 걸 보면, Babbel이나 DuoLingo 같은 앱들이 학생들의 말하기 입력에 대해 좋은 품질의 피드백을 주지 못한다는 걸 알게 됐죠. 저희는 Rosetta Stone, Babbel 같은 큰 이름들과 비교한 정말 좋은 영상을 만들었는데, 저희가 만든 기술이 얼마나 더 정확한지 보여줬습니다. 그래서 저는 교사로서 할 수 있는 걸 완전히 자동화해서 학습 경험을 개선하고, 특히 말하기 영어에 집중하고 싶었어요.
Jay: 좋네요, 흥미롭습니다. 저는 교실에서도 발음이 소홀히 다뤄지는 주제라고 생각해요. 그 이유 중 하나는 35명 학생이 있는 교실에서 각 학생에게 개별 피드백을 주는 게 어렵기 때문이죠. 한 시간 수업이라면 학생 한 명당 선생님이 2분 정도만 시간을 쓸 수 있으니 사실상 불가능하죠. 이 점에 대해 생각해 보신 적 있나요?
Nick: 네, 바로 그 점에 대해 이야기하고 싶었어요. 제가 가르칠 때 학생들에게 무언가를 말해보라고 했죠. 그리고 개인적으로 어디서 실수했는지 파악할 수 있었어요. 일대일로, 여기서 잘못했어라고 말해주고, 학생은 저를 듣고 보고, 다시 시도해보고 다른 단어, 같은 소리, 다른 내용, 다른 상황 등으로 연습했죠. 하지만 그걸 확장하는 건 불가능해요. 제가 중국에서 가졌던 가장 작은 수업도 학생이 두 명이었는데, 그때도 개별적인 관심을 주는 게 정말 어려웠어요. 그래서 집에서도 그런 경험을 할 수 있도록 정말 확장 가능한 무언가를 만들고 싶었어요.
Jay: 훌륭해요. 그럼 언어 자신감에 대해 조금 이야기해 주실 수 있나요? 언어 자신감이 무엇이고 어떻게 작동하며, 왜 실제로 사람들의 발음 능력을 향상시키는지요?
Nick: 네, 맞아요. 저희는 AI SaaS 회사라고 할 수 있어요. 저희가 제공하는 제품은 LCAT이라고 불리는데, LCAT은 음성 인식과 비슷하지만, 무슨 말을 하는지 해독하는 대신 얼마나 잘 말하는지를 평가해요. 아주 쉬운 예로, E2school 같은 앱이나 플랫폼에서 학생들에게 특정 단어를 말하게 하면, 그 입력을 녹음해서 저희 백엔드로 보내고, 저희가 평가를 해서 결과를 다시 보내줘요. 평가 방식은 AI에게 원어민 데이터 많이 주고 학습시켜서 AI가 원어민 발음이 어떤 건지 배우게 해요. 그리고 오디오를 보내면 AI가 점수를 내는데, 그 점수는 AI가 판단했을 때 원어민에 얼마나 가까운지 나타내는 거예요.
Jay: 알겠어요. 예를 들어 DuoLingo에서 발음 연습을 할 때, 제가 그 앱을 써봤는데 그냥 '이해할 수 있어요'라고만 알려주고 '딩' 소리와 함께 초록색 표시를 보여줘요. 네, 제대로 말했어요. 하지만 제대로 말했다고 해도 실제로는 몇몇 소리를 틀리게 발음했거나 특정 부분을 잘못 발음했을 수도 있잖아요. 그런데 그걸 알려주지 않아요. 이게 당신들이 하는 것과 DuoLingo 사이의 큰 차이점인가요?
Nick: 네, 맞아요. DuoLingo나 Babbel 같은 큰 그룹들은 기기 내 음성 인식을 사용해요. 즉, 아이폰이나 안드로이드에 내장된 Siri, Nuance, 구글 음성 인식 같은 거죠. 이 시스템들은 단지 통과 여부를 알려주거나 체크 표시를 보여주는 정도예요. 저희가 만든 영상에서 제가 이런 플랫폼 중 하나를 사용하면서 실제로 틀린 단어를 말했는데도 테스트를 통과했어요. 초록색 체크 표시가 떴죠. 예를 들어, 'mineral water'를 말하라고 했는데 제가 'minieral wasa'라고 말했는데도 초록색 체크가 뜨고 통과해서 넘어갔어요. 반면 저희 시스템은 '여기서는 맞았지만 여기랑 여기서 틀렸어요'라고 알려줘요. 그리고 그 다음 단계는 개인 맞춤 학습 시나리오를 만들고 제대로 된 피드백 루프를 만드는 거예요. 첫 단계는 어디서 틀렸는지 식별하는 거죠.
Jay: 좋아요, 좋아요, 여기서 조금 물러서서 발음이 실제로 무엇인지에 대해 이야기하는 것이 좋을 것 같아요. 발음은 정말 이상한 언어의 특징인데, 매우 해부학적이기 때문이에요. 혀, 입술, 목구멍, 입천장 등이 실제로 관여하거든요. 발음에는 인지적인 측면도 분명히 있지만, 근육과 신체 부위와 관련된 것이어서 꽤 이상해요. 그래서 제가 이해하는 발음은 세 부분으로 나눌 수 있어요. 첫 번째는 소리, 즉 개별 소리인 음소입니다. 모음 소리, 짧은 모음 ‘a’, ‘e’, ‘i’, ‘o’ 또는 긴 모음, 예를 들어 “ay” 같은 결합 모음이 있죠. 그리고 자음 소리 ‘p’, ‘d’, ‘k’, ‘m’ 등이 있는데, 이들은 실제로 입의 일부를 사용해요. 반면 모음은 입의 특정 부위를 사용하지 않고, 기본적으로 성대에서 소리를 내지만 혀나 입술 등에 의해 방해받지 않아요. 그래서 개별 소리가 있고, 그 다음에 자음군이 있어요. E2Language의 한 연구원이 영어 자음군에 대해 문헌 조사를 했는데, 영어에 자음군이 몇 개나 있는지, 어떤 것들이 있는지 알아보려고 했어요. 그런데 명확한 자료를 찾지 못했고, 1980년대 문헌 등에서 의견이 달랐어요. 그래서 그녀가 직접 대규모 연구를 수행해 영어에 146개의 자음군이 있다는 것을 밝혀냈어요. 정말 흥미롭고, 유한하다는 것을 알게 되어 좋았죠. 그래서 44개의 개별 소리와 146개의 자음군이 있어요. 자음군은 ‘p’와 ‘r’이 합쳐져 ‘pr’이 되거나, ‘s’와 ‘l’이 합쳐져 ‘sl’이 되는 것처럼 두 개 이상의 자음이 함께 오는 경우예요. 예를 들어 ‘slip’에서 ‘sl’이 그렇죠. 중국이나 동아시아, 한국, 일본 등에서는 이런 자음 사이에 모음을 넣는 경향이 있어서 문제가 되곤 해요. 그리고 발음의 세 번째 부분은 우리가 만드는 소리 자체보다는 말의 리듬, 멈춤, 연결된 말하기 등 말의 전달 방식이에요. 그렇다면 지금, 언어 자신감이 발음의 이런 측면들에 어떻게 도움이 될까요?
Nick: 네, 전체적으로 영어는 정말 비논리적입니다. 예를 들어 ‘sh’ 소리를 만드는 방법이 12가지나 있다고 생각해요. 다양한 철자 조합으로 ‘sh’ 소리를 내죠. 정확한 숫자는 다시 확인해야 합니다. 그래서 정말 어려운 언어입니다. 공식 국제 음성 기호에는 44개의 소리가 있다고 했고, 1890년대에 프랑스 그룹이 처음 만들었다고 알고 있습니다. 이 부분도 다시 확인해야 해요. 그리고 arpabet이라는 또 다른 코딩 시스템이 있는데, 전통적으로 언어 학습보다는 음성 인식 목적으로 사용됩니다.
Jay: 죄송한데, 그게 뭐라고 부르나요?
Nick: 그게 Arpabet인가요? A-R-P-A-B-E-T, 맞을 거예요. 카네기 멜론 대학교에서 시작된 것으로 알고 있습니다. IPA와 병행해서 음성 인식을 위해 만든 코딩 시스템입니다. 컴퓨터 지향적인 음성 인식 목적에 더 적합하죠.
Jay: 알겠습니다.
Nick: 제가 생각하는 현재 위치와 집중하는 부분은 원어민과 비교한 발음 평가입니다. 원어민은 각 단어를 특정한 방식으로 발음하는데, 그 차이가 있고, ‘tomato’ ‘tomatoe’가 정말 좋은 예라고 생각해요. 그리고 다양한 악센트가 있는데, 모든 변형을 합치면 107개의 소리가 있습니다.
Jay: 오, 흥미롭네요.
Nick: 그리고 저는 다른 음성 알파벳들도 본 적이 있는데, 39개의 소리를 가진 것도 봤고 정말 복잡한 혼합체였어요. 하지만 우리는 국제 음성 기호(IPA), 즉 영어의 44개 소리에만 집중하고 있습니다. 이것이 영어를 배우는 데 가장 일반적이고 수요가 많은 참고 자료인 것 같아요. 현재는 발음에만 집중하고 있지만, 앞으로는 더 나아가서, 그리고 당신이 세 번째 포인트에서 언급한 것처럼, 말하기 영어 학습자의 다른 측면들을 살펴보는 데 시간이 좀 걸렸습니다. 그래서 발음, 즉 당신이 말하려는 소리가 핵심 지표입니다. 소리를 완전히 틀리면 의미 전달이 전혀 되지 않아요. 의미를 전달하려면 최소한 일정 비율 이상의 소리를 정확히 해야 합니다. 그리고 그 다음으로는 유창성, 유동성, 문법, 어휘 자원, 그리고 내용 적합성이 추가됩니다. 본질적으로 우리는 발음부터 시작했는데, 기술적으로 가장 해결하기 어려운 문제입니다. 시간이 좀 걸렸지만 드디어 해결 단계에 왔고, 다음 단계는 유창성과 같은 다른 지표들을 다루는 것입니다.
Jay: 네, 저는 그 언어 자신감 기능이 정말 마음에 들어요. 저희가 E2School에서 발음 코스에 사용하고 있거든요. 학생들이 특정 개별 소리나 자음군을 연습하고, 문장 반복이나 단어 하나를 말하게 하면, 컴퓨터가 거의 즉시 점수 같은 반응을 보여줘요. 그런데 더 좋은 점은 학생들이 그 점수를 클릭하면, 자신이 어느 음소를 잘못 발음했는지 정확히 볼 수 있다는 거예요. 이게 정말 큰 도움이 되죠. 왜냐하면 학생들이 그걸 몰랐거나, 알았더라도 이제는 ‘p’ 소리를 다시 시도해야 하고 ‘b’ 소리처럼 들리지 않게 해야 한다는 걸 명확히 인식하게 되니까요. 그런데 학생들이 ‘p’ 소리에 문제가 있다는 걸 알게 된 후에는 무엇을 해야 할까요? 아니면 학생들에게 어떤 조언을 해주나요?
Nick: 그래서 저는 교육적인 관점에서 학생들에게 항상 이렇게 하려고 했어요. 잘못된 부분을 부드럽게 지적하고, 연습할 수 있도록 다른 맥락에서 더 많은 내용을 제공하는 거죠. 예를 들어, 이 소리를 틀렸다고 하면, 원어민으로서 여기서 어디서 틀렸는지 들을 수 있고, 그 다음에 같은 소리를 포함하는 다른 단어를 찾아서 다른 문장이나 다른 상황에서 연습할 수 있게 하는 거예요. 그게 우리가 하려고 했던 거예요. 그래서 첫 번째 단계는 학생들이 어디서 틀렸는지 파악하는 거고, 그 다음에는 교정 제안과 올바른 예시를 제공하는 거죠. 예를 들어, R, L, 또는 ‘dz’ 소리를 틀렸다면, 제 학생들이 어려워했던 단어 중 하나가 ‘casual’이었고, 제가 고른 또 다른 단어는 ‘usual’이었어요. 그 단어들을 다른 문장에 넣어서 다시 연습하게 했죠. 그래서 LCAT은 교사가 틀린 부분을 찾아내는 역할을 흉내 낼 수 있고, 학생들은 좋은 예시를 듣고 다시 시도하며, 올바르게 될 때까지 계속 연습할 수 있다는 게 핵심 아이디어입니다.
Jay: 맞아요, 정말 그래요. 저는 페르시아어를 조금 만지작거리면서 “kh” 소리를 내려고 노력했어요, ‘khubi’, “khubam”. 꽤 재미있더라고요. 언어 교사로서도 좋은 아이디어인 것 같아요. 모국어에 없는 다른 언어의 소리를 내보면서 그 불편하고 낯선 느낌을 경험하고, 그걸 점점 자연스럽고 표준적으로 느끼도록 만드는 거죠. 정말 흥미로워요.
Nick: 완전히 동의해요. 제가 만다린을 배울 때, 만다린에 있는 소리들은 영어 원어민으로서 전혀 배우지 않은 소리들이었어요. 그래서 특히 성인이 되어서는 그 특정 소리들을 연습하는 게 정말 어려웠죠.
Jay: 네, 네. 맞아요. 다른 언어를 배우면 좋은 점은, 예를 들어 44개의 소리가 있다고 할 때, 아랍어에는 그 중 38개가 있어요. 그리고 나머지 6개의 소리는 없어서 연습이 필요하죠. 그래서 도움이 되는 문헌 중 하나가 바로 모국어 간섭 현상에 관한 문헌이에요. E2school에서 저희가 한 것은 모든 소리를 다 모아놓고, 그걸 선별해주는 작은 도구를 만든 거예요. 제가 아랍어 사용자라고 입력하면, 제가 연습해야 할 특정 음소만 알려주죠. 문법에 관한 문헌도 있는데, 그 부분은 나중에 다룰 예정이에요. 음, 흥미로운 내용이네요. 여기서 주제를 조금 바꿔서 발음의 기술적인 부분보다는 발음의 사회적 요소에 대해 이야기해보고 싶어요. 왜 누군가가 발음을 개선하고 싶어 하는지에 대해요. 제 생각도 있지만, 당신의 의견을 듣고 싶어요. 예를 들어, 제가 영국에서 일자리를 구하려고 한다면, 왜 명확한 발음을 갖고 싶어 할까요?
Nick: 전체적인 주제로 보면, 발음은 기본적으로 구어체나 영어를 말할 때, 발음이 완전히 틀리면 문법이나 어휘, 유창성이 아무리 정확해도 전달하려는 말을 제대로 전달할 수 없어. 소리가 틀리면, 내가 학문적으로 틀릴 수도 있지만, 다른 언어를 가르치고 배운 경험으로는 발음이 틀리면 의미를 전달할 수 없어. 사람들이 다른 언어를 배우는 이유는 정말 다양해. 물론, 시험 준비 그룹으로서, PTE, IELTS, TOEFL 같은 공인 시험을 치르려는 큰 시장이 있다는 걸 알지. 재미로 배우는 사람들도 많아. 세계의 폴리글롯들처럼 언어 배우는 걸 정말 즐기는 사람들이지. 그리고 여행 같은 이유로, 다른 나라에 가서 ‘화장실 어디에요?’나 ‘이거 얼마에요?’ 같은 기본적인 말을 할 수 있으려고 배우는 사람들도 있어. 내가 처음 중국에 갔을 때, 만다린을 못 했고 여러 번 길을 잃었어. 그래서 ‘직진하고 오른쪽으로 도세요, 여기서 멈추세요’ 같은 말을 할 수 있어서 정말 유용했지. 그래서 학문적인 이유가 가장 크고, 해외 유학, 재미, 여행 같은 이유도 있어. 그리고 이게 정말 구어체의 핵심이고, 의미를 전달하고 누군가와 소통할 수 있는 능력의 핵심이야.
Jay: 그렇구나. 맞아. 이해했어. 그런데 이해받는 게 중요하지. 전에 그래피음과 포네음에 대해 언급했는데, 나나 청중에게 그래피음이 뭔지, 포네음이 뭔지, 그리고 둘 사이의 관계가 뭔지 설명해줄 수 있어? 영어에서는 그 관계가 자주 잘 맞지 않는 걸로 알고 있어.
Nick: 응. 그리고 다시 말하지만, 나는 언어학자나 의사는 아니고, 기술 배경을 가진 사람일 뿐이야. 하지만 영어 자체는 라틴어, 독일어, 프랑스어 등 다양한 언어가 뒤섞여 만들어졌어. 그래서 그래피음(graphemes)은 우리 알파벳, 26자 알파벳이고, 포네음(phonemes)은 소리와 음성 알파벳인데, 분명히 26자와 44개의 소리가 일치하지는 않아. 내가 전에 말한 예시 중 하나는, 영어에서 ‘sh’ 소리를 12가지 다른 방식으로 낼 수 있다는 거야. 그래서 12가지 다른 그래피음 조합이 ‘sh’ 소리를 만들어내는 거지.
Jay: 그러니까 단순히 ‘sh’만 있는 게 아니구나.
Nick: 아니.
Jay: 맞아. 알겠어. 이 ‘ss’와 ‘zh’, 그리고 또 있어
Nick: ‘ti’
Jay: 그리고 ‘ti’.
Nick: 맞아, 맞아. 이건 말이 안 되고 논리적이지도 않지만 실제로 존재해. 이게 바로 의사소통이야. 그래서 영어는 어려운 언어지. 철자와 발음이 일치하지 않는 관계가 그렇고. 하지만 대부분의 경우를 설명하는 일반적인 규칙들이 있긴 해. 다만 모든 경우에 딱 맞는 하나의 명확한 규칙은 없어.
Jay: 이건 중국이나 한국 같은 나라에서 공부하는 사람들에게 정말 답답한 일일 거야. 교과서 영어를 배우니까. 내가 몇 년 동안 한국에서 가르쳤는데, 한국어는 정말 흥미로워. 완벽한 철자법이라고 부르는데, 철자와 발음이 거의 1대1로 대응돼. 예외가 없어. 그런데 영어는 철자와 발음 관계가 완전히 달라. 그래서 한국 학생들은 문법이나 교재를 배우고 나서 호주나 미국에 가면 갑자기 사람들이 뭐라고 하는지 못 알아듣는 거야. 12년 동안 영어 공부했는데도 이 미친 소리를 못 알아듣겠다고 하지. 예를 들어 영어에서 "What do you want to do this weekend?"를 "Whatchya"라고 줄여 말하는 것처럼, 이런 이상한 혼합 표현들이 많거든.
Nick: 그리고 그게 진짜 기술적인 문제를 일으켜. 예를 들어, 같은 두 소리를 합칠 수 있을 때 문제가 생겨. 예를 들어 "after the show, we"라고 할 때, 원어민은 "after the show we"라고 말하면서 두 단어 소리를 연결하지. 그런데 AI는 사전, 어휘집을 기반으로 두 소리를 따로 인식하려고 해. 그래서 한 소리에 대해서는 좋은 점수를 주지만, 두 번째 소리에 대해서는 점수를 낮게 주지. 원어민은 그냥 자연스럽게 연결했는데 말이야. 그래서 원어민이 말해도 이걸 제대로 인식하려면 기술적으로 많은 문제가 생겨. 제품의 정확성 측면에서도 말이야.
Jay: 음, 맞아, 정말 복잡하지, 그렇지? 심지어 인사말도 그래. 어떻게 지내? 라고 하지 않고, 어떻게 지내냐고 해. 맞지? 그래서 기계가 이런 규칙들을 인식하도록 훈련시켜야 해. 모음 소리 다음에 자음 소리가 오거나, 어떤 소리가 합쳐지거나 이동하는 경우를 말이야. 네 기계가 이런 작은 규칙들을 인식하는 거지?
Nick: 네, 제품을 처음 출시했을 때 여러 문제가 있었어요. 특히 한국 그룹에서 사용량이 너무 많아 서버가 다운되기도 했고, 인프라 문제도 있었죠. 그리고 콘텐츠 정확도 측면에서는 "쇼가 끝난 후 우리는", "어떻게 지내?" 같은 문장을 평가하는 게 주로 데이터 문제였어요. 하지만 사전이나 렉시콘을 잘 설정해서 모든 게 잘 작동하도록 하는 것도 중요한 부분이었죠.
Jay: 알겠어요. 시스템을 어떻게 프로그래밍했는지 상상해보려 하는데, 규칙이 있잖아요. 예를 들어 소리를 추가하거나 삭제하는 규칙도 있고, 기술적으로는 환유(allusions)나 삭제(deletions)라고 부르죠. 단순히 사전을 넣고 "이게 다 어떻게 들리는지"라고 하는 것보다 훨씬 복잡한 거군요. 이 모든 걸 누가 프로그래밍했나요? 그리고 어떻게 시작된 건가요?
Nick: 처음 시작할 때 저는 중국에 살면서 가르치고 있었어요. 몇 년 동안 부모님과 연락을 안 했었는데, 3~4개월 전에 연락을 했죠. 부모님이 정상적인 직장을 구하고 대학에 다시 가라고 하셨어요. 그래서 전 세계 연구자들 중 AI, 딥 뉴럴 네트워크, 계산 언어학 같은 특정 분야에 능한 사람들의 목록을 만들었고, 직접 전화를 걸어 "이걸 만들고 싶은데 도와줄 수 있나요?"라고 했어요. MIT에서 많은 도움을 받았죠. 거기서 똑똑한 젊은 친구들을 찾아 조언을 구했고, 실제로 제품을 만들 팀도 찾았어요. 처음 작동하는 데모는 다섯 문장이었고, 그 다섯 문장에서 정확하게 작동하는 것에서 수백만 명의 사용자에게 확장 가능한 제품으로 만드는 데 시간이 오래 걸렸어요. 다양한 콘텐츠에 대해 정확도를 높이는 것도 큰 도전이었죠. 하지만 지금은 좋은 상승 곡선을 그리고 있어요. 현재 프로덕션에서 2천만 건의 API 호출을 달성했는데 정말 멋져요. 자체 자동 영어 테스트도 진행 중이고요. 이 모든 게 목록 작성과 수많은 LinkedIn 메시지, 그리고 수많은 콜드 콜에서 시작됐어요. 몇몇은 전화를 끊기도 했지만, 그게 다 과정이죠.
Jay: 와, 대단하네요. 그래서 서로 협력해야 했던 거군요. 연구자 팀을 모은 셈인가요?
Nick: 네, 저희는 팀을 꾸렸고 시드니에서 수학, 물리학 등을 공부하는 UNSW 같은 곳에서 정말 훌륭한 프로그래머들을 찾아서 아이디어를 실제 작동하는 진짜 제품으로 만들고 운영할 수 있게 했어요.
Jay: 와, 대단하네요. 그 이야기는 몰랐어요. 멋지네요. 2,000만 번의 API 호출이 있었다는 건 2,000만 명의 학생이 버튼을 눌러 컴퓨터에 말을 하고 피드백을 받았다는 뜻이잖아요. 정말 미친 숫자예요. 만약 2,000만 번의 구두 피드백을 선생님들이 직접 해준다고 생각하면 상상도 할 수 없죠?
Nick: 네, 정말 멋져요. 사실 우리는 1,000만 명을 정말 빨리 달성했어요. 코로나 때문에 일이 꽤 바빴거든요. 그런데 최근에 2,000만 명을 달성했어요. 그리고 학생들이 잘 배우도록 돕고, 그것을 확장 가능하게 만드는 데 실제로 영향을 미치고 있다는 게 정말 흥미로워요. 이 사업에는 분명히 사회적인 측면이 있어요. 우리가 하는 일이 사회와 교육에 순이익이 된다고 생각해요. 그래서 정말 신나고, 매우 보람차고 행복해요.
Jay: 네, 동의해요. 분명히 사회에 순이익이 있다고 생각해요. 요즘 사람들은 다양한 형태의 차별에 대해 매우 민감하게 생각하는 시대에 살고 있잖아요. 그리고 사회가 잘 발전하고 있다고 생각해요. 그런데 제가 생각하기에 간과되는 차별의 한 형태가 바로 억양이에요. 사람들은 억양에 따라 매우 차별적이에요. 어디선가 읽었는데, 잡지 기사였는데, 가장 선호되는 영어 발음과 가장 선호되지 않는 영어 발음에 관한 내용이었어요. 이 연구는 좀 형편없었지만, 남성 영국 억양이 가장 선호되는 영어 발음이고, 가장 선호되지 않는 것은 베트남어를 모국어로 하는 남성이 영어를 말할 때였어요. 베트남어 발음이 영어와 너무 달라서 사람들이 베트남식 영어 발음을 싫어한다는 거죠. 이해가 가요. 이건 정말 안타까운 일이에요. 차별에 대해 변화를 만들고 사람들에게 인식을 높이는 것이 필수적이라고 생각해요. 그런데 학생들도 역할이 있어요. 그리고 당신이 하는 일은 사람들이 더 명확하게 말할 수 있도록 돕고 그런 부족함을 극복하게 하는 거잖아요? 정말 흥미롭지 않나요?
Nick: 네, 확실히 그래요. 저도 분명히 그런 잘못을 저질렀던 적이 있어요, 누군가의 지능을 그들의 말로 소통하는 능력으로 판단했던 적이요.
Jay: 네.
Nick: 그리고, 그리고 그건 완전히 잘못된 생각이에요. 그건 그냥 자연스러운 본능 같은 거라고 생각해요, '아, 우리는 소통할 수 없으니까, 너는 똑똑하지 않아'라는 식으로요. 저에게는 그게 완전히 틀렸다는 걸 깨달았을 때가 있었어요. 그건 그냥 본능적인 자연스러운 생각일 뿐이에요. 저도 분명히 그런 상황에 처한 적이 있어요. 하지만 언어를 배우고 가르치면서 알게 된 건, 그게 전혀 그런 게 아니라는 거예요. 소통할 수 있는 능력이 정말 중요하다는 거죠. 그리고 그게 우리가 이 일을 하는 이유이자, 힘든 과정을 견디는 이유이기도 해요. 스타트업과 이 모든 롤러코스터 같은 여정에서, 제가 10년 후에 이 일이 어떻게 될지에 대한 비전은, 전 세계 어디에 있든 학생이 스마트폰으로 AI 튜터와 완전히 개방형 자동화된 언어 수업을 받을 수 있다는 거예요. 그게 제가 보는 비전이고, 그게 많은 편견을 없애고, 한 시간에 50달러, 60달러를 낼 수 없는 학습자들에게도 많은 문을 열어줄 거예요.
Jay: 네.
Nick: 선생님을 위해서요.
Jay: 네.
Nick: 그들은 정말 고품질 수업을 휴대폰으로 월 5달러에 받을 수 있어요. 그것도 정말 확장 가능하게요.
Jay: 그럼 상호작용으로 넘어가거나 살펴볼 건가요? 지금은, 그리고 이것은 일부 영어 시험의 한계이기도 한데, 말하기 평가에 상호작용이 전혀 포함되어 있지 않아요. 그들은 소리 내어 읽거나 문장을 반복하거나 이미지를 설명하는 식이죠. 상호작용이 실제로 포함된 영어 시험에는 제한이 있다고 생각해요, 대화 상대의 특성 때문에요. 그런데 상호작용을 통해 언어 자신감이 어떻게 생길 수 있는지 이야기해 줄 수 있나요?
Nick: 네, 그래서 우리가 처음에 직면한 큰 기술적 문제 중 하나는 이 제품을 인프라 측면에서 확장 가능하게 만드는 방법이었어요. 그리고 이 제품이 다양한 내용을 평가할 수 있도록 만드는 방법이었죠. 이걸 해결하는 데 오랜 시간이 걸렸어요. 어떻게 하면 제품이 매우, 매우 다양한 내용을 평가할 수 있을지 알아내야 했거든요. 그래서 우리는 실험을 했고, 각 단어마다 AI가 정확해지기 위해 필요한 데이터 양이나 데이터 세트를 알아냈어요. 그리고 그 정보를 바탕으로 영어에서 가장 흔한 10,000개 단어와 그 조합에 대해 정확도를 높였죠. 현재는 텍스트를 입력하면 평가 결과를 바로 받을 수 있어요. 하지만 분명히 그건 여전히 시험과 학습 관점에서 닫힌 시나리오예요. 개방형 창의적 질문과 피드백, 질문과 답변이 정말 중요하죠. 그래서 다음 단계는 개방형 평가를 하는 거예요. 지금은 내용을 평가할 수 있지만, 그게 무엇인지 먼저 인식할 수 있어야 해요. 그래서 저희 웹사이트에 데모가 있는데, 그냥 말을 하면 평가를 해줘요. 그래서 더 창의적이고 개방형 응답을 할 수 있죠. 물론, 제품으로서 한계가 있어요. 음성 인식이 말하는 내용을 해독하고, 그걸 바탕으로 평가를 하는데, 이 모든 게 첫 단계인 인식의 정확도에 달려 있거든요. 그래서 학습 초기 단계이거나 강한 억양이 있으면, 세계 최고 ASR도 정확한 결과를 주지 못해요. 문맥도 중요하고요. 하지만 그걸 해결할 방법을 찾은 것 같아요. 다만 꽤 많은 개발이 필요해요. 그래서 그 방향으로 확실히 나아가고 있어요. 그리고 우리가 만든 자동화된 테스트에서도, 학생들에게 예술, 환경, IELTS 스타일 질문에 대해 1~3분 답변을 요구하는 실험을 하고 있어요.
Jay: 네.
Nick: 그리고 그걸 완전 자동화된 개방형 평가로 하는 건 정말 멋지고 흥미로운 일이에요. 저는 그게 정말 우리가 도약할 지점이라고 생각해요. 그리고 그게 우리의 틈새 시장이자 집중 분야예요. 왜냐하면, 말씀하신 대로, 시험 관점에서도, 학습 관점에서도, 단순히 텍스트를 읽거나 문장을 읽고 단어를 반복하는 것만으로는 평가할 수 있는 게 한정적이거든요. 하지만 누군가의 언어 능력을 제대로 파악하고 그들이 배우도록 돕기 위해서는 그들과 개방형 대화를 나누는 게 정말 중요해요.
Jay: 네, 좋아요. 맞아요. 네. 그게 정말 큰일이죠. 그래서 개방형 응답의 문제는 정말 내용에 관한 거죠. 맞나요?
Nick: 아이러니하게도 다른 지표들, 예를 들어 유창성이나 내용 관련성은 내용과 무관해. 무슨 말인지 몰라도 돼. 하지만 발음, 즉 소리는 사용자가 뭘 말하려는지 알아야 평가할 수 있어. 그걸 바탕으로 얼마나 잘 말했는지 평가하는 거지.
Jay: 그럼 이렇게 작동하는 거야? 예를 들어 내가 에펠탑 사진을 설명하고 문장을 말하면, 그걸 음성 타이핑 같은 전사 서비스처럼 단어로 바꾸는 거지? 도대체 어떻게 작동하는지 전혀 모르겠어. 어떻게 작동해?
Nick: 먼저 음성 인식으로 말하는 내용을 해독해 텍스트를 얻는 거야. 그리고 그 텍스트와 오디오를 API에 보내면 평가를 하고 결과를 돌려줘.
Jay: 그러니까 소리를 보고, 발음 평가 소프트웨어를 거치고, 단어도 보고, 의미론적 지도를 만들어서 예를 들어 내가 에펠탑에 대해 말하면 그 내용을 파악하고 내용 점수도 주고, 문법도 평가할 수 있다는 거지. 정말 복잡해지네.
Nick: 맞아, 그게 바로 계획이야. 여섯 가지 핵심 지표를 가지고 의미 전달 방식을 측정하고 실제로 수치화해서 본질적으로 구분된 카테고리로 나누는 거지. 발음, 유창성, 문법, 어휘 또는 어휘 자원, 그리고 내용 적합성 이렇게 여섯 가지야. 우리는 IELTS 평가 기준부터 기술적 요구사항, 우리가 할 수 있는 것과 할 수 없는 것을 모두 검토해서 이 파이프라인에 넣었어. 이 지표들을 사용해서 완전 자동화된 개방형 평가를 테스트와 학습에 모두 활용할 수 있을 거라고 생각해.
Jay: 좋아, 좋아. 그리고 먼 미래에 실제로 대화할 수 있는 상호작용이 생기겠지. 하지만 그건 완전히 다른 문제잖아, 그렇지?
Nick: 그 계획은 이미 작성해 놨어. 어떻게 할지 정확히 알고 있어. 하지만 기술적으로 매우 어렵지. 그래서 네, 언젠가는 할 거야. 하지만 아직은 좀 시간이 걸릴 거야.
Jay: 그때 ‘her’라는 영화를 본 적 있어? 작은 이어피스가 나오고 그가 그… 사랑에 빠지는 영화야. 본 적 있어? 주아킨 피닉스가 주연인, 이름이 뭐더라, 정말 아름다운 영화야. 사실 내 가장 좋아하는 영화 중 하나야. 미래에 착용하는 이런 이어피스가 나오고, 그는 귀에 있는 AI와 사랑에 빠져. 그런데 나중에 모두가 그들의 AI와 사랑에 빠져 있다는 걸 깨달아, 왜냐하면 그들은 멋진 대화를 나누거든. 볼 가치가 있어. 정말 멋져. 좋아, 정말 흥미롭네. 그럼 간단히 네가 만든 이 테스트에 대해 말해줘.
Nick: 네, Holmes Education Group이라는 단체와 협력하고 있어요. 그들과 파트너십으로 자동화된 시험을 만들었죠. DuoLingo가 코로나 중간쯤에 출시했는데, 1년쯤 됐고 69달러였어요. 그 시험은 완전 자동화된 건 아니고 평가에 사람이 개입한 부분이 있었던 것 같아요. 반면 저희 시험은 완전 자동화되어 있고, 말하기와 듣기부터 시작했어요. 원래는 학교와 대학 입학 신청 절차를 간소화하는 용도로 만들었는데, 계속 개발하면서 실제 입학 시험으로도 사용할 수 있을 것 같아요. 이 과정을 자동화할 수 있죠. IELTS를 완전히 대체하지는 못하겠지만, 기술적으로 그 방향으로 나아가고 싶어요.
Jay: 와, 어떤 능력을 평가하나요?
Nick: 현재는 말하기와 듣기만 평가하지만, 읽기, 문법, 이해력 등도 추가하고 있어요.
Jay: 맞아요. 많은 시험들이 말하기를 거의 무시하죠. 예를 들어 TOEIC은 제가 알기로 듣기와 읽기 시험이었어요. 말하기 평가는 비용이 많이 들기 때문이죠. 저희 E2Language에서는 글쓰기와 말하기 평가를 많이 채점하는데, 아직도 사람 평가자를 쓰고 있어요. IELTS 에세이 같은 복잡한 평가를 AI가 만족스럽게 대체하지 못했거든요. 학생들이 높은 수준의 피드백과 설명을 원하기 때문에요. 그래서 이 시장은 정말 대단해요. 만약 그걸 해결할 수 있다면 정말 대단한 일이 될 거예요.
Nick: 확실히 어렵지만, 올바른 길을 가고 있다고 생각해요.
Jay: 네, 이런 큰 문제들은 조금씩 해결해 나가야 한다고 생각해요. 어느 정도 아이디어를 가지고 작은 문제들을 해결해 나가야 큰 문제도 해결할 수 있죠. 저희는 컴퓨터로 영어를 가르치는 큰 문제를 해결하려고 노력 중이에요. 10년 넘게 이걸 연구해 왔는데 아직도 문법을 어떻게 가르쳐야 할지 모르겠어요. 문법 가르치는 방법에 대해 여러 방향으로 시도해 봤지만, 결국 포기한 것 같아요. 아마 포기해서인지 이제는 좀 가까워진 것 같기도 하고요. 죄송해요, 계속하세요.
Nick: 그럴 만한 이유가 있다고 말하려고 했어요, 맞죠? 왜냐하면 만다린어에서는 “kàn shénme?”가 ‘너 뭐 보고 있어?’가 아니라 ‘너 뭐를 보고 있니?’라는 의미거든요. 독일어, 프랑스어, 그리고 라틴어 계열 언어들도 구조가 비슷한데, 영어만이 그 구조가 다르다는 거죠, 맞나요?
Jay: 구글 이미지에서 볼 수 있는 게 있는데 정말 흥미로워요. 'morpheme map'을 검색하면, 영어 문장이 아래에 나오고 ‘What are you looking at’ 같은 문장이요, 위에는 중국어 만다린 문장이 나와요. 그리고 단어 순서를 보여주기 위해 선을 그려 줍니다. 어떤 것들은 완전히 다르죠. 단어 순서만 봐도 그렇고, 동사가 어떻게 작동하는지, 시간과 문법을 어떻게 나타내는지 말이죠. 문법이 정말 흥미롭지만, 해결하기 어려운 것 같아요. 좋아요, Nick, 사람들이 어떻게 연락하고 language confidence에 대해 더 알 수 있나요?
Nick: 우리 웹사이트 languageconfidence.ai에 접속해 보세요. 또는 [email protected] 으로 이메일 보내 주세요. 웹사이트에 데모가 있으니 직접 사용해 보시고 피드백 주세요. 저는 항상 제품 개선을 위한 파트너를 찾고 있어요. 저희는 파트너와 협력하는 방식으로 일합니다. 멜버른에 있는 CTO와 함께 제품과 최적 사용 사례, 사용 방법 등을 꽤 오랜 시간 논의했어요. 그러니 연락 주세요. 여러분의 의견을 듣고 싶습니다.
Jay: 이게 우리 플랫폼 E2school에 큰 변화를 가져왔어요. 발음 강좌는, 선택지가 두 가지였는데, 피드백을 주지 않거나, 선생님을 고용하는 것뿐이었어요. 후자의 경우 강좌 비용이 급등해서 아무도 사용하지 않았을 거예요. 그래서 language confidence를 통해 학생들에게 많은 피드백을 제공할 수 있었어요. 비용은 3개월에 19달러 정도인 것 같아요. 그래서 정말 가치 있는 도구입니다. 그리고 학생들이 사용하고 있어서 좋아요.
Nick: 네, 정말 멋져요. 그리고 여러분과 함께 일하는 것도 정말 즐거웠어요. 정말 재미있었고 앞으로도 몇 년 더 기대하고 있어요.
Jay: 네, 맞아요. 계속 확장해 나가면서 어디까지 갈 수 있을지 볼게요. 좋아요. 오늘 함께해 주셔서 정말 고마워요, Nick.
Nick: 초대해 주셔서 감사합니다. 정말 감사해요.
발표자: E2 Talks를 들어주셔서 감사합니다. 꼭 확인해 보세요 e2language.com PTE, IELTS, OET 및 TOEFL 강좌를 위해서 그리고 일반 영어 학습에 도움이 필요하다면, 확인해 보세요 e2school.com감사합니다