突破性多模態AI技術：打造更精準的英語口說能力評估系統

在當今全球化時代，流利的英語口說能力已成為學術與職場成功的關鍵要素。傳統上，這項能力的評估往往依賴耗時且成本高昂的人工測驗。然而，隨著人工智慧技術的快速發展，自動化英語口說評量系統正逐漸受到全球研究者的重視。

日本先進科學技術研究所（JAIST）的岡田教授研究團隊，在助理教授Candy-Olivia Mawalim的帶領下，開發出一套革命性的多輸出學習框架。這項發表於《Computers and Education: Artificial Intelligence》期刊的研究成果，能夠同時評估英語口說能力的多個面向，突破了傳統單一模態評估的限制。

研究團隊採用Vericant公司提供的獨特語料庫，該資料集收錄了9至16歲青少年在升學面試中的即時對話紀錄，包含同步錄製的語音、影像及文字轉錄內容。特別值得一提的是，這些資料均由美國教育測驗服務社（ETS）專家進行評分，為多模態分析提供了堅實基礎。

Mawalim博士指出：「我們的框架能整合口說能力的各個層面，包括語調變化等聲學特徵、面部表情等視覺線索，以及話輪轉換等語言模式。相較於單一模態方法，這種多模態策略大幅提升了預測準確率，使用LightGBM演演算法可達到約83%的整體評分預測準確度。」

研究團隊還發現，應試者的初始發言內容對整體表現預測具有重要意義。此外，面試官的說話方式、性別差異，以及面試形式（現場或遠距）等因素，都會顯著影響應試者的回答連貫性。

岡田教授強調：「這項研究不僅能幫助學生提升英語能力，更能讓教師根據個別需求調整教學方式。隨著AI技術的快速發展，多模態評估很可能在不久的將來成為教育現場的標準配備。」

Mawalim博士補充說明：「這項技術的應用將超越語言能力評估，未來可望發展出更智慧化的學習工具，幫助學生培養公開演說、簡報技巧等人際溝通軟實力，為教育與職場帶來革命性的變革。」

[end]