本项目以人机智能交互设计为基础，基于前沿的虚拟人开发技术，聚焦对现有方法的系统集成应用设计，探索英语口语学习场景下的虚拟教师系统的构建方法，以下为具体研究内容：

（1）为解决线上虚拟教师忽视情感感知的问题，本研究构建具有多模态感知能力的虚拟教师，实现对学习者情绪状态的多维感知。

在感知阶段，虚拟教师通过获取学习者的文本和副语言信息，识别学习者在英语口语学习中的学习数据以及情绪状态。

从文本中感知情感

实现从学习者和虚拟教师沟通中的语言文字中，挖掘学习者的学习数据与情绪状态。通过分析学习者的语音反馈，具有以下的作用，一是有助于虚拟教师通过学习者反馈的文本来进行情感分析，二是有效备份学习者的学习数据，为发音智能评测阶段用文本分析来评估口语内容做铺垫。

从副语言中感知情感

副语言可以为有意识或无意识地表达。在本研究中，虚拟教师通过识别学习者所传达的副语言信息，感知学习者在学习中所传达的情绪状态，为接下来实现虚拟教师根据学习者的情绪信息给出反馈做铺垫。

（2）为解决口语学习领域难以实现对学习效果有效监测的问题，本研究构建具有错误发音检测能力的虚拟教师，实现对学习者学习情况的个性化追踪与学习反馈。

个性化发音检测

在学习者学习的过程中，如果教师忽视了对学习者学习效果的监测或没有给予个性化的学习反馈，那么学习者将不能获得有效的学习指导，从而使学习效果受到负面影响。

因此，在本项目中，以英语口语发音纠正场景为例，在检测模块实现虚拟教师对学习者发音情况的智能监测，识别学习者在口语发音学习中出现的音素级错误发音。此外，虚拟教师还会对学习者输入的口语内容进行细腻度评估，评估学习者的整个句子、单词、音节以及音素发音的准确度，并给予0-100的浮动分值等。

本项目为了提升虚拟教师的语言互动能力，借助大预言模型，拓展虚拟教师的表达能力。虚拟教师会根据用户的个性化需求，如进行口语角色扮演、提高语法水平、拓展词汇量，提高口语的流畅度等任务，让学习者在亦师亦友的语音互动氛围中不断进步。