3D虚拟现实言语康复系统查看源代码讨论查看历史

来自 搜狐网 的图片

3D虚拟现实言语康复系统很多听障儿童由于听力障碍造成言语的缺失，严重影响其认知能力、思维能力的发展，最终将影响其情感和智力的发育。

技术要点

很多听障儿童由于听力障碍造成言语的缺失，严重影响其认知能力、思维能力的发展，最终将影响其情感和智力的发育。而研究表明听障儿童的发音器官是正常的，所以只要对其进行听力补偿并及时进行科学的言语康复，就能让他们走出无声世界，进入有声世界。应用技术层面我们针对国内外语音设备的不足，训练条件有限的现状，于是我们利用三维运动捕捉系统建立相应三维模型，将数据传输，加密，音频解析等技术结合，开发出 “基于移动互联网、PC 及 VR 设备的听障儿童言语康复训练系统”。

本设备有移动端，PC 端及 VR 端的软件，移动端可以使用户登录后系统自动进入三维头像模拟发音训练模块，系统播放三维头像发音动画，用户反复训练，并且具有实时反馈训练情况的语音识别技术，将数据保存上传到云端，能够达到实时监测的情况。用户群体主要受众是0-6岁儿童，因为0-6 岁是幼儿言语能力发展的关键期。项目愿景是借助多媒体、仿真、虚拟现实等技术在计算机上营造可辅助听障儿童发音康复训练的方式进行开发。通过运动捕捉技术捕捉真实的面部表情信息，建立三维特征点信息与三维面部模型映射关系，完成了对口型、范例发音的采集、训练过程，在三维游戏引擎中营造出不同的训练场景，利用先进的手势识别技术，完成人机交互的选择训练内容方式，使得听障儿童可以很好地接受治疗。

应用前景

无论是从社会、技术、市场容量和经济各个方面都体现出了该产品具有良好的市场价值。此项目的社会效益巨大，惠及百万听障儿童及其家庭。我们项目产品顺应民意，响应国家号召，争取让听障儿童早日恢复语言功能，让他们告别无声的世界！已经初步具备一套完整的产品体系，并且在本校特殊教育学院多次测试，刚完成了上一阶段的上机测试，成效良好。其中，对特教同学0-6岁的兄弟姐妹受众群体进行了言语康复训练，反馈效果良好。