基于听障儿童学习发音的沉浸式互动设计研究
来源:用户上传
作者:张垣 洪杨 千哲
摘要：笔者团队针对数字时代低龄段听障儿童学习发音难的问题设计出了一款适用于听障儿童发音学习的沉浸式互动装置《以我的名字呼唤我》（Call Me by My Name），以期缓解特殊教育目前面临的师资不足等问题，为听障儿童学习发音提供了一种新思路。
关键词：听障儿童学习发音沉浸式互动视觉触觉
目前，数字媒体设计已经深入渗透到人们的日常生活中，但应用于特殊教育的数字媒体设计却不多，涉及听力障碍（以下简称"听障"）儿童发音教育的更少。在2021年世界卫生组织发布的《世界听力报告》［1］中提到全世界范围内以每100万人口为单位，79%的高收入国家拥有50名或以上语言治疗师，而87%的低收入国家和66%的中低收入国家只拥有不到1名语言治疗师［2］，这与约4.3亿人（即全球人口的5.5%）正在经历至少中等程度听力损失的人数不相匹配。因此，当下亟须有效方案解决当前特殊教育面临的师资不足等问题，而本文的研究与设计实践就是为解决这一问题而做出的尝试。
数十年来，能满足听障人士日常生活需求的研究与设计产品在世界范围内不断涌现。关于声学参数的研究，学者们通常关注声音的类别或强弱，而在1987年，加拿大的罗伯特・沃克（Robert Walker）创新性地将声学参数的研究范围定位到刺激听觉的四个具体声音参数（频率、波形、振幅和持续时间）之间，并加以区分不同的声学参数映射到视觉的呈现，最终解决了频率、波形、振幅和持续时间与视觉形状、颜色、空间等联系的问题。［3］2013年，第一款使用平板电脑测听仪评估儿童听力的游戏程序诞生了，这项设计能够评估和筛查儿童颤音、听阈，这为评估听障儿童的听力提供了一条新的路径。［4］2018年，一款名为"唱机魔术"（PHONOMAGIC）的物理游戏板问世，首次将物联网技术与非传统的互动系统进行整合。该游戏板中的游戏界面是人类耳蜗的造型，该设计可以被看作是一款连接了物联网且还原了耳蜗结构的教学器材，是对当下传统单一教学模式的一种突破。A同年，一款名为"卡赛特"（CASETO）［6）的交互式钢琴游戏问世，该设计将人工耳蜗的形态与钢琴乐器结合起来，每按下一个钢琴音符时，与该音符相关的颜色就会投射到相应的音键上，为听障儿童的音乐教学提供了便捷。国内的相关设计虽然起步较晚，但也已经做出了不少尝试。2011年创立的"晓语"网站是一款为听障人士设计的跨平台网站，结合了众包、区块化的模式，为听障儿童线上社区化学习提供了更多可能0[7]2019年，一款名为"声镜"的AR （Augmented Reality，增强现实）眼镜将语音、交通信号、消息提示音视觉化后呈现在眼镜中的屏幕上，通过增强现实技术帮助听障人士"看见"声音，解决了听障人士在日常生活中无法听到警示声音（如交通信号等）等一系列的安全问题。[8]2021年，一款主打关爱听障儿童心理的游戏诞生，它将听力认知与游戏任务情景化结合，为移动终端游戏服务与数字媒体技术应用于听障儿童互动学习中起到指导性作用。[9]
通过笔者调研发现，目前市面上关于听障儿童学习发音的研究及应用存在以下三点不足。首先，不重视触觉等其他感官对听障人群的作用；其次，忽略了低龄段听障儿童这一群体，很少有适合这一群体学习发音的产品，过往的研究也都主要以成年听障人士为主。其实听障儿童对韵母、声母发音学习的好坏，在很大程度上决定了其成年后是否能形成良好的汉语发音能力；最后，已有的应用设计缺乏听障人士学习发音过程中很重要的诱导机制和反馈机制。
一、听障儿童学习发音的相关研究
听障儿童学习发音的最佳年龄不同于普通儿童，对于普通儿童而言，分别为1至3岁的早期阶段以及4至6岁的晚期阶段。但是，1至3岁听障儿童构音特质的相关实验表明，听障儿童在2至3岁时不能掌握与普通儿童早期阶段数量相当的音节一平均声母1.87个，韵母4.79个，他们只能掌握音节1.87个，相当于健全儿童1至2岁的水平，[10]但在早期阶段听障儿童的发音会随着年龄的增长有很大提升空间。
通过补偿假设（compensation hypothesis）理论来解释：相对于听力健全的人，听觉的丧失使听障人士无法获取一定量的声音信息，从而会更加依赖其他感官。因此，他们的视觉、触觉等在一定程度上代偿了他们在听觉上的不足， 并且一些研究结果显示，听障儿童的感官依赖程度为：视觉〉触觉〉味觉〉嗅觉。其中，听障儿童对视觉的依赖度高达92%。［11］在听障儿童与听力健全儿童比较视觉识别敏感度的实验中，听障儿童的视觉反应速度与观察能力普遍优于听力健全儿童。四研究指出，听力健全的儿童学习发音是受声音刺激而尝试模仿的，而对听障儿童来说，通过视觉和触觉的感知是刺激其发音的最有效方法。如语言治疗师通常引导听障儿童模仿他们所触摸、感受的咽喉、鼻腔等发音器官的震动来进行发声练习。
对听障儿童来说，学习发音有内外两方面的阻碍。于内：第一，由于听障儿童先天听力丧失，所以其没有主动发音的意识；第二，听障儿童无法自行判断发音的对错，也不具备声音反馈机制；第三，听障儿童对发声存在一定的心理障碍，因害怕发音错误，所以不敢在公共场合说话；第四，听障儿童无法判断自己的发音器官，或较难通过触摸发音器官的震动与控制发音器官来正确发音。于外：目前，听力康复教师、语言治疗师等相关的老师、医生数量较少，大量听障儿童无法获得系统的发音训练，从而错过语言学习的黄金期。
二、《以我的名字呼唤我》的设计思路与技术支持
以上述理论研究为基础，笔者团队设计了一款诱导听障儿童学习发音的装置一《以我的名字呼唤我》。该设计所针对的目标群体主要为1至3岁且先天听力丧失的儿童。人的听力受损分先天和后天，若是先天丧失听力，那儿童在孩童时期就听不到发音，致使他们没有模仿发音的欲望，从而错过学习语言的最佳时期， 严重者会完全丧失语言能力，且极难修复。下文笔者将分析该装置的设计思路及技术支持。
nlc202211231102
（一）沉浸式动画
研究表明，以沉浸式踊为学习的驱动力，能够更好地激发听障儿童的探索欲与学习的积极性，减轻他们对学习发音的抵触心理与紧张情绪。因此，《以我的名字呼唤我》的设计以"在森林里探索一奇遇一互动"的沉浸式故事线为承托，通过体验者和精灵的声音互动达到让其发音的目的。体验者进入该装置模型的沉浸式空间后，会先看到装置中的树洞，树洞中藏有无规律运动且形态各异的小精灵。此时，体验者可以"呼唤"小精灵或与小精灵打招呼，便会获得小精灵的不同反馈。同时，体验者可以触摸树洞前的咽喉模型，来感受发音器官的位置与震动频率。该装置应用了声音感应技术，能够模拟咽喉和鼻腔的振动。在其未监测到任何声音时，树洞中的泡泡动画会随机运动，一旦检测到人声，树洞中则会切换为精灵的动画。
在听障儿童使用该装置学习发音的过程中，该装置中的反馈机制会出现两种情况：当使用者发音正确时，就会产生正面情绪响应，并自动切换至下一个拼音字母的动画；当使用者发音错误时，就会产生负面情绪响应，并继续保持当前拼音字母的动画，直到使用者发音正确才会切换至下一个拼音字母的动画。
（二）目标群体适应性
装置的设计要符合目标群体的喜好与接受程度，所以《以我的名字呼唤我》的视触觉部分，包括装置的空间设计、精灵角色形象设计、精灵的动画设计以及触觉模型都以该装置目标年龄段群体的喜好、接受度作为设计的出发点。
《以我的名字呼唤我》视觉部分的设计灵感源于两方面：一是起源于 17 世纪的万物有灵论（animism）[13]的哲学思想，其要义为“世间任何物体都有自己的灵魂”。该装置的设计以调动听障儿童学习发音积极性为目的，结合万物有灵论，将音节拟人化转化为一个个小精灵，创造了一个能吸引儿童的动画角色。二是笔者团队在搜集资料时，发现了一些奇幻主题的元素，包括树洞、神秘生物、古树等，它们更容易激发低龄儿童的探索欲。因此，团队将精灵的角色定位为一种未知的、新奇的生物，以树洞、神秘生物、古树等元素做搭配，以激发儿童探索和学习的好奇心。
在色彩设定方面，笔者团队发现《96 名听障学生颜色偏好的研究》[14]一文中提出听障儿童喜好的色彩更偏向蓝色、白色，为此设计团队将蓝色选定为该装置的基础色调。在装置沉浸式空间的设计方面，笔者团队选择将整个装置置于一个较暗的空间中以提高体验者的沉浸感，同时以四周的荧光材料以及屏幕动画引导体验者探索。
在《以我的名字呼唤我》触觉部分的设计中，设计团队考虑了 1 至 3 岁听障儿童的喜好与接受度的问题。在设计初期，笔者团队想使用聚氯乙烯（Polyvinyl chloride，简称“PVC”）作为原材料。聚氯乙烯是氯乙烯单体在过氧化物、偶氮化合物等引发剂或在光、热作用下聚合而成的聚合物，是世界上产量最大的塑料产品之一，很多艺术装置的制作都会选用这种材料。但经过团队实验发现 PVC 材料并不适合用作触觉装置的外包材料，主要有三方面原因：一则 PVC 材料的震感传递较不明显，体验者难以通过微弱的震动判断触摸模型的发音区域；二则该装置的使用群体主要是低龄儿童，PVC 模型的形象因为过于写实，难以被低龄儿童接受；三则使用 PVC 材料做触觉装置外包材料时，该装置内置的马达、接收器等构件需要进行翻模成型，这增加了触觉装置制作的难度与成本，恐怕难以大范围推广。通过不断实验，笔者团队最终选择布料和棉絮作为外包材料，因为其具备了三个非常重要的优势：第一，使用布料便于数码喷绘打印或者手绘上色，易于咽喉结构的制作呈现；第二，该装置最外层使用布料包裹，同时在内置的马达、接收器、电路板等周围填充棉絮，使用这些材料制作的触觉装置的震感传递明显优于使用PVC材料；第三，最终触觉装置的成品形象近似布偶，更容易被儿童接受。
（三）反馈机制的设计
在对听障儿童学习发音的沉浸式教学中，应当配有反馈机制与奖励机制。其中，反馈机制能让使用者判断自己发音的对错，而奖励机制能激发听障儿童学习的动力。为了加强听障儿童对拼音字母的发音学习，需要让他们进行"眼手合作"的互动式学习。一方面，为了让听障儿童通过观察装置外部的咽喉剖面结构，来调动感官，习得发音器官的分布；另一方面， 为了调动他们的触觉感官，通过触摸装置的震动区域感受器官如何发音，了解发音时需要使用的器官部位。反馈装置内置的声音接收器在检测到听障儿童的发音后，会自动进行识别并做出相应的震动反馈。听障儿童通过对该装置的反复触摸，来分辨不同拼音字母发音时对应的不同发音位置，并不断加深记忆。在测试该装置时，任何频率的声音都会让其做出反馈， 为避免使用时其他杂音的干扰以及造成不必要的视觉、触觉反馈，笔者团队根据辨析发音的理论基础，将装置的声音接收器设定为只接受特定频率的信号，即符合人说话的集中发音频率段。
《以我的名字呼唤我》的视觉反馈与触觉反馈是需要相互配合的。当装置接收到新的声音时，视觉反馈机制会中断动画的播放，直接开始对新的声音做出反应。而触觉模型的反馈是物理震动，必须等待震动动作停止才能接收新的信号。因此，设计团队对视觉部分的体验流程做出相应调整，以保证视觉、触觉反馈的一致性。此外，设计团队还对装置的视觉反馈与声音互动进行了调整：考虑到用户发出声音时的位置不固定，同时音源可能受体验者身高或运动轨迹变动的影响，团队将动画中精灵的运动轨迹设置在树洞的各个方位，使其能够适应用户的不同位置。
（四）技术支持
《以我的名字呼唤我》的互动装置是由收音麦克风、计算机、一体机显示屏幕三部分组成， 通过游戏引擎U nity完成处理工作。笔者团队通过编写代码实现该装置的各项功能，包括分析检测声音音频、匹配声音、实现精灵动画的运动轨迹和麦克风的录音控制。触觉与声音的互动由内置收音器、计算机、马达、咽喉鼻腔模型四部分组成。当使用者发音时（按照韵母次序发音），与视觉装置结合的收音麦克风依靠发音捕捉系统检测声音，并将它传导到计算机内。计算机接收后，对该声音信号进行分析，并从预设好的音频库中寻找并播放匹配的发音与动画。同时，触觉装置中的内置收音器也会将声音信号转化为电信号，再将其导入装置内的芯片上，并从预设好的音频库中寻找匹配的音频震动。
nlc202211231102
三、结语
《以我的名字呼疚摇肺听障儿童提供了沉浸、放松的游戏式学习空间，通过视觉和触觉刺激引导听障儿童发音。除此之外，创造性地将诱导、纠正机制引入听障儿童学习发音的教学过程中，以期缓解听障儿童发音教育目前面临的儿童学习积极性不强且师资不足等问题， 为听障儿童学习发音的沉浸式互动设计提供了新的思路。
注释：
[1]World Health Organization.The World Report On Hearing[R/OL].（2O21―O3―O3）[2O22―O5―13]. https：//www.who.int/publications/i/item/world- report―on―hearing.
[2]"语言治疗师"是指拥有语言治疗专业公认的文凭或学位的人。（在一些国家，言语治疗是听力学训练的一部分。）
[3]WALKER R. The Effects Of Culture， Environment， Age， And Musical Training On Choices Of Visual Metaphors For Sound[J].Percept Psychophys，1987：491―502.
[4]YEUNG J， JAVIDNIA H， HELEY S， BEAUREGARD Y， CHAMPAGNE S， BROMWICH M. The New Age Of Play Audiometry： Prospective Validation Testing Of An Ipad―Based Play Audiometer[J]. J Otolaryngol Head Neck Surg，2013 ，42⑴：21.
[5]CANO S， FLOREZ-ARISTIZABAL L， COLLAZOS CA， FARDAOUN H， ALGHAZZAWI DM. Designing Interactive Experiences for Children with Cochlear ImplantJ]. Sensors （Basel）， 2018：7.
[6]同[5]，第9页。
[7]余妍."晓语"――面向听觉障碍者的服务应用设计[D].清华大学，2013.
[8]莫小慧.听障者AR眼镜应用的视觉界面设计与研究[D].华南理工大学，2019.
[9]周玉翠，吴杨，韩梅.针对听障儿童移动终端心理理论游戏设计研究J].艺术与设计（理论），2020，2（11）：99―102.
[10]易海燕，李永勤，孙莉，王莎.1-3岁听障儿童构音特征研究J].中国听力语言康复科学杂志，2017，15（4）：272.
[11]余陈美，李雨薇，杨震，吴琴.基于弱听障用户的声音可视化互动研究与设计――See Your Voice[C]//.工业设计研究（第六辑），2018：229―234.
[12]肖瑞雪，郑权.多媒体课件中插图对听障儿童阅读影响的眼动研究J].现代教育技术，2013，23（3）：45―49.
[13]泛灵论（animism），又名"万物有灵论"，后来被广泛解释为泛神论。万物有灵论认为天下万物皆有灵魂或自然精神，并在控制间影响其他自然现象。倡导此理论者认为自然现象与精神也深深影响人类社会行为，一棵树和一块石头都跟人类一样，具有同样的价值与权利。
[14]曹娟，庄玉，张新立.96名听障学生颜色偏好的研究 J].中国校医，2011，25（1）：3―5.
[15]王钟斐，王彪.基于时频分布的汉语语音关键频率分布研究J].电子设计工程，2011，19（10）：14―18.
nlc202211231102
转载注明来源:https://www.xzbu.com/1/view-15442447.htm
