【开发者故事】第10期：黑客松冠军，为听障儿童推开一扇“有声的窗”-4008云顶国际网站

今年4月，有一个名叫niubility的团队，在新加坡走红。他们参与了华为云spark hackathon singapore 2022大赛，在华为云云原生数据库gaussdb(for mysql)的基础上构建了“deaftalk”这款应用，并在将近500名参赛者中脱颖而出，斩获大赛总冠军。

顾名思义，deaftalk是一款听觉-语言治疗助手。它以趣味性的方式，训练并纠正听障儿童的发音，辅助治疗师对患者进行听障治疗，最终目标是促进听障儿童与外界的人际沟通。

niubility成功地将现有的研究与国际音标（ipa）结合到一个应用中，希望用科技为特殊人群创造更好的世界。

听力障碍让儿童语言的形成变得十分困难。人们在说话时，其实无时无刻不在自己耳朵的监听之下。儿童的咿呀学语也是“边听边说”的过程，如果听不到自己的发音，就很难判断说话的效果。而且如果在6-12岁适合进行听觉语言治疗的黄金时期，没有及早干预和采取康复训练，听障儿童将慢慢地失去模仿和学习语言的机会，长大以后也就无法如常人般交流。

但在现实中，听觉语言治疗却并非易事。

以新加坡为例，口语康复训练每小时的费用高达200新币以上，约等于1000元人民币。而这样的治疗需要持续将近十年的时间，高昂的治疗费用是很多家庭难以承受的。

其次，在传统的口语康复训练中，需要治疗师、失聪儿童和家长三方共同进行，家长需掌握专业训练的方法，并在日常生活中抽出大量时间辅助孩子完成训练。

此外，康复治疗的过程单调而冗长。哪怕对于正常孩子来说，长时间进行语言训练都是一个艰巨的任务。对于失聪儿童来说，学习效率更低。

如何在语言发展的关键期，改进康复方法，让康复过程更容易被接受、更高效，是相关从业者一直思考的问题。niubility团队的两名成员——新加坡国立大学计算机科学专业的胡家俊和张之尧，也希望能够借助云计算的力量，帮助听障儿童更便捷、更高效地获取专业训练。

当前，大多数的治疗师仍在用传统的方式为听障儿童制定康复方案。而经过长时间调研的胡家俊、张之尧认为，图像识别、自然语言处理等ai技术，能够更科学地辅助治疗师，纠正听障儿童的发音。因此他们设计了deaftalk这一方案。

deaftalk最大的特点在于，它能精准分析听障儿童发音不准确的问题，进而精准地提供改善建议，并且以游戏化的方式，引导听障儿童通过持续性训练不断改善发音。

具体到每一项功能，deaftalk首先是一款手机应用，是一个简单易用的手机app。张之尧分享道，这款app是和治疗师的治疗绑定在一起的。治疗师可在线安排课程，比如对某个单词、某个句子进行针对性的训练。

而在患者一端，app提供口语发音视频给到听障儿童学习，在听障儿童模仿的过程中，对其口型进行口腔识别和3d模型比对、对其发音进行语音识别，从而实现一边学习、训练，一边进行语音识别反馈。训练完成后，所有的数量和反馈结果会反馈给治疗师进行分析。

通过这个过程，我们可以看出deaftalk的两个特性：

• 一是基于手机应用提供治疗服务，简单易用，方便儿童学习；

• 二是训练可视化，根据实时图像反馈提供3d口腔指导，以及通过教程视频提供指导。

deaftalk还极大地增强了学习的趣味性，可以通过游戏训练对儿童进行发音训练。比如，在"jump for fun"小游戏中，听障儿童根据提示对指定单词进行发音，如果发音准确，棋子将跳到下一个平台，一步步升级。游戏不仅扩展了听障儿童的词汇量，而且训练了他们的发音准确性。

在手机端游戏基础上更进一步，deaftalk还设置了名为 "cube-hub"的实体游戏，不仅包括软件功能，还有硬件设备。根据app所提供的单词，听障儿童需要组合给定的国际音标。如果排序、拼写正确，"cube-hub"将反馈笑脸，表示儿童拼写正确。

niubility团队之所以能一举拿下“spark hackathon singapore 2022”的冠军，跟deaftalk的实际落地情况密不可分。

niubility团队与一位听障朋友ku yanwei进行了长时间的合作与多轮的测试，并且多次进行了超过100位测试者的beta-testing，最终完成了deaftalk的研发。目前niubility团队也在和一些本地ngo合作，帮助听障儿童集体进行训练，在大大降低康复成本的同时，还能提高康复效率。让接受专业听觉语言治疗的过程，就像在手机上订阅歌曲一样简单。

创新者的路都是困难而孤独的。

niubility团队在研发deaftalk的时候也遇到了诸多难题，包括市场上没有相关参考、app开发的技术支撑问题，以及深度学习缺少数据量的问题等等。

张之尧说：“我们需要不断地去跟社区和ngo合作，进而不断提高产品的准确率。”并且从产品设计之初，niubility团队就采用了华为云gaussdb。

张之尧说：

“deaftalk的数据存储和处理采用了华为云gaussdb(for mysql)，即开即用，可轻松上手，免去了部署和管理数据库的繁琐，让我可以更专注于应用的创新和实现；

其高性能、高可靠、高可用、高扩展、应用透明以及容灾能力，也让我可以更好地规划产品未来的商业拓展，不用担心因为用户数和数据量的爆发式增长而带来的数据处理能力以及安全挑战。

而且gaussdb(for mysql)100%兼容mysql生态，让整个数据库开发搭建过程非常顺利。”

如今，deaftalk已经综合运用了包括gaussdb、obs、ecs等在内的华为云产品，niubility团队把deaftalk 的整个系统和生态都放在了华为云上面。在未来的规划里，团队将持续更新算法，采用saas订阅模式，提供给治疗师、听障儿童以及合作的ngo来使用，他们还将基于华为云去完善每一个细小的功能。

虽然，未来的路上仍然会遇到很多困难，但niubility团队坚信，在华为云的加持下，在社会各界的鼓励下，他们将不忘初心，继续前行，怀着赤诚之心，为更多听障儿童推开一扇“有声的窗”。

*本文转载自公众号：略懂的小咖