新西兰研发手语机器人 助失聪毛利人重返毛利世界

奥克兰大学(University of Auckland)的机器人与语言研究人员正在为Turi Māori(失聪的毛利人)开发一款机器人手语翻译器。

该项目由Dr Ho Seok Ahn与Dr Tauwehe Tamati主导,使用一套建立在毛利世界观(Te Ao Māori)基础上的手语,可被翻译成文字和口语。这些手语是与Turi Māori、whānau(家人)、Iwi(部落)及Hapū(分支部落)合作开发的。

「我知道要把创造一种新语言涉及的所有线索汇集起来,需要一套方法论,」在这个项目上与Iwi和Hapū合作了五年的Tamati说。

Tamati能说流利的毛利语(Te Reo Māori)和英语,她曾与父亲一起使用两种语言以及家庭内部手语交流。她的父亲大半生听力不佳,晚年20年完全失聪。

「我们的爸爸在Te Ao Māori中长大。他知道自己是毛利人,是我们pā(部落聚居地)里的一个勤劳的人。marae(部落聚会场所)上的文化、社会与集体生活不断强化着他的身份认同和归属感,」Tamati说。

然而随着时间推移,他不再去pā,也不喜欢亲戚上门。

「我们会找借口,因为他耳聋。我们没办法帮他渡过那个阶段。所以当我的工程学同事找我谈这个项目时,我想到了爸爸,就说:我要为爸爸做这件事。」

「对我来说,这从来不只是语言的问题。而是:如果你听不见,一种语言要如何支撑你的身份认同?」——Dr Tauwehe Tamati,电气、计算机与软件工程系

毛利文化中蕴含丰富的waiata(歌谣)、haka(战舞)、tauparapara(吟诵)和pūrākau(祖先叙事):这些故事承载着代代相传的价值观与理念。

在与Iwi和Hapū的交流中,Tamati听到他们担忧失聪的whānau因缺乏机会接触Te Ao Māori的mātauranga(知识),而与之脱节,只能局限在核心家庭内。Tamati说,不同Iwi和Hapū都在讲述着关于各自Turi Māori亲人的同样处境。

「我们想要他们回来,想让他们知道自己是谁。我们的故事讲述了祖先的伟大事迹,这些都是可以从中获得力量与鼓舞的。」

「这从来都不只是语言的问题,尽管我的博士学位是语言学,」Tamati说,「而始终是:如果你听不见,一种语言要如何支撑你的身份认同?」

这种思考促使Tamati为这个项目发展出一套研究方法论——「Whakamana Mātauranga」,意为赋予毛利知识(Mātauranga Māori)表达与话语权。

这套以参与和包容为核心的Whakamana Mātauranga方法论,汇集了三语翻译人员、Turi Māori及其大家庭,共同为选定的祖先叙事设计手语。

手语设计完成后,下一步是教会技术如何呈现人们表达手语时的样貌和感觉。

「面部表情、双手动作、头部位置——这相当于口语中的语调、音高和音量,」Tamati说。

研究人员为毛利手语示范者拍摄照片和视频,以捕捉沟通中的不同元素,包括情绪、唇部动作、姿态和习惯动作。摄像头和动作传感器记录了这些动作和表情,计算机视觉与唇读技术则提供了额外信息。

一套名为「加权多模态网络」(Weighted Multimodal Network)的先进人工智能系统,将这些不同的信息流整合起来,帮助系统理解手语的含义与细微差别。

这些信息帮助Dr Ho Seok Ahn及其团队开发出相关技术:能够识别毛利手语,并通过手语、文字和口语进行交流与教学的机器人。

这些机器人目前已在研究实验室内完整建成并投入运作,包括身高接近成年人平均水平的人形机器人、一款专为小学生设计的机器人,以及一款供kōhanga reo(毛利语幼儿园)和幼教中心使用的小型机器人。

该技术的定位是为Turi Māori提供额外的资源,而非取代人工翻译。

该项目五年前作为「科技创新国家科学挑战」(Science for Technological Innovation National Science Challenge)下的一个种子项目启动,并获得Vision Mātauranga Fund的额外支持。2024年,团队通过政府Endeavour Fund下的Smart Ideas计划获得100万纽币(NZ$1 million)拨款,用于在三年内扩大该技术的规模。

这项研究的最终目标,是为Turi Māori消除沟通障碍,并打造可对外输出、在非语言互动中保存原住民理念的高度先进数字系统。

对Tamati而言,这意味着帮助Turi Māori重新回归Te Ao Māori。

「这是在支持他们找到归属感,是在帮助他们重新连接——把他们带回家,让我们社区、我们Iwi、我们Hapū里每一个天生失聪的孩子,都能感受到被接纳。」