2月20日，英偉達(dá)宣布推出AI手語(yǔ)學(xué)習(xí)工具Signs。

有數(shù)據(jù)顯示，在美國(guó)，美國(guó)手語(yǔ)（American Sign Languge）是第三大普遍使用的語(yǔ)言，但利用美國(guó)手語(yǔ)數(shù)據(jù)開(kāi)發(fā)的AI工具的數(shù)量卻遠(yuǎn)遠(yuǎn)少于其他常用語(yǔ)言的工具數(shù)量。這也是Signs平臺(tái)誕生的原因。

Signs平臺(tái)在網(wǎng)頁(yè)端運(yùn)行，由英偉達(dá)與美國(guó)聾兒協(xié)會(huì)（American Society for Deaf Children）和創(chuàng)意機(jī)構(gòu)Hello Monday共同開(kāi)發(fā)，供用戶免費(fèi)使用。

“大多數(shù)聾兒父母的聽(tīng)力都是正常的。為聾兒的家庭成員提供像Signs這樣的便捷工具，讓他們盡早開(kāi)始學(xué)習(xí)手語(yǔ)，可以幫助他們與6至8個(gè)月大的兒童建立有效的溝通渠道?！泵绹?guó)聾兒協(xié)會(huì)執(zhí)行董事Cheri Dowling說(shuō)?！岸遥捎谥缹I(yè)的美國(guó)手語(yǔ)教師已經(jīng)驗(yàn)證了平臺(tái)上的所有詞匯，用戶大可對(duì)自己所學(xué)內(nèi)容的質(zhì)量放心?！睋?jù)了解，目前平臺(tái)上有100個(gè)手語(yǔ)詞匯。

官方演示視頻中，手語(yǔ)學(xué)習(xí)者可以模仿3D虛擬形象展示的手勢(shì)動(dòng)作教程進(jìn)行學(xué)習(xí)，學(xué)習(xí)者的動(dòng)作會(huì)顯示在屏幕右半部分，平臺(tái)會(huì)用AI工具實(shí)時(shí)接收學(xué)習(xí)者手勢(shì)的反饋，比如識(shí)別學(xué)習(xí)者手掌所在的位置。

Signs使用演示

為了更好地指引初學(xué)者，學(xué)習(xí)者的視頻框中會(huì)顯示手指的位置、手勢(shì)動(dòng)作軌跡，以及手應(yīng)該放的位置。比如在學(xué)習(xí)Hello的手語(yǔ)時(shí)，用戶跟著數(shù)字人的提示，先展開(kāi)手掌，向手掌方向彎曲大拇指，把自己的手放在藍(lán)色手掌的位置，學(xué)習(xí)者跟著藍(lán)色手掌的軌跡向遠(yuǎn)離身體的方向小幅度輕揮手掌。當(dāng)兩個(gè)手掌匹配上時(shí)，會(huì)出現(xiàn)匹配成功的音效。數(shù)字人通常會(huì)要求學(xué)習(xí)者練習(xí)兩至三遍。

雖然Signs目前主要關(guān)注每個(gè)手勢(shì)的動(dòng)作和手指位置，但手語(yǔ)學(xué)習(xí)還需要結(jié)合面部表情和頭部動(dòng)作來(lái)傳達(dá)含義。Signs團(tuán)隊(duì)正在探索如何在之后的版本中追蹤、整合這些非手勢(shì)信號(hào)。

團(tuán)隊(duì)還在研究如何在Signs中呈現(xiàn)其他細(xì)微差別，如地區(qū)差異和俚語(yǔ)，以豐富手語(yǔ)學(xué)習(xí)數(shù)據(jù)庫(kù)，此外還與羅徹斯特理工學(xué)院無(wú)障礙和包容性研究中心的研究人員合作，評(píng)估和進(jìn)一步改善Signs平臺(tái)的用戶體驗(yàn)。

選擇Record Signs可進(jìn)入數(shù)據(jù)收集頁(yè)面

英偉達(dá)開(kāi)發(fā)Signs的目的不僅僅是教手語(yǔ)，還包括收集更多的手語(yǔ)數(shù)據(jù)。任何水平的手語(yǔ)學(xué)習(xí)者都可以通過(guò)用手勢(shì)表達(dá)特定詞語(yǔ)來(lái)擴(kuò)充數(shù)據(jù)集。Record Signs頁(yè)面會(huì)顯示平臺(tái)需要收集數(shù)據(jù)的相關(guān)詞匯，用戶可錄制自己的手語(yǔ)視頻并上傳。

英偉達(dá)的目標(biāo)是將數(shù)據(jù)集擴(kuò)大到40萬(wàn)個(gè)視頻片段和1000個(gè)手語(yǔ)單詞，并由流利的手語(yǔ)用戶和翻譯人員進(jìn)行驗(yàn)證，以確保每個(gè)手語(yǔ)的準(zhǔn)確性，從而生成高質(zhì)量的視覺(jué)詞典和教學(xué)工具。

英偉達(dá)團(tuán)隊(duì)計(jì)劃利用該數(shù)據(jù)集進(jìn)一步開(kāi)發(fā)AI應(yīng)用程序，以打破聾人和聽(tīng)障人士之間的溝通障礙。

這些數(shù)據(jù)資源將于今年晚些時(shí)候向公眾開(kāi)放，用于構(gòu)建易于訪問(wèn)的技術(shù)，包括AI agents、數(shù)字人類應(yīng)用程序和視頻會(huì)議工具，還能用于增強(qiáng)Signs平臺(tái)和其他手語(yǔ)學(xué)習(xí)平臺(tái)。