2月20日，英偉達(dá)宣布推出AI手語學(xué)習(xí)工具Signs。

有數(shù)據(jù)顯示，在美國，美國手語（American Sign Languge）是第三大普遍使用的語言，但利用美國手語數(shù)據(jù)開發(fā)的AI工具的數(shù)量卻遠(yuǎn)遠(yuǎn)少于其他常用語言的工具數(shù)量。這也是Signs平臺誕生的原因。

Signs平臺在網(wǎng)頁端運行，由英偉達(dá)與美國聾兒協(xié)會（American Society for Deaf Children）和創(chuàng)意機構(gòu)Hello Monday共同開發(fā)，供用戶免費使用。

“大多數(shù)聾兒父母的聽力都是正常的。為聾兒的家庭成員提供像Signs這樣的便捷工具，讓他們盡早開始學(xué)習(xí)手語，可以幫助他們與6至8個月大的兒童建立有效的溝通渠道?！泵绹@兒協(xié)會執(zhí)行董事Cheri Dowling說?！岸?，由于知道專業(yè)的美國手語教師已經(jīng)驗證了平臺上的所有詞匯，用戶大可對自己所學(xué)內(nèi)容的質(zhì)量放心?！睋?jù)了解，目前平臺上有100個手語詞匯。

官方演示視頻中，手語學(xué)習(xí)者可以模仿3D虛擬形象展示的手勢動作教程進行學(xué)習(xí)，學(xué)習(xí)者的動作會顯示在屏幕右半部分，平臺會用AI工具實時接收學(xué)習(xí)者手勢的反饋，比如識別學(xué)習(xí)者手掌所在的位置。

Signs使用演示

為了更好地指引初學(xué)者，學(xué)習(xí)者的視頻框中會顯示手指的位置、手勢動作軌跡，以及手應(yīng)該放的位置。比如在學(xué)習(xí)Hello的手語時，用戶跟著數(shù)字人的提示，先展開手掌，向手掌方向彎曲大拇指，把自己的手放在藍(lán)色手掌的位置，學(xué)習(xí)者跟著藍(lán)色手掌的軌跡向遠(yuǎn)離身體的方向小幅度輕揮手掌。當(dāng)兩個手掌匹配上時，會出現(xiàn)匹配成功的音效。數(shù)字人通常會要求學(xué)習(xí)者練習(xí)兩至三遍。

雖然Signs目前主要關(guān)注每個手勢的動作和手指位置，但手語學(xué)習(xí)還需要結(jié)合面部表情和頭部動作來傳達(dá)含義。Signs團隊正在探索如何在之后的版本中追蹤、整合這些非手勢信號。

團隊還在研究如何在Signs中呈現(xiàn)其他細(xì)微差別，如地區(qū)差異和俚語，以豐富手語學(xué)習(xí)數(shù)據(jù)庫，此外還與羅徹斯特理工學(xué)院無障礙和包容性研究中心的研究人員合作，評估和進一步改善Signs平臺的用戶體驗。

選擇Record Signs可進入數(shù)據(jù)收集頁面

英偉達(dá)開發(fā)Signs的目的不僅僅是教手語，還包括收集更多的手語數(shù)據(jù)。任何水平的手語學(xué)習(xí)者都可以通過用手勢表達(dá)特定詞語來擴充數(shù)據(jù)集。Record Signs頁面會顯示平臺需要收集數(shù)據(jù)的相關(guān)詞匯，用戶可錄制自己的手語視頻并上傳。

英偉達(dá)的目標(biāo)是將數(shù)據(jù)集擴大到40萬個視頻片段和1000個手語單詞，并由流利的手語用戶和翻譯人員進行驗證，以確保每個手語的準(zhǔn)確性，從而生成高質(zhì)量的視覺詞典和教學(xué)工具。

英偉達(dá)團隊計劃利用該數(shù)據(jù)集進一步開發(fā)AI應(yīng)用程序，以打破聾人和聽障人士之間的溝通障礙。

這些數(shù)據(jù)資源將于今年晚些時候向公眾開放，用于構(gòu)建易于訪問的技術(shù)，包括AI agents、數(shù)字人類應(yīng)用程序和視頻會議工具，還能用于增強Signs平臺和其他手語學(xué)習(xí)平臺。