芥末堆 小筱  11月14日 報(bào)道

11月14日，在以“碰撞·演變”為主題的GET2018教育科技大會(huì)“K12教育科技企業(yè)的‘軍備競(jìng)賽’ ”分論壇上，馳聲科技首席科學(xué)家沈來(lái)信發(fā)表了題為《AI+K12語(yǔ)言教育，還有多少想象空間》的主題演講。

沈來(lái)信從智能語(yǔ)音技術(shù)如何能更好的服務(wù)K12的教學(xué)場(chǎng)景？AI在K12的語(yǔ)言教育里面除了評(píng)測(cè)還能做什么等問(wèn)題進(jìn)行分析，并分享了馳聲科技未來(lái)的打算。

以下是演講內(nèi)容實(shí)錄：

人工智能這兩年非常的火熱，但是今年下半年開(kāi)始有一點(diǎn)降溫。大家開(kāi)始理性的思考，應(yīng)該講人工智能還是像前面幾位嘉賓講的一樣，它僅僅是一個(gè)技術(shù)，它應(yīng)該是沒(méi)有能力取代、顛覆我們的教育的。所以我們要根據(jù)我們的內(nèi)容和技術(shù)結(jié)合在一起，形成一個(gè)很好的產(chǎn)品。

馳聲是專(zhuān)注于語(yǔ)音評(píng)測(cè)的，從2008年開(kāi)始到現(xiàn)在將近有十年的經(jīng)歷了。我們從2007年的中文的發(fā)音能力評(píng)測(cè)到2008年無(wú)插件聲調(diào)的評(píng)測(cè)以及英文發(fā)音能力評(píng)估，到后面的音素、重音、單詞和句子等等。一直到2013年的時(shí)候有相應(yīng)的發(fā)音能力評(píng)估以及2015年支持微信和英語(yǔ)表達(dá)能力的評(píng)估，主要是立足于口語(yǔ)這一塊的評(píng)測(cè)和反饋。

目前我們服務(wù)的客戶(hù)有132個(gè)國(guó)家和地區(qū)，每年會(huì)有500萬(wàn)以上小時(shí)的錄音數(shù)據(jù)，800萬(wàn)臺(tái)的離線評(píng)測(cè)的PC、手機(jī)、ipad的離線評(píng)測(cè)。我們服務(wù)的客戶(hù)包括像培訓(xùn)行業(yè)，出版行業(yè)，還有互聯(lián)網(wǎng)智能設(shè)備、智能軟件以及教育、政府機(jī)構(gòu)。

我們一直在思考，智能語(yǔ)音技術(shù)如何能更好的服務(wù)K12的教學(xué)場(chǎng)景，所以這里面我們定義了三個(gè)場(chǎng)景：正式考試環(huán)境下如何根據(jù)人工定標(biāo)的數(shù)據(jù)，它的標(biāo)準(zhǔn)進(jìn)行自動(dòng)的評(píng)分，我們提供了一個(gè)AMS，目前已經(jīng)服務(wù)了多個(gè)地區(qū)；在考輔里面，有備考和?？嫉沫h(huán)境，要輔助校園的測(cè)試，提供了一個(gè)CESE的評(píng)測(cè)和考試的標(biāo)準(zhǔn)；在課外，包括學(xué)生在家庭里自學(xué)進(jìn)行的一些單詞、句子、段落、發(fā)音、能力的評(píng)估。

AI在K12的語(yǔ)言教育里面除了評(píng)測(cè)還能做什么？目前我們可以進(jìn)行打分，性能也是超越了人工的評(píng)分，在業(yè)界同行里面具有相當(dāng)?shù)母?jìng)爭(zhēng)層次。在評(píng)測(cè)的基礎(chǔ)上還能做什么呢？在客戶(hù)使用過(guò)程中我們發(fā)現(xiàn)，大量用戶(hù)發(fā)音的時(shí)候總是不斷的犯錯(cuò)，有的學(xué)生反饋“我的孩子都快讀哭了還讀不到滿分”；有的孩子說(shuō)“今天讀不到一百分就不睡覺(jué)”，因此不斷的讀，但是不斷的犯同樣的錯(cuò)誤。因此我們提出了這樣一個(gè)路線，不光提供評(píng)分的情況，而且要給它進(jìn)行診斷，發(fā)現(xiàn)他在哪個(gè)位置發(fā)生了錯(cuò)誤，以及如何糾正，給出一個(gè)反饋和指導(dǎo)，我們根據(jù)這個(gè)路線進(jìn)行研發(fā)技術(shù)和產(chǎn)品，真正做到了以評(píng)促教、以評(píng)促學(xué)。

我們?cè)谌ツ暌荒曛饕趦蓚€(gè)方面有開(kāi)創(chuàng)性的成果，完成了從評(píng)測(cè)到診斷，到指導(dǎo)反饋的閉環(huán)，發(fā)布了兩項(xiàng)開(kāi)創(chuàng)性的技術(shù)。

發(fā)音糾錯(cuò)檢錯(cuò)的功能。目前我們市場(chǎng)上有些可以替換的錯(cuò)誤，有讀錯(cuò)的檢測(cè)，這也是有產(chǎn)品的，但是有些多讀和漏讀的錯(cuò)誤現(xiàn)在是沒(méi)辦法檢測(cè)出來(lái)的。因此我們構(gòu)建了一個(gè)擴(kuò)展網(wǎng)絡(luò)的形式，可以支持任意單詞的音素級(jí)插入、刪除和替換錯(cuò)誤。我們這種網(wǎng)絡(luò)是在lab，三個(gè)音素的情況下，任何一個(gè)音素的前后都可以任意的插入也可以刪除，而且也可以替換這三個(gè)錯(cuò)誤。目前評(píng)分的性能是比較高的。

這是一個(gè)音素級(jí)的分析，match如果發(fā)音錯(cuò)誤會(huì)有相應(yīng)的提示，有相應(yīng)的指導(dǎo)，怎么樣正確的發(fā)音。整個(gè)評(píng)分會(huì)更加準(zhǔn)確，以擴(kuò)展網(wǎng)絡(luò)的形式；診斷更細(xì)致，在音素級(jí)別發(fā)現(xiàn)學(xué)生的發(fā)音規(guī)律；指導(dǎo)更有效，可以對(duì)他有針對(duì)性的進(jìn)行指導(dǎo)，特別是易混淆音的發(fā)現(xiàn)，讓用戶(hù)不斷的練習(xí)，提高在這方面的辨別能力；相應(yīng)的報(bào)告進(jìn)行呈現(xiàn)，對(duì)他進(jìn)行綜合能力的評(píng)估。這是英文發(fā)音糾錯(cuò)的閉環(huán)情況。

第二個(gè)是我們?cè)谠u(píng)分的時(shí)候，在考試系統(tǒng)里和校園版的考輔系統(tǒng)里面發(fā)現(xiàn)，以前都是通過(guò)定標(biāo)數(shù)據(jù)進(jìn)行黑盒的評(píng)分，用一個(gè)邏輯回歸的方式或者是SVR的方式擬合一個(gè)分?jǐn)?shù)，但是并不清楚分?jǐn)?shù)整個(gè)擬合的過(guò)程。因?yàn)槲覀儗?duì)于很開(kāi)放型的題目，從總分里面分出了四個(gè)維度，包括內(nèi)容的得分、發(fā)音的得分、語(yǔ)法的得分、流利度的得分。在內(nèi)容得分里面包含了說(shuō)的內(nèi)容、主題、關(guān)鍵詞等進(jìn)行相似度的計(jì)算。發(fā)音會(huì)根據(jù)發(fā)音的特征，提取他的特征，經(jīng)過(guò)一個(gè)擬合的公式，擬合出他的發(fā)音來(lái)。

得到這四個(gè)維度以后我們也不再用以前的，直接是現(xiàn)象級(jí)的方式擬合了。用（樂(lè)貝格）的方式進(jìn)行公式化的擬合，讓擬合方式更加透明。目前這個(gè)性能遠(yuǎn)遠(yuǎn)高于以前的基于特征直接擬合總分的情況。這個(gè)好處是不僅性能提升了，而且為后期打下了一個(gè)伏筆。目前我們?cè)谶@四個(gè)維度上都在繼續(xù)往下做，對(duì)應(yīng)著診斷和反饋，你的語(yǔ)法錯(cuò)在什么位置、什么類(lèi)型，應(yīng)該糾正成什么樣的類(lèi)型。

這是第二個(gè)，里面結(jié)合了研發(fā)的一些技術(shù)，詞嵌入技術(shù)、句法解析、GOP算法等等。目前支持開(kāi)放題型包括口語(yǔ)作文、看圖說(shuō)話、翻譯等等。最主要的特點(diǎn)是自適應(yīng)的評(píng)分標(biāo)準(zhǔn)。不同的地區(qū)對(duì)這四個(gè)維度有不同的側(cè)重點(diǎn)，根據(jù)定標(biāo)數(shù)據(jù)可以學(xué)習(xí)到在每個(gè)維度上的特征、每個(gè)維度上的權(quán)重。根據(jù)這個(gè)權(quán)重?cái)M合出一個(gè)比較適合該地區(qū)的評(píng)分標(biāo)準(zhǔn)，所以整個(gè)擬合過(guò)程會(huì)更加透明。

我們?cè)谡Z(yǔ)音識(shí)別和評(píng)測(cè)的基礎(chǔ)上會(huì)做很多基礎(chǔ)研究，會(huì)做一些聲學(xué)模型的改進(jìn)。主要是為了識(shí)別更加準(zhǔn)確，這里面使用了深度學(xué)習(xí)的架構(gòu)，包括DNN、TDNN、傳感識(shí)網(wǎng)絡(luò)、LSTM、GRU等等，我們?cè)黾恿艘恍╅T(mén)機(jī)制、注意力網(wǎng)絡(luò)等等，去提升它的性能，這是一個(gè)長(zhǎng)期要做的工作。

 第二個(gè)是在遷移學(xué)習(xí)的應(yīng)用。我們?cè)谝粋€(gè)新的地區(qū)，在不同的應(yīng)用環(huán)境下如何能夠快速的做當(dāng)?shù)鼗谏倭繕?biāo)注數(shù)據(jù)的聲學(xué)模型的自適應(yīng)呢？就用遷移學(xué)習(xí)的方式完成，用權(quán)重遷移和模型遷移，可以很快速的在一個(gè)新地區(qū)完成語(yǔ)音識(shí)別的部署。

第三個(gè)是數(shù)據(jù)聲學(xué)的篩選，我們以前需要標(biāo)數(shù)據(jù)，現(xiàn)在不需要標(biāo)數(shù)據(jù)了，它的文本都不再標(biāo)了。采用數(shù)據(jù)篩選的方式進(jìn)行處理，這里會(huì)基于基于置信度和解碼網(wǎng)絡(luò)的方式篩選數(shù)據(jù)。前期我們?cè)谀车貐^(qū)有三千小時(shí)的考試數(shù)據(jù)，通過(guò)這個(gè)網(wǎng)絡(luò)選擇了900小時(shí)的很高質(zhì)量的數(shù)據(jù)可以完成該地區(qū)的升學(xué)模型的自訓(xùn)練，可以快速的匹配我們的產(chǎn)品。

第四個(gè)我們也會(huì)做一些工作，包括音標(biāo)和音素的自動(dòng)生成，有些產(chǎn)品會(huì)需要根據(jù)考生的文本自動(dòng)的生成對(duì)應(yīng)的音素序列，還有出版社希望所有的單詞給出它的音標(biāo)序列。目前采用的是G2P的模型，給出一個(gè)文本，自動(dòng)的這兩方面的生成。這是第三個(gè)方面的一些研究。

在最后我們分享一點(diǎn)AI+K12的語(yǔ)言教育，最終我們未來(lái)還有哪些打算？通用識(shí)別這一塊會(huì)繼續(xù)加強(qiáng).這里會(huì)擴(kuò)展到一個(gè)智能問(wèn)答，在各種環(huán)境下我們希望做一種智能問(wèn)答的場(chǎng)景.這里面就涉及到通用識(shí)別的情況；評(píng)分里面有答案的自動(dòng)生成、自動(dòng)擴(kuò)展提高評(píng)分性能。

語(yǔ)音的自動(dòng)分類(lèi)，我們期望基于不同的地區(qū)、不同的人群自適應(yīng)一個(gè)評(píng)分標(biāo)準(zhǔn)，大中小城市他們之間的評(píng)分標(biāo)準(zhǔn)還是略有差異的，我們希望它在本地區(qū)進(jìn)行同地區(qū)的評(píng)比、評(píng)測(cè)、能力的評(píng)估。

虛擬教師的情況，啟用一個(gè)一對(duì)一的教學(xué)環(huán)境，在對(duì)話的過(guò)程中進(jìn)行發(fā)音的、語(yǔ)法的、流利度等方面的指導(dǎo)和反饋，讓學(xué)生進(jìn)行自由的交互。特別是基于圖像、基于語(yǔ)音、自然語(yǔ)言的三種方式。像作業(yè)幫手一樣，幫助學(xué)生進(jìn)行課外的輔導(dǎo)和智能問(wèn)答。

我們希望擴(kuò)展自適應(yīng)學(xué)習(xí)的架構(gòu)，目前我們基于知識(shí)圖譜做各個(gè)年級(jí)，學(xué)生在詞匯、語(yǔ)法、聽(tīng)力、閱讀和寫(xiě)作等五個(gè)維度上所具有的能力，然后進(jìn)行橫向和縱向的擴(kuò)展。

總的來(lái)說(shuō)，還是我們前面說(shuō)的，人工智能目前也是發(fā)展的比較快速，在圖像、語(yǔ)音、自然語(yǔ)言上都有很大的突破，因此它會(huì)給我們帶來(lái)很大的動(dòng)力。但是我們一直認(rèn)為，內(nèi)容是更加接近于我們教育的，讓技術(shù)成為內(nèi)容的好幫手，形成一個(gè)好的產(chǎn)品去提高學(xué)生的個(gè)性化學(xué)習(xí)以及自適應(yīng)學(xué)習(xí)的基于興趣的、基于單體的學(xué)習(xí)機(jī)制，讓我們開(kāi)發(fā)出比較適應(yīng)于學(xué)生的個(gè)性化方式的一種產(chǎn)品出來(lái)。我們也希望技術(shù)、產(chǎn)品和內(nèi)容能夠很好的結(jié)合，最后形成一個(gè)相應(yīng)的結(jié)果。

點(diǎn)此查看所有嘉賓精彩分享