芥末堆 11月15日東耳 報(bào)道

在以“共建·讓更好的教育來得更快”為主題的GET2017教育科技大會(huì)“學(xué)術(shù)發(fā)展論壇”上，慕華尚測CEO劉穎發(fā)表了“大數(shù)據(jù)與教育評(píng)價(jià)”的主題演講。

五六年前就在談大數(shù)據(jù)的概念，那個(gè)時(shí)候我去談這個(gè)概念覺得自己很高大上，因?yàn)檫€沒有太多的人知道大數(shù)據(jù)，尤其不知道大數(shù)據(jù)如何在評(píng)價(jià)當(dāng)中應(yīng)用。但是到今天，我們再看任何一家公司如果不談自己跟大數(shù)據(jù)、互聯(lián)網(wǎng)、人工智能做結(jié)合或者有這樣的基因，都會(huì)被鄙視。

因?yàn)槲覍W(xué)教育測量，天天算數(shù)據(jù)。在90年代，我覺得那個(gè)時(shí)候我們有很多大數(shù)據(jù)，為什么大家不提大數(shù)據(jù)，為什么到今天大家這么熱議大數(shù)據(jù)的概念？我想也許大數(shù)據(jù)時(shí)代最主要的特征，不僅僅是由于互聯(lián)網(wǎng)我們獲取數(shù)據(jù)的量可以迅速地增加，更重要的是我們處于大數(shù)據(jù)時(shí)代。最主要的標(biāo)記就我們已經(jīng)有了一種意識(shí)，包括很多的教育同行們，這個(gè)意識(shí)就是利用各種手段去采集、分析、應(yīng)用數(shù)據(jù)的意識(shí)。

但是大數(shù)據(jù)究竟對(duì)教育有什么樣的影響，因?yàn)槲乙恢笔亲鼋逃u(píng)價(jià)的，我想結(jié)合教育評(píng)價(jià)這個(gè)比較窄的領(lǐng)域談一談大數(shù)據(jù)在這個(gè)領(lǐng)域的應(yīng)用。大數(shù)據(jù)時(shí)代來了以后，教育評(píng)價(jià)發(fā)生了很大的變革，這其中體現(xiàn)在四個(gè)方面：

從注重終結(jié)性評(píng)價(jià)導(dǎo)向注重過程性的評(píng)價(jià)

從終結(jié)性評(píng)價(jià)到過程性評(píng)價(jià)到底是評(píng)價(jià)了一種什么樣的變革？在座各位有誰知道終結(jié)性評(píng)價(jià)的典型的考試是什么？高考。高考是終結(jié)性評(píng)價(jià)大家最熟知的一個(gè)代表。無論是中考、高考，它作為終結(jié)性評(píng)價(jià)最主要的目的是給一個(gè)水平的評(píng)定或者是做人才的選拔。你考了580分，我不在意你哪里對(duì)、哪里錯(cuò)，我只知道考了這個(gè)分?jǐn)?shù)，你能上什么大學(xué)，你能達(dá)到一個(gè)什么樣的等級(jí)。

在剛剛恢復(fù)高考到八九十年代的時(shí)候，更多注重的是結(jié)果性評(píng)價(jià)，因?yàn)槲覀兗夹g(shù)手段只能支撐我們做終結(jié)性的評(píng)價(jià)。但今天，由于互聯(lián)網(wǎng)、大數(shù)據(jù)、人工智能的發(fā)展，我們可以把評(píng)價(jià)同終結(jié)性的改變?yōu)槲覀兛梢杂迷u(píng)價(jià)來指導(dǎo)學(xué)生更優(yōu)化他的學(xué)習(xí)路徑，可以指導(dǎo)老師去提升他的教學(xué)質(zhì)量。

前兩天我們剛剛在四川德陽市完成了一個(gè)過程性評(píng)價(jià)的案例，四川德陽整個(gè)的教學(xué)能力，包括師資力量比北京還是要偏薄弱一些。

所以他們引入了過程性評(píng)價(jià)，就是從學(xué)生初一開始階段性的對(duì)學(xué)生進(jìn)行測試，進(jìn)行各種方式的評(píng)價(jià)手段的數(shù)據(jù)采集，之后給每一個(gè)學(xué)校、每一個(gè)班級(jí)、每一個(gè)老師、每一個(gè)學(xué)生相應(yīng)的評(píng)價(jià)報(bào)告。之后我們有專業(yè)人員給老師、校長講解這個(gè)學(xué)校從我們的數(shù)據(jù)里面看來，在哪些教學(xué)方面還薄弱，哪些數(shù)據(jù)顯示你們的教學(xué)手段可能還有提升的空間，進(jìn)而我們在引進(jìn)北京的一些比較好的專家團(tuán)隊(duì)，對(duì)他們進(jìn)行教學(xué)的指導(dǎo)和質(zhì)量提升的幫扶。

事實(shí)上這樣的過程性評(píng)價(jià)的案例，因?yàn)榻Y(jié)果我們還沒有完成看到，沒有最終足夠長的時(shí)間，但是我們可以看到，家長歡欣鼓舞，老師原來是非常沉悶的，現(xiàn)在變得非常激情高昂，因?yàn)樗麄冇X得我們通過這個(gè)評(píng)價(jià)，我們更好地了解了我的問題，所以他們更好地去提升或者是有了這樣的教學(xué)質(zhì)量提升的動(dòng)力。

所以這就是我們今天談的過程性的評(píng)價(jià)帶來的更多是反饋、診斷以及及時(shí)的調(diào)整。這是只有大數(shù)據(jù)、互聯(lián)網(wǎng)才能實(shí)現(xiàn)的。我們?nèi)绻诨ヂ?lián)網(wǎng)上學(xué)習(xí)的話，任何一個(gè)學(xué)生包括有些學(xué)校做翻轉(zhuǎn)課堂，都是學(xué)前測。學(xué)前測試以后給他匹配相應(yīng)的教師，找到問題點(diǎn)。進(jìn)而再給他推送向的學(xué)習(xí)內(nèi)容，在學(xué)習(xí)過程中我們進(jìn)行的過程性的評(píng)價(jià)，過程行為的數(shù)據(jù)搜集和評(píng)價(jià)，進(jìn)而形成學(xué)生活動(dòng)的數(shù)據(jù)庫和他測評(píng)的數(shù)據(jù)庫。

通過這樣的方式在不斷地迭代，給他推送的內(nèi)容、推送的試題、匹配的老師，使得整個(gè)互聯(lián)網(wǎng)的教育變成一個(gè)非常個(gè)性化、非常良性的運(yùn)轉(zhuǎn)的機(jī)制。這就是典型的過程性評(píng)價(jià)，而且是偏實(shí)時(shí)的過程性評(píng)價(jià)的一種模式。

學(xué)生的學(xué)業(yè)評(píng)價(jià)越來越高效和精準(zhǔn)

對(duì)于學(xué)生的學(xué)業(yè)評(píng)價(jià)現(xiàn)在大家探討的是最多的，因?yàn)槲医?jīng)常聽到很多企業(yè)說我們已經(jīng)把學(xué)生的學(xué)習(xí)的知識(shí)點(diǎn)拆到納米級(jí)，還有夸克級(jí)，也就是說現(xiàn)在由于互聯(lián)網(wǎng)大數(shù)據(jù)的技術(shù)，使得大家在學(xué)業(yè)上的評(píng)價(jià)可以達(dá)到很小的顆粒度，可以很容易地去診斷最小顆粒度上學(xué)生存在的學(xué)習(xí)的問題或者是薄弱點(diǎn)。這個(gè)要借助神經(jīng)網(wǎng)絡(luò)建立知識(shí)圖譜，通過構(gòu)建知識(shí)點(diǎn)之間的一個(gè)關(guān)聯(lián)，進(jìn)而通過知識(shí)點(diǎn)間的概率關(guān)系，通過某一個(gè)點(diǎn)就可以帶動(dòng)一個(gè)面，通過某幾個(gè)知識(shí)點(diǎn)就可以判斷其他知識(shí)點(diǎn)掌握的情況。

所謂的知識(shí)圖譜神經(jīng)網(wǎng)絡(luò)，不是所有的學(xué)科都可以構(gòu)建知識(shí)的神經(jīng)網(wǎng)絡(luò)的，他們之間未必都是這種神經(jīng)網(wǎng)絡(luò)的關(guān)聯(lián)。比如說語文學(xué)科，語文學(xué)科除了小學(xué)階段以知識(shí)為導(dǎo)向，在初中尤其是小高段，到初中高中段，基本上是能力導(dǎo)向的，所以很難去拆借所謂的知識(shí)點(diǎn)，再把它建立所謂的知識(shí)點(diǎn)的神經(jīng)網(wǎng)絡(luò)圖譜。

對(duì)于學(xué)業(yè)評(píng)價(jià)也是，像數(shù)學(xué)、物理、化學(xué)這種邏輯性比較強(qiáng)的，我們可以通過神經(jīng)網(wǎng)絡(luò)的技術(shù)提升評(píng)價(jià)的效率、精準(zhǔn)度，現(xiàn)在通過IRT技術(shù)+神經(jīng)網(wǎng)絡(luò)技術(shù)，還有認(rèn)知診斷技術(shù)，可以大大縮短我們對(duì)知識(shí)關(guān)聯(lián)度比較高的學(xué)科的診斷效率。但是對(duì)于特別知識(shí)點(diǎn)比較零散的，尤其是語文這樣的學(xué)科，可能要借助自適應(yīng)測試來解決測量的精準(zhǔn)度和效率的問題。

學(xué)生非學(xué)業(yè)的評(píng)價(jià)的手段變得更多元

認(rèn)知診斷的技術(shù)主要目是提升測量的精度和效率，更快、更精準(zhǔn)地診斷學(xué)生知識(shí)點(diǎn)或者是能力點(diǎn)存在的問題，但是做法是什么？以前我們評(píng)價(jià)最主要的是考試，任何一張卷子，我們是不分析70分和70分之間有什么差別，后來我們開始分析他們是有差別的，有的得70分是前面容易題錯(cuò)了，后面難題對(duì)了，有的是前面容易題對(duì)了，后面難題錯(cuò)了。這是有差別的。

后來我們又意識(shí)到每個(gè)試題上面是代表一個(gè)知識(shí)點(diǎn)的，我們可以精細(xì)地診斷到知識(shí)點(diǎn)，再后來我們發(fā)現(xiàn)很多的題目都是客觀選擇類的試題，他沒有選對(duì)選正確的選項(xiàng)，是不是意味錯(cuò)誤的選項(xiàng)就不能夠提供有效的證據(jù)和信息呢？其實(shí)不是如果我們把一道題設(shè)計(jì)好了，一共四個(gè)選項(xiàng)，有一個(gè)選項(xiàng)正確答案不說了，肯定掌握這個(gè)知識(shí)點(diǎn)或者是這兩個(gè)知識(shí)點(diǎn)，但是如果有一個(gè)ABC，假如說D是正確選項(xiàng)，那么ABC的設(shè)計(jì)該怎么設(shè)計(jì)？假設(shè)這道設(shè)計(jì)考兩個(gè)知識(shí)點(diǎn)，如果答D是AB都會(huì)，因?yàn)槭钦_答案，如果把A答案設(shè)計(jì)為A會(huì)B不會(huì)，是得出了A這個(gè)選項(xiàng)，如果B會(huì)A不會(huì)，是B這個(gè)選項(xiàng)，如果兩個(gè)都不會(huì)就是C這個(gè)選項(xiàng)，大家想一下是不是我們每個(gè)人的錯(cuò)誤的答案信息也過程了一個(gè)診斷推理要素？所以當(dāng)若干個(gè)ABC組合的題，以及答案給我們反饋的信息，我們就可以通過反饋信息矩陣，我們就能夠去推理，這個(gè)孩子可能在ABC三個(gè)知識(shí)點(diǎn)上哪個(gè)點(diǎn)存在問題。

所以目前來說，認(rèn)知診斷的技術(shù)其實(shí)它的根就是在試題的設(shè)計(jì)方面，原來有些專家把正確答案一寫，正確答案是4，A是1，B是2，C是3，沒有人會(huì)做出123這個(gè)答案，因?yàn)闆]有去真正思考怎么利用錯(cuò)誤選項(xiàng)。今天我們認(rèn)知診斷的技術(shù)更多地強(qiáng)調(diào)老師要去設(shè)計(jì)這個(gè)錯(cuò)誤答案，這就是這些年大家被炒的比較熱的，通過認(rèn)識(shí)診斷，通過自適應(yīng)的技術(shù)，通過神經(jīng)網(wǎng)絡(luò)的技術(shù)，如何來提高我們學(xué)業(yè)診斷的效率和精度。

大家比較強(qiáng)調(diào)大數(shù)據(jù)的顆?；?，比如說知識(shí)點(diǎn)的顆?；?、大數(shù)據(jù)的應(yīng)用，其實(shí)我特別要呼吁一點(diǎn)，教育的本質(zhì)是人，不是一個(gè)冷冰冰的機(jī)器。通過一個(gè)知識(shí)點(diǎn)拆的很細(xì)，發(fā)現(xiàn)你知識(shí)點(diǎn)不行，我給你推送知識(shí)點(diǎn)，你的成績就能變好。問題是這個(gè)人是很奇怪的一個(gè)動(dòng)物，我根本不想學(xué)，你給我推送再多再精準(zhǔn)的東西也不能幫我提升。

所以現(xiàn)在我們從教育測量或者是整個(gè)教育領(lǐng)域，我們更多地除了關(guān)注學(xué)生的智力因素、學(xué)業(yè)因素之外，在教育提升方面，學(xué)生的學(xué)業(yè)提升方面，還會(huì)更多地關(guān)注非學(xué)業(yè)的因素，比如說他的動(dòng)機(jī)、他的學(xué)習(xí)的興趣、學(xué)習(xí)的潛能，包括品德心理健康等。這是我們很大的一部分去影響他學(xué)業(yè)成績的影響因素。

因?yàn)椋髷?shù)據(jù)給我們提供了很多的這樣一個(gè)采集這一類數(shù)據(jù)的便利性和這樣的一個(gè)機(jī)會(huì)，包括我們采集這些信息以后可以進(jìn)行綜合的分析，比如說我們可以看到，現(xiàn)在有很多的生物反饋儀，有頭上帶著一個(gè)設(shè)備，我們就可以通過腦電波監(jiān)測學(xué)生、孩子的注意力的集中度、自控力。

同時(shí)，我們通過在線學(xué)習(xí)他的鼠標(biāo)滑的軌跡，停留的時(shí)長，一些行為的表現(xiàn)，我們可以去推斷，他對(duì)這一門線上課程的學(xué)習(xí)的興趣度到底是怎么樣。同時(shí)，我們還通過一些眼動(dòng)的監(jiān)測來看他的注意力、興趣度等。

其實(shí)在3個(gè)月前我們剛剛完成了西交大的一個(gè)項(xiàng)目，西安交大應(yīng)該怎么去選拔少年班的孩子，少年班的孩子因?yàn)樗麄兿喈?dāng)于初中生就要上大學(xué)了，所以對(duì)于他們的心理的素質(zhì)要求，承壓能力要求都是很高。所以，在這個(gè)考核過程中，我們引入了壓力測試的一個(gè)儀器，我們?nèi)ゲ杉瘜W(xué)生的精神上的壓力和心理壓力的指標(biāo)，這些數(shù)據(jù)我們也都可以采集過來。

再一個(gè)就是隨著互聯(lián)網(wǎng)技術(shù)的發(fā)展，我們可以把一些比較敏感的，像品德測試的測量。我們用360度的方式快速的解決，我們還可以通過互聯(lián)網(wǎng)、計(jì)算機(jī)來實(shí)現(xiàn)人格測驗(yàn)的，人格類、性格類測試的自適應(yīng)化。

這些都是我們說對(duì)于學(xué)生的非學(xué)業(yè)因素的評(píng)價(jià)，手段越來越多元，我們也越來越有意識(shí)的去采用各種不同的設(shè)備去采集相關(guān)的非學(xué)業(yè)的數(shù)據(jù)，目的只有一個(gè)，去找到真正影響這個(gè)孩子，不論是學(xué)習(xí)成績其是他的學(xué)業(yè)發(fā)展，整個(gè)最重要的因素是什么。

我們常聽一句話，“外因要靠內(nèi)因來起作用”，只有你把孩子真正的學(xué)習(xí)動(dòng)力、學(xué)習(xí)興趣把它激發(fā)了、調(diào)動(dòng)了你后邊所有所謂的診斷、推送才有意義，不然他沒有學(xué)習(xí)的動(dòng)力你推的再精準(zhǔn)也沒有用。

對(duì)于教師的評(píng)價(jià)也越來越立體化

原來我們只關(guān)注學(xué)生的學(xué)業(yè)表現(xiàn)，以及表示本身的能力跟態(tài)度的評(píng)估，但是現(xiàn)在有一塊已經(jīng)越來越熱門，課堂錄像的分析。教師的評(píng)價(jià)也進(jìn)入了一個(gè)過程性的評(píng)價(jià)，比如說我們在通過錄像的分析去解析學(xué)生在課堂中注意力的集中度，平均注意力集中的時(shí)長學(xué)生發(fā)言的積極性，學(xué)生回答問題的正確率等。

通過課堂行為的這些數(shù)據(jù)采集來加入到教師評(píng)價(jià)的這樣一個(gè)要素當(dāng)中，而課堂的整個(gè)分析已經(jīng)在教師評(píng)價(jià)中，越來越受關(guān)注，這個(gè)是我們說的教師的評(píng)價(jià)。

大數(shù)據(jù)確實(shí)對(duì)于我們評(píng)價(jià)影響很大，無論是學(xué)業(yè)的，非學(xué)業(yè)的教師的評(píng)價(jià)，然而互聯(lián)網(wǎng)、大數(shù)據(jù)對(duì)于教育的評(píng)價(jià)，真的不是萬能的。

很多公司說我有大數(shù)據(jù)，我可以怎么怎么樣，其實(shí)還有很多的時(shí)候，我也會(huì)跟一些朋友去辯論說，你看我們要采集數(shù)據(jù)到越小顆粒度，越好。然后我們要到他在家的練習(xí)的場景，隨時(shí)給他評(píng)價(jià)。

但是這里要小心，他在家里能夠很好地完成一道試題，你如何去屏蔽掉他的一些影響因素或者是數(shù)據(jù)的噪音，比如說是抄的還是家長幫他完成的，還是他花了很長時(shí)間的。因?yàn)檎嬲脑u(píng)價(jià)，一定是在規(guī)定的時(shí)間里面，規(guī)定的任務(wù)量，然后去評(píng)價(jià)你學(xué)業(yè)的表現(xiàn)或者是學(xué)科的表現(xiàn)。所以，這些噪音我們?nèi)绾伟阉帘蔚?？有些?shù)據(jù)的采集得出一些結(jié)論，我們要小心再小心，不是大數(shù)據(jù)專家、算法專家就可以顛覆教育。

所以，我這里有一個(gè)比較強(qiáng)烈的觀點(diǎn)，沒有教育學(xué)、測量學(xué)（至少是教育評(píng)價(jià)領(lǐng)域）的支撐，大數(shù)據(jù)沒有辦法實(shí)現(xiàn)建模，這個(gè)算法就很難發(fā)揮作用。

就像我們經(jīng)常聽的一個(gè)大數(shù)據(jù)的故事，說有一群大數(shù)據(jù)專家，他們的數(shù)據(jù)發(fā)掘、發(fā)現(xiàn)一個(gè)很有價(jià)值的信息，得糖尿病的人特別喜歡買冰箱，得糖尿病和買冰箱的人關(guān)聯(lián)度特別高，這個(gè)數(shù)據(jù)得出來數(shù)據(jù)專家怎么也沒有辦法去解釋，為什么得糖尿病的人特別喜歡買冰箱呢？后來隨便找來一個(gè)醫(yī)生，醫(yī)生就很好解釋這個(gè)問題，得糖尿病的人都要打胰島素，而胰島素的存儲(chǔ)必須要放在冰箱里。所以，你再去看看這個(gè)數(shù)據(jù)，而且他們買的肯定不是大冰箱，還是小冰箱，你再進(jìn)一步研究一下，果然如此。

其實(shí)這個(gè)例子說明了一個(gè)問題，我們光是講大數(shù)據(jù)，沒有基礎(chǔ)的教育原理、理論、測量理論的支撐，就算算出了這個(gè)大數(shù)據(jù)，也無法解釋它。所以，大家強(qiáng)調(diào)大數(shù)據(jù)的時(shí)候，我特別希望大家還要加強(qiáng)對(duì)教育的基本理論建模的學(xué)習(xí)。尤其是在做評(píng)價(jià)的時(shí)候，數(shù)據(jù)不在于大，有時(shí)候干凈比大還要重要，因?yàn)槿ピ胍暨@個(gè)難度還是比較大的，你沒有辦法屏蔽這些因素。

目前我們看到對(duì)于評(píng)價(jià)來說，有很多作文批改、閱卷，這對(duì)于目前的大數(shù)據(jù)來說還是一個(gè)難題，非文本數(shù)據(jù)的解析和識(shí)別依舊是存在的，尤其是中文，我們還是沒有辦法，還是要有一段時(shí)間去挑戰(zhàn)。

數(shù)據(jù)推論的錯(cuò)誤特別常見。我曾經(jīng)看過一個(gè)數(shù)據(jù)分析報(bào)告，他們調(diào)查了很多因素，然后把每一個(gè)因素跟學(xué)生的學(xué)業(yè)成績做相關(guān)，然后說跟姥姥、姥爺住在一起的孩子學(xué)業(yè)成績就好，直接做相關(guān)。其實(shí)我們要知道數(shù)據(jù)分析里面（我看到很多數(shù)據(jù)清洗、推論的問題），很多時(shí)候不是說你簡單做一個(gè)相關(guān)就能得出結(jié)論。而很多時(shí)候做大數(shù)據(jù)的人包括不是太精通大數(shù)據(jù)的人，會(huì)簡單地做一些錯(cuò)誤的推論，這也是我覺得應(yīng)該要去注意的一些問題，要把數(shù)據(jù)真正用透。

我們要感謝大數(shù)據(jù)，感謝人工智能，但是我們對(duì)大數(shù)據(jù)也不要頂禮膜拜，如果你做教育，你要把教育基礎(chǔ)的理論和信息搞扎實(shí)，如果你真要玩教育大數(shù)據(jù)，尤其是如果你要搞測評(píng)的話，你對(duì)測量學(xué)、數(shù)據(jù)分析、神經(jīng)網(wǎng)絡(luò)的算法等，這些都需要做全面的理解，不要以為有了大數(shù)據(jù)就是一切。