芥末堆芥末堆

汪瓊:如何根據(jù)數(shù)據(jù)改進慕課質(zhì)量

作者:汪瓊 發(fā)布時間:

汪瓊:如何根據(jù)數(shù)據(jù)改進慕課質(zhì)量

作者:汪瓊 發(fā)布時間:

摘要:設(shè)計 MOOC=設(shè)計內(nèi)容傳遞策略+設(shè)計學(xué)習(xí)支持功能

1.jpg

汪瓊,北京大學(xué)教育學(xué)院教授,數(shù)字化學(xué)習(xí)研究中心主任
本文根據(jù)汪瓊教授 2017 年 1 月 14 日在“第四屆北京大學(xué)教育信息化創(chuàng)新論壇”上的發(fā)言整理。

我今天想跟大家交流的是我們團隊這一年在做的一些事情,我們是在做 MOOC,那我們做 MOOC 的目的,作為北京大學(xué)我們主要是想研究 MOOC,所以我今天的題目是怎么用數(shù)據(jù)來改進我們的MOOC設(shè)計。

剛才我聽到王校長也提過說微課實際上是個預(yù)先設(shè)計好,有很大的問題,MOOC也是一樣的,但是從目前來說的話,MOOC它會有一些做法,其實這些做法微課也是在做,也有可能就是滿足我們的教學(xué)需要的。

2.jpg

之所以做這樣的一件事情,是因為我們團隊在過去的兩年中間開發(fā)了四門MOOC,累積選修人次大概是28萬人次,能拿到合格證書的有兩萬人吧。對我們來說,很重要的一個問題,這些課程上線之后不是一勞永逸的,我們需要改進,從哪個地方改進,我們就需要數(shù)據(jù)。

3.jpg

另外一點,我們大概做了一年多之后,發(fā)現(xiàn)老師和包括各地的教師培訓(xùn)也比較認可這種方式,作為教師培訓(xùn)的一種形式。后來我們就與愛課程網(wǎng)合作策劃了一個項目"中國教師教育MOOC",我們第一期已經(jīng)有九門課上線,第二期也有九門課通過了初審。

4.jpg

在這種情況下,我們很關(guān)心的一個問題就是我的一個項目,作為一個項目它的質(zhì)量的保障,我們一樣需要數(shù)據(jù)的。

我今天想跟大家分享的是在這個過程中間,我們的一些體會和認識,比方說我們在開發(fā)慕課的過程中間,我們感覺到慕課的設(shè)計和以往傳統(tǒng)的課程設(shè)計有什么不一樣?第二點,慕課現(xiàn)在的平臺能夠給我們這種教學(xué)設(shè)計師提供什么樣的數(shù)據(jù),來幫助我們改進。我們是怎么用這樣的數(shù)據(jù)來改進我們的課程的?跟大家做這樣一些分享。

5.jpg

首先關(guān)于慕課的認識,太熟悉了,慕課的形式確實是,看上去就是一個視頻,有些文檔,有些練習(xí),來幫助學(xué)生檢測他掌握的情況。還有論壇,論壇中間有大家的經(jīng)驗分享,還有對課程知識內(nèi)容的交流。大概形式上是這樣。

6.jpg實際上當(dāng)一個慕課在運行的過程中間,就像是一個沒有人開的火車一樣,什么意思?它是預(yù)先做好的,即使這時候我們有平臺,有助教在,助教也很少再去改變內(nèi)容。所以我們可能只是答疑的工作做的比較多。在這種情況下,甚至教授都不出現(xiàn)的,所以大家可能會質(zhì)疑,慕課如何保證質(zhì)量?

7.jpg

實際上我們是可以看到一些做法的。

我給大家舉一個例子,沃頓商學(xué)院一個會計學(xué)的課程,兩年前我這個論壇上放了這個例子,他的教學(xué)設(shè)計是這樣的,實際上這個老師在做微課的時候,他對于這個學(xué)生學(xué)到這塊知識會出現(xiàn)什么問題,他是清楚的。所以他用虛擬學(xué)生的角色,講到這里就讓學(xué)生說,這里怎么回事,怎么樣,怎么樣,把這個問題提出來,老師出一個小窗口,來回答這個問題。微課老師如果能夠把他的教學(xué)經(jīng)驗,提前做好準(zhǔn)備的話,是可以適應(yīng)這種變化的。我記得剛開始的時候,人工智能MOOC上線的時候16萬人選這一門課,大家都會說你怎么能教16萬人?老師回答說我這是課程啊,一個課回答下來也不過20-30個問題,教學(xué)課程就是這樣,它不是發(fā)散型的,還是比較好應(yīng)對的。

8.jpg

也就是說,一個好的MOOC的設(shè)計,我們要做的事情雖然看上去是在做慕課的內(nèi)容的呈現(xiàn),但實際上是我們老師要把教學(xué)的內(nèi)容和教學(xué)的經(jīng)驗融合在一起,才能形成我們的課程。也就是說在慕課的教學(xué)設(shè)計中間,或者說包括我們現(xiàn)在如果說真的要做微課的話,我們是需要考慮到學(xué)生會怎么學(xué),學(xué)生在學(xué)的課程中間會發(fā)生什么樣的問題,這才是以學(xué)生為中心,不說給學(xué)生自主學(xué)習(xí)就是以學(xué)生為中心。這種教學(xué)法我們叫做just in time教學(xué)法,也就是說我們需要根據(jù)學(xué)生,在學(xué)到這個地方,它會出現(xiàn)的問題來及時的方便他、糾正他,那這才是我們真正的just in time。

9.jpg

那其實這樣的形式和方法我們在課程設(shè)計中間,會看到了很多,包括說MOOC平臺現(xiàn)在支持我們的視頻停頓提問,它是在模擬老師講到這個問題的時候他會對全班同學(xué)提個問題,是不是?所以這些都是預(yù)先設(shè)計好的?這些問題他可能是對前面講的總結(jié),也可能對下面的問題導(dǎo)入,所以它的根據(jù)目的不同,它可以有很多的做法。包括在論壇上,我們老師也可以預(yù)先設(shè)計好一些活動幫助學(xué)生消化吸收。

10.jpg

所以說慕課的教學(xué)設(shè)計從某種意義上來說,它是什么?他是要設(shè)計學(xué)生的學(xué)習(xí)體驗,而這種學(xué)習(xí)體驗的設(shè)計是兩部分,一部分是內(nèi)容傳遞的一種設(shè)計,一部分是學(xué)生學(xué)習(xí)支持方面的一種設(shè)計,所以這可能是慕課的教學(xué)和傳統(tǒng)課程設(shè)計的一個區(qū)別,傳統(tǒng)課程設(shè)計的時候,老師是在講課的過程中注意觀察學(xué)生的表情、表現(xiàn),然后隨時調(diào)整,但在慕課中間就是需要你的經(jīng)驗,需要你根據(jù)之前一些教學(xué)的體會來做,這是我們在慕課設(shè)計的時候可能是需要注意的地方。

11.jpg

具體到內(nèi)容設(shè)計這塊,大家都知道慕課,我們的視頻是主要的教學(xué)傳遞方式,但是這些視頻都是碎片化的、短小的視頻,需要我們把知識點打碎,打碎之后我們還需要給學(xué)生重構(gòu)起來,提供一些幫助可以重構(gòu)知識的Context,這個context就決定我們的MOOC設(shè)計絕不是把一段長視頻切幾段,切幾段是剛開始的時候解決的問題,真正好的慕課設(shè)計,要支撐知識重構(gòu),這種重構(gòu)要求有context。碎片化對我們的沖擊是很多知識是利用零碎的時間學(xué)的,學(xué)到后面可能就忘了前面學(xué)了什么。我怎么建立起這樣的一個整體化東西,可能就像我們當(dāng)年的記憶樹一樣,是我們需要有一個故事情節(jié),需要有一個整體線索把這些碎片化的知識串起來。過去,我們老師那種視頻把它切切切的那種方式,然后覺得很自然,我這個講課是一個系統(tǒng)的脈絡(luò)是有知識圖譜的,但實際上來說是什么?

老師對課程有專業(yè)性的知識圖譜,但是對于學(xué)生來說,他沒有,是一個新手。所以說我們現(xiàn)在會看到好的慕課設(shè)計,而且最近幾年出現(xiàn)的越來越多的慕課設(shè)計開始加入了情境的環(huán)節(jié),開始講故事,開始串故事,把知識內(nèi)容用一個場景串起來,那這是為什么要這么做,就是因為針對我們碎片化的學(xué)習(xí),我們需要有這樣的一個特色和特點,為了減輕學(xué)生的認知復(fù)雜,所以這也可以看作是對學(xué)生學(xué)習(xí)的一種支持,同時也是我們內(nèi)容傳遞方面的。

12.jpg

另外一個學(xué)習(xí)支持方面,大家會說到學(xué)習(xí)MOOC的學(xué)生他的學(xué)習(xí)動機是不統(tǒng)一的,所以這造成了慕課的輟學(xué)率非常高。那么我們在做教學(xué)設(shè)計的時候,我們可能會用到這種動機模型,比方說內(nèi)在動機、外在動機之類的,內(nèi)在動機我們會設(shè)計一些任務(wù),類似游戲化我們?nèi)ノM庠趧訖C可能他有他學(xué)校要求學(xué)MOOC或怎么樣。實際上,我們會發(fā)現(xiàn)光有內(nèi)在動機、外在動機其實還是不夠的,不夠在哪?我們會在我們的課程中發(fā)現(xiàn)很多老師他是有心無力,什么叫有心無力?就他自己一個是工學(xué)沖突,矛盾很大,他還不太具備網(wǎng)絡(luò)學(xué)習(xí)的學(xué)習(xí)能力。

13.jpg

那這種情況下,其實作為慕課來說,我們是希望如果老師有興趣來注冊了,我們就把他留下,讓他轉(zhuǎn)換成我們的學(xué)生。所以從這種意義上來說,我們剛才講到慕課教學(xué)設(shè)計在學(xué)生支持這一塊的話,我們主要支持的是把不具備網(wǎng)絡(luò)學(xué)習(xí)能力的老師和學(xué)員,在過程中間,我們讓他習(xí)得網(wǎng)絡(luò)學(xué)習(xí)的能力,讓它變成一個能夠自我調(diào)節(jié)的學(xué)生,如果他這個做不到,那么我們就通過各種方式,讓他比如說他不會時間管理,那我們可能多次提醒他或者說發(fā)揮合作學(xué)習(xí)的力量,同伴的作用來督促他。諸有此類,這些都會設(shè)計到我們的課程中間去。

14.jpg所以我們這幾門課開下來,包括在教學(xué)實踐過程中,我們就覺得慕課的教學(xué)設(shè)計其實是一個很值得研究的地方,它不只是在內(nèi)容傳遞碎片化的學(xué)習(xí),怎么更好的組織、怎么分解、怎么更好的利用的問題,也不只是說我們以學(xué)生為中心,知識讓他們?nèi)フf,去講,還要給他們提供各種支架,包括網(wǎng)絡(luò)學(xué)習(xí)能力的支架,都是要綜合設(shè)計進去的。那么如果要想做好這樣的設(shè)計,數(shù)據(jù)就是我們改進課程的一個很好工具。

15.jpg剛才前面幾個老師也說到了其實對計算機輔助教學(xué)最大的希望是我們可能記錄數(shù)據(jù)。我們可能會記錄數(shù)據(jù)作為評估也好,評級也好,這可能是對學(xué)生的評價,對我來說更多的想的是它如何改進我的教學(xué)。

16.jpg比方說就是我們一門課的一個數(shù)據(jù),傳統(tǒng)的,我們拿數(shù)據(jù)去看成績對不對?從這個成績,我這還沒有做復(fù)雜的相關(guān)性分析,這么打眼一看就可以看出來,我肯定這個測試的第二章有點難。就開了兩期,這章第二周都要比別的周要低。我的第二周我就要去考慮一下去看看我的題,我是不是考的太難了,或者第二周的內(nèi)容是不是太多了?這可能就是一個很簡單的數(shù)據(jù)來幫我改進的一個地方。

17.jpg在北大,我們在coursera上是有課程的,coursera每周會發(fā)一個報告給我們,他對每一門課程會發(fā)一個信息,如果這門課程有歧義點,比如這就是我收到的一個歧義點,這一周的第幾道題,沒有一個同學(xué)做對,就把這信息反饋給我們這個學(xué)校的管理團隊,那管理團隊的話,這道題為什么這周學(xué)生沒有一個做對的,是不是你這個不清晰,如果確實我的題目出得含糊了,就得改進。覺得沒問題,那這時候你就要回去看你的視頻,這樣的信息是幫我們在預(yù)警。

18.jpg這也是我們的一個數(shù)據(jù),一門課的數(shù)據(jù),它其中有一道題,這道題它問的是Java出現(xiàn)的年代,答對答不對的差不多是50%對50%,那其實可能就要考慮,你有必要問他是哪年出的嗎?這道題可能就沒有什么太大意義對吧?大家也不是那么清晰,所以像這樣的題目,就是幫助我們?nèi)ジ倪M,改進我們的課程材料,這種材料過去靠人工是非常費勁的,但是靠數(shù)據(jù)我們可能會做的比較好。

19.jpg這是Idex上的一個dash board,可以看到的藍色的是視頻,這是一個視頻的數(shù)據(jù)。深藍色的是看多次的,我會發(fā)現(xiàn)這個視頻中間有幾個點上被看了多次,那對于老師來說他就可以點擊這一塊,它就可以看到這塊是講什么的?那如果這一塊講的一個知識點是比較難的,學(xué)生看多次是自然的,那如果是這一塊講的東西其實沒有那么復(fù)雜,為什么要看多次?那可能是我沒講清楚。

20.jpg所以說我們確實可以通過用數(shù)據(jù)來幫助我們發(fā)現(xiàn)教學(xué)中存在的很多問題,幫助我們改進內(nèi)容設(shè)計。這一塊,dash board 這一塊,我今天想說的,我更在乎的是了解學(xué)員,因為從某種意義上來說,慕課曾經(jīng)的理想是只要想學(xué)的人,我都讓你學(xué),但最后發(fā)現(xiàn),學(xué)的人都是有學(xué)歷的人,都是有能力的人,什么問題?就是我們在這塊做的不夠,有的人網(wǎng)絡(luò)學(xué)習(xí)能力不具備,我們沒有幫助他。

21.jpg這是我們的一個數(shù)據(jù),這個數(shù)據(jù)挺有意思的,這就是為什么從我們的數(shù)據(jù)中間了解我們的學(xué)生。我們明顯的感覺到,在五周的課程里,到快結(jié)束的時候,三周之后,每個視頻后面都有一個視頻文檔,對應(yīng)的文檔就相當(dāng)于臺詞的文檔,到最后怎么樣?看文檔的人超過看視頻的人了,匆匆地應(yīng)付考試,是不是?從另外一個角度來說,我們可能就提供一個文檔就夠了。有時候我們可能也許不需要把什么東西都做成視頻,是不是?這也有可能對不對?所以這一塊它其實就是我可以再去往下做研究的地方了。

22.jpg還有大家會看到我這有幾峰值,這個峰值高的地方是什么?就是每次交作業(yè)的deadline。那我可能就會關(guān)心,這是因為他們在討論我的交作業(yè)系統(tǒng)嗎?還是交作業(yè)的題?還是說有一批人他實際上是有拖延癥的,這個時候慌慌張張的。那我是不是提前應(yīng)該有點預(yù)警。應(yīng)該提前提醒他們。

23.jpg這個可以看到所有最高的是什么?每周一般有3個到4個活動,4個活動時候,第一個視頻看的是最多的。那也是說我會發(fā)現(xiàn)有一堆的瀏覽的人,瀏覽的人在干嘛呢?說是汪老師,我看看你的課在講什么?然后他總是打開第一個,每個活動看一看第一個就走了??赡苁撬囊环N瀏覽者行為,那如果說我在乎轉(zhuǎn)化率,就是他看了,我還想讓他看后面的,那視頻我是不是應(yīng)該用心的設(shè)計?

還有一個很搞笑,讓我覺得也是需要注意的,我們有個導(dǎo)入,我們覺得碎片化就需要每一周的時候給學(xué)生做一個導(dǎo)入視頻,或者提醒她對這一周要做的這個任務(wù)的一種理解和認識。一周以后,這個導(dǎo)入視頻就看的特別低,那是什么意思?我的導(dǎo)入視頻做得不好,或者說也可能是實習(xí)老師不重視學(xué)習(xí)方法,他沒有認識到這種導(dǎo)入對他整個周學(xué)習(xí)的影響。

24.jpg25.jpg所以說我們從這樣的一些數(shù)據(jù)中間可以看到學(xué)員們的學(xué)習(xí)特點,而這種特點就可以幫助我們改進,那這是我們的一個實驗,就是我們因為剛開始翻轉(zhuǎn)課堂,剛開始的時候老師不知道你們這課不是實時的,第二不知道我早上去看課件我怎么點播有很多平臺的問題、我們網(wǎng)絡(luò)學(xué)習(xí)能力的問題,我們就會做一些這樣的手冊,或者是做一些練習(xí)、發(fā)郵件提醒,這實際上是在幫助他們?nèi)ミm應(yīng)網(wǎng)絡(luò)學(xué)習(xí)的時間管理,包括一些基本的技能。

他第二次的時候,我們后來再改的時候,就加了一個準(zhǔn)備篇,準(zhǔn)備篇里我們有意識的去設(shè)計了一些活動,這些活動可以讓他們?nèi)グ涯莻€流程走一遍,讓他們了解怎么交作業(yè)、怎么互評。

26.jpg這是我們之前的一些做法,包括我們之前還有一個討論區(qū)發(fā)帖子,或者互評的時候評語寫的都特別簡單,很多老師的評語就是寫的不錯很好,沒了,但我們想的互評是什么?我們會提示說好,好在哪兒?你有沒有更好的建議給我,讓我改進?所以我們還會設(shè)計一些討論區(qū)進行分享。你需要什么樣的評語,你覺得什么樣的評語對你有好處?之后就會發(fā)現(xiàn)還是會有一些明顯的變化,也就是說如果在我們的課程中間,我們考慮到這個學(xué)員的這樣一些網(wǎng)絡(luò)學(xué)習(xí)能力,我們做點相應(yīng)的調(diào)整,是有可能讓他學(xué)得更好,也有可能留住他,這是數(shù)據(jù)可以給我們帶來的幫助。這是我們的一個研究。

27.jpg那么我們的另外一個研究,讓我們?nèi)チ私庥幸慌蠋熢谖覀兊恼n程中間是反復(fù)注冊的,我們最關(guān)心的一個群體,為什么?

28.jpg因為我們當(dāng)時做這個教師慕課的時候,我們是希望把慕課做成教師發(fā)展社區(qū),我們歡迎這些老師經(jīng)常來。也就是說像過去的培訓(xùn),可能培訓(xùn)完了以后我就去學(xué)下一個了,我想再去上這個培訓(xùn),單位都不讓我來的,你享受過這個待遇了對吧,培訓(xùn)過了,就不會再給我這個機會。但很多老師會發(fā)現(xiàn),我去學(xué)完一次培訓(xùn)的時候,其實我不是百分之百地掌握,我甚至可能只掌握60%,我在工作中遇到問題的時候,我是很希望回去參照理論,或者找老師再去咨詢,或者說我在實踐中間我有體會的時候,特別想去跟別人分享。這種時候,如果沒有慕課的話,我們就可能會成為一個教師發(fā)展的社區(qū),這是我們的一種理想,但實際上現(xiàn)在我們離這個距離還很大,還很遠。

29.jpg我們的翻轉(zhuǎn)課堂七期大概有一萬五,真的是回來的老師,年齡跨度上也是什么都有。

30.jpg這個是這些回來的人的成績,大家可以看到這個是第一次的成績,這是第二次的成績。有一批老師他實際上不在乎成績,他就是來看一看,他可能就是關(guān)心內(nèi)容的。有的老師開始成績不好,第二次就高了,他可能是進來課程晚的。還有一批老師第一次就很高,但是他還會來,這批老師就是我們很關(guān)心的老師,有可能他們把這個作為教師發(fā)展的園地。還有老師第一次就也還不錯了,后來及格了,還要拿優(yōu)秀的,這也是一批老師。

在這個過程中間,我們重點關(guān)心的就是合格以后還注冊的老師。這是我們想的,是不是有研究的味道,或者有教研味道的老師。我們按照他的行為可以分成幾隊,我們現(xiàn)在想做什么事情?就是如果真正要把它變成這樣的一個社區(qū),我們希望這些合格后的老師再回來,他們能夠幫助其他的老師,他們能夠成為我們這個社區(qū)的助教,成為我們的催化劑,會把那些老師的問題解決了。

31.jpg

那我們會發(fā)現(xiàn)這樣老師的學(xué)習(xí)特點。從這個特點上可以看出來,他確實是有針對性的來,然后我們也去比較了他們的第一次學(xué)習(xí)和第二次學(xué)習(xí)和其他老師的區(qū)別,我們會發(fā)現(xiàn)這樣的一些老師,真的都是有自我調(diào)節(jié)能力。他們會很主動的學(xué)習(xí)。會在交作業(yè)前將作業(yè)交給我。其它的老師可能卡住那個點交,或者很可能就錯過了。我們是互評的,錯過了就沒法交了。

所以從這個角度來說,我們會發(fā)現(xiàn)就是有一批自我調(diào)節(jié)能力強的老師,那么他們可能是,已經(jīng)在主動地把我們這塊當(dāng)作是他們發(fā)展的一個園地,從成績上來說也是高的。

這個是我們對他的點擊率做的分析,他再次回來看什么,這些老師在看什么,一個是看操作,比方說我們第三周講怎么做微課?有一大堆軟件的使用。就很多老師看這個去的,但是,更多的老師是來找理論,這一方面,我覺得也可能是我理論講的不透他們在反反復(fù)復(fù)來看。

從另外一方面來說,慕課是想給老師提供實踐理論中間的指導(dǎo),他們是有需求的。

32.jpg這是我們的一些數(shù)據(jù)分析。在這個過程中,我們團隊有一個體會,確確實實研究會引導(dǎo)我們看什么數(shù)據(jù),看數(shù)據(jù)能不能給我們一個說法。但是更多看數(shù)據(jù)多了,就會拿著玩,這么玩,那么玩,就會有一些假設(shè)出來,這些假設(shè)雖然不是什么大的學(xué)術(shù)上的假設(shè),但可能會對我們的質(zhì)量提升是有幫助的。我們很想再繼續(xù)這樣一個話題,也希望能夠有更多的團隊和我們一起來研究,我們怎么來更好的設(shè)計慕課,在這個設(shè)計的過程中間,包括碎片化知識傳遞的策略和學(xué)生體驗的策略。

本文轉(zhuǎn)載自微信公眾號“北京大學(xué)教育信息化創(chuàng)新論壇”。

1、本文是 芥末堆網(wǎng)轉(zhuǎn)載文章,原文:北京大學(xué)教育信息化創(chuàng)新論壇
2、芥末堆不接受通過公關(guān)費、車馬費等任何形式發(fā)布失實文章,只呈現(xiàn)有價值的內(nèi)容給讀者;
3、如果你也從事教育,并希望被芥末堆報道,請您 填寫信息告訴我們。
來源:北京大學(xué)教育信息化創(chuàng)新論壇
芥末堆商務(wù)合作:王老師 18710003484
  • 汪瓊:如何根據(jù)數(shù)據(jù)改進慕課質(zhì)量分享二維碼