摘要:在混合式學習環(huán)境下,整合正式學習和非正式學習下的行為數(shù)據(jù)進行學習結果預警,是提高預警有效性和精準性的一個重要路徑,因此,著重解決數(shù)據(jù)采集面單一和課程學習預警系統(tǒng)匱乏問題,具有重要的實踐價值。對此,國內外對學習預警相關研究已有豐富的基礎。在相關文獻分析的基礎上,提出的基于學習行為數(shù)據(jù)的學習預警模型,包括學習服務模塊、數(shù)據(jù)采集模塊、教育大數(shù)據(jù)倉庫和云計算平臺、數(shù)據(jù)處理模塊、預測計算與分 析模塊、自動預警與可視化模塊?;谠撃P筒⒔Y合相關的技術標準和規(guī)范,設計了包含了數(shù)據(jù)源、數(shù)據(jù)集成、數(shù)據(jù)管理、應用服務和信息展示的學習預警系統(tǒng)基礎技術框架。研究結果表明,利用UML建模來設計核心數(shù)據(jù)模型,以ASP.NET為開發(fā)平臺,采用Oracle數(shù)據(jù)庫,從數(shù)據(jù)結構與權重、監(jiān)測與動態(tài)分析和可視化結果輸出等三部分開發(fā)的學習預警系統(tǒng),具有高度的擴展性和穩(wěn)定性,可滿足學習預警的常態(tài)化監(jiān)測要求。
關鍵詞:學習行為數(shù)據(jù);學習結果;數(shù)據(jù)結構;學習預警;可視化分析
一、研究背景
移動終端、教育APP、自帶設備等技術工具的廣泛應用,正對傳統(tǒng)學習環(huán)境進行著重塑和再造,整合學習終端、學習資源和學習服務的混合式學習環(huán)境,逐漸成為新常態(tài)。學習者的學習方式也由原來的正式學習(指課堂環(huán)境下的學習)轉變?yōu)檎綄W習和非正式學習(包括校園內學習、工作場所學習和家庭學習等)的無縫對接,形成一個連續(xù)性的個人學習空間。學習者只需在當前的學習情境下選擇合適技術支持的學習終端,即可進行數(shù)字化學習。伴隨著學習方式的轉變,學習評價的科學性和有效性探索也在發(fā)生變化,如何基于全學習過程數(shù)據(jù)進行形成性評價和課程學習預警,成為當前學習評價所面臨的重要問題。
美國2016國家教育技術計劃《未來學習準備:重塑技術在教育中的角色》Future Ready Learning:Reimagining the Role of Technology in Education)在“使用評價數(shù)據(jù)更好的支持學習”部分中提出,要更好地利用教育數(shù)據(jù)系統(tǒng),來提升技術支持學習工具和資源的質量和效果,利用數(shù)據(jù)促進個性化學習[1]。我們可以看到,基于學習數(shù)據(jù)集進行環(huán)境分析,改善學習服務以促進個性化學習,是未來教育發(fā)展的一個重要取向。與此同時,致力于對學習者及其所在情境中產(chǎn)生的數(shù)據(jù),進行測量、搜集、分析和報告的學習分析、教育大數(shù)據(jù)和人工智能技術的快速興起,為開展形成性評價和學習預警提供了技術上的可能性。
本研究探索混合式學習環(huán)境下,如何整合正式學習和非正式學習下的行為數(shù)據(jù)進行課程學習結果預警,并通過設計預警系統(tǒng)實現(xiàn)學習過程的動態(tài)監(jiān)控,從而為開展精準教學和學習干預提供有效依據(jù)。
二、國內外研究現(xiàn)狀分析
我們以中國知網(wǎng)、萬方數(shù)據(jù)庫、維普數(shù)據(jù)庫、超星數(shù)字圖書館、百度文庫等為檢索源,以“學習預警”、“學業(yè)預警”為關鍵詞,做文獻檢索,檢索時間跨度為2007-2017年。通過對文獻的內容分析,得到56篇與研究主題高度相關的中文文獻。在外文文獻檢索上,我們以Elsevier Science Direct、Springer Link、WileyInter Science和Taylor MFrancis為檢索源,以Learning Analytics,Early Intervention,Learningearly Warning,Alarming System,Early Warning System for Studying為關鍵詞,檢索文獻的時間跨度與中文文獻一致。經(jīng)過梳理閱讀,剔除無效文獻,共得到27篇有效外文文獻。
我們通過文獻檢索可以看出,學習預警相關研究整體尚不夠充分,仍有可探索和挖掘的空間。在對國內外有關學習與學業(yè)預警相關文獻進一步梳理和分析后,發(fā)現(xiàn)目前相關研究主要集中在以下四個方面:
(一)學習預警的分類及其跟蹤反饋的差異研究
根據(jù)預警對象的不同,我們可以將學習預警分為三種類型:
第一種是針對學生進行的預警,系統(tǒng)為學習者提供在某一具體情境下的學習預警反饋。比較有代表性的案例有:Sean P.Goggins米用情境感知活動通知系統(tǒng),將學習者的雙向日志數(shù)據(jù)進行計算,綜合考量學習者課堂互動比、跟蹤測評通過率等數(shù)據(jù),通過對學習者的同期橫向對比差異,為學習者提供反饋警示[2]。密歇根大學的Tim McKay采用E2Coach系統(tǒng)實現(xiàn)了學生與資源之間的對接,通過設定學習任務、反饋進度以及發(fā)放獎勵等具有針對性的學習方案,激勵學習者采取增加練習量及學習時間等具體行動來提高成績[3]。
第二種是針對教師提供的預警,系統(tǒng)為教師提供學習者在某一門課程中的宏觀學習預警反饋及相關教學方案完善建議。例如,Riccardo Mazza和Vania Dimitrova米用的課程可視化系統(tǒng),能夠跟蹤學生答題時間、答題次數(shù)、評價反饋等數(shù)據(jù)并生成圖表。該系統(tǒng)根據(jù)學習者在遠程學習中的學習活動過程數(shù)據(jù)進行直觀評估,幫助教師快速了解學習者掌握情況,并發(fā)現(xiàn)需要特別關注的學習者,教師根據(jù)預警信息,進一步優(yōu)化教學活動設計以進行有效干預[4]。
第三種是針對教師和學習者同時提供的雙向預警,系統(tǒng)幫助教師制定針對個別學習者的培養(yǎng)方案,以有效提高學生的學習成績。例如,普渡大學的課程信號系統(tǒng),通過預測學生成功算法對考試分數(shù)、排名、學習進度等數(shù)據(jù)進行分析計算,確定學生存在學習失敗的可能性,分別向教師和學生發(fā)送不同的預警信息。教師根據(jù)預警信息,結合學生的學業(yè)表現(xiàn),及時給予課外談話、心理輔導等形式進行干預支持[5]。
通過對學習預警的分類和學習預警的跟蹤反饋形式可以看出,學習預警系統(tǒng)往往以學生為中心,其出發(fā)點和落腳點在于輔助學習者提高績效,而其研究重點落在如何通過分析學習過程數(shù)據(jù)來發(fā)現(xiàn)學習存在的問題上。
(二)學習預警的基礎技術與數(shù)據(jù)收集研究
近年來,物聯(lián)網(wǎng)技術、人工智能和學習分析等技術的發(fā)展,使得學習全過程數(shù)據(jù)能夠得到有效積累和深度分析,這為精準預警提供了有效支持。一些研究者從技術層面對學習預警系統(tǒng)的設計進行探索。例如,Steven Lonn研究團隊和數(shù)據(jù)技術服務機構合作,對學習管理系統(tǒng)和學生信息系統(tǒng)的數(shù)據(jù)進行抽取、轉換和加載,實現(xiàn)了對學習者課程歷史信息的長期可持續(xù)性跟蹤。運用Business Objects軟件工具來識別數(shù)據(jù)庫中的數(shù)據(jù)內容和相關標準,根據(jù)缺課、任務未完成等情況來構建預警報告[6]。Conde采用在線分析處理、情報檢索等數(shù)據(jù)分析方法,根據(jù)班級中社交互動的信息數(shù)據(jù)找出學生之間的潛在關系、對學生成功有影響的活動等隱含信息,運用風險警報算法明確存在失敗風險的學生,以便為學習過程的改進做出更精準的教學決策[7]。John Baker等開發(fā)的學習管理平臺Desire2 Learn包含靈活的預測模型引擎功能,該平臺利用機器智能和統(tǒng)計技術來預先識別存在學習失敗危險的學生,利用堆疊技術和多個預測模型來提高預測的準確性,并通過分解技術設計個性化的干預措施,以提高干預的可實現(xiàn)性[8]。
基礎技術的日益成熟,使得收集的數(shù)據(jù)也日趨全面,當前,收集的數(shù)據(jù)可以分為以下三類:(1)基礎數(shù)據(jù),包括初始成績、個人信息、家庭背景、學習風格等;(2)行為數(shù)據(jù),包括學習時間、交互頻率、參與度等;(3)結果數(shù)據(jù),包括測驗成績、任務完成情況等[X5。通過對學習預警的基礎技術與數(shù)據(jù)收集研究分析,我們可以看出,學習預警系統(tǒng)多以網(wǎng)絡教學平臺作為學習過程數(shù)據(jù)采集的來源,其研究重點落在數(shù)據(jù)的有效性和學習風險的分析上。
(三)在線學習預警模型與系統(tǒng)構建研究
有關學習預警模型設計的文獻較多,例如,趙慧瓊等設計了在線學習干預模型,該模型運用學習分析技術對學習管理系統(tǒng)存儲的數(shù)據(jù)進行分析,利用決策樹算法進行危機診斷,一旦發(fā)現(xiàn)學習者存在危機,則及時采取電子郵件、資源推薦、彈出窗口等方式發(fā)送預警信息,并采取個性化教學、資源推薦等干預對策,以輔助學習者的學習活動順利進行[10]。學習預警模型為預警系統(tǒng)的實現(xiàn)提供了理論支撐,在可視化預警系統(tǒng)上,比較有代表性的是可汗學院的學習儀表盤系統(tǒng),該系統(tǒng)將學習管理系統(tǒng)與可視化工具相結合,運用信息跟蹤技術和鏡像技術對學習者的學習行為、習慣興趣等信息做記錄和追蹤,并對測驗成績、學習時間和學習路徑等數(shù)據(jù)進行分析,依據(jù)對知識點的掌握情況做反饋預警,幫助學習者提高知識點掌握程度和改善學習技能[11]。
Hoonuit在線學習平臺致力于指導教師盡早識別處于學習失敗危險中的學生,并整合有影響力的干預工作流程,有效地跟蹤學生的進度,從而提高學生的畢業(yè)率[12],Hoonuit配合使用干預反應模型(RTI)和多層次支持系統(tǒng)(MTSS),該系統(tǒng)支持教師參與決策過程,提供了一個可以根據(jù)每個學生的需求定制的直觀的預警解決方案。此外,Hoonuit通過與微軟合作,使得教育部門和其他教育機構可以在云平臺上運行Hoonuit的數(shù)據(jù)程序,保障了動態(tài)數(shù)據(jù)的及時連接、轉換、清理和驗證。通過Microsoft Azure(人工智能學習托管平臺)可以及時發(fā)布早期預警信息,預警系統(tǒng)可以通過向教師通報學生的風險嚴重程度以及引起風險的原因,從而起到篩選或診斷的作用。
(四)學分制環(huán)境下學業(yè)預警機制的實踐探索與分類標準研究
除了對學習預警探索外,還有研究者對學生在校學業(yè)情況進行預警分析。例如,袁安府等通過德爾菲法確定學業(yè)預警的指標要素,并結合理論、專家意見等方面指導,構建了大學生學業(yè)預警評價指標體系,確立了學業(yè)預警幫扶機制。該機制由建立學業(yè)預警幫扶領導機制、學業(yè)預警學生的幫扶、建立幫扶人員的激勵機制三方面組成,實踐數(shù)據(jù)表明,使用了學業(yè)預警的學生輟學率明顯降低[13]。
學業(yè)預警機制在我國目前還處于探索階段,各高校在標準制定上也都存在著一定的差異。其中比較有代表性的是M大學的學業(yè)預警機制,采用信號分級的方法,在學籍管理信息系統(tǒng)下成立個人資料庫,目的是完成系統(tǒng)與學生基本信息的實時反饋與交互,對學生未通過學分進行統(tǒng)計疊加,在規(guī)定時間內學分不足者將受到退學警告,而二次出現(xiàn)退學警告者或者學分嚴重不足者會被勒令退學[14]。該預警機制強化了家長和輔導員在學生學業(yè)完成過程中的監(jiān)督作用,有效増加了學生成功畢業(yè)率。
目前,國內外研究者從不同視角對學習與學業(yè)預警進行了初步探索,并且開始關注預警系統(tǒng)的實時性、連貫性和全面性,分析處理數(shù)據(jù)的多樣化,應用領域的多元化,這方面也有較為成熟的學業(yè)預警系統(tǒng),但成熟的學習預警系統(tǒng)尚不多見。已有研究將視角主要集中在學習預警模型設計、預警系統(tǒng)設計與干預服務、學業(yè)預警機制設計與實現(xiàn)等。
盡管學習預警研究在模型設計、反饋警示、學業(yè)分析等方面已取得初步成果,但在教育大數(shù)據(jù)、人工智能和學習分析背景下,對數(shù)據(jù)采集的粒度、技術實現(xiàn)機制、預警狀態(tài)識別等方面還存在不足,具體包括:(1)數(shù)據(jù)采集面較為單一,傳統(tǒng)課堂學習數(shù)據(jù)與在線學習數(shù)據(jù)割裂。后期仍需要整合學習者的全學習過程數(shù)據(jù)并進行分析,以提高學習預警的準確度;
缺乏能夠從課程學習過程層面進行預警的系統(tǒng):已有研究多從理論層面設計學習預警模型以及學業(yè)預警系統(tǒng),而在學習過程中進行預警設計與技術實現(xiàn)上的研究則相對薄弱。
針對上述問題,本研究將在數(shù)據(jù)整合、預警系統(tǒng)技術實現(xiàn)、可視化輸出等方面進行突破,通過整合預警數(shù)據(jù)采集、動態(tài)分析和可視化輸出等模塊形成一套預警服務模式。
三、學習預警模型設計與數(shù)據(jù)源分析
(一)數(shù)據(jù)集驅動的學習預警模型設計
要使學習預警能夠有效精準的預測學生的學習結果,需要對學習者的全學習過程數(shù)據(jù)進行采集和分析。學生學習方式的多樣化和學習場景的分割性,決定了學習預警要體現(xiàn)在不同學習環(huán)境下的多樣化學習行為數(shù)據(jù)進行整合與評估,以形成一條以學習者為中心的學習數(shù)據(jù)鏈。在結果輸出方面,利用可視化分析技術給學習者和教師提供反饋或評價環(huán),不僅可以讓教師了解學習過程中的資源使用狀況、學習參與狀況、學習活躍度等,而且可以通過預測分析對結果狀態(tài)進行評估和分類,識別出學困生。
之前,我們對學習預測的設計取向進行了全面分析,包括以混合式學習為情境取向、整合教學設計與學習分析的理論取向、基于學習狀態(tài)和行為表現(xiàn)的數(shù)據(jù)取向、以機器學習為分析主導的方法取向、面向個性化學習結果反饋的結果取向[15]。
基于上述設計取向,我們進一步以個性化學習分析理論、交互理論、計算思維、可視化技術為指導,提取問題建模與系統(tǒng)設計、個性化學習活動過程分析、不同交互層級數(shù)據(jù)采集、學習狀態(tài)可視化輸出等思想,最終設計了以學習者為主體中心、以學習數(shù)據(jù)鏈為分析對象、以個性化學習預警為服務目標的學習預警模型,如圖1所示。
該模型包括學習服務模塊、信息采集模塊、教育大數(shù)據(jù)倉庫和云計算平臺、數(shù)據(jù)處理模塊、預測計算與分析模塊、自動預警與可視化模塊:
—學習服務模塊是為學習者提供包含智慧教室和教育云服務平臺的混合式學習場景,并對課堂學習環(huán)境下的面對面互動結果、學習筆記記錄狀態(tài)、學習注意力狀態(tài),以及網(wǎng)絡環(huán)境下的學習任務完成結果、學習互動參與結果和學習測驗結果進行追蹤和記錄。
——信息采集模塊是從鍵擊層、交互層、行為層等方面對數(shù)據(jù)進行采集,并通過教育大數(shù)據(jù)倉庫實現(xiàn)對信息數(shù)據(jù)的再分類,形成以學習者為中心的數(shù)據(jù)鏈。
——教育大數(shù)據(jù)倉庫是依據(jù)個人檔案信息和個體不同學習表現(xiàn)建立的主題數(shù)據(jù)庫,提供滿足具體學習行為信息提取的數(shù)據(jù)分析環(huán)境,并將各數(shù)據(jù)庫進行關聯(lián),實現(xiàn)后面分析需求的響應與反饋。該部分將對以個人檔案信息數(shù)據(jù)為代表的關系型數(shù)據(jù)庫和以學習過程和學習結果數(shù)據(jù)為代表的非關系型數(shù)據(jù)庫進行分類處理,分別發(fā)揮傳統(tǒng)數(shù)據(jù)庫工具在結構化數(shù)據(jù)處理的優(yōu)勢,以及Hadoop在大規(guī)模非結構化數(shù)據(jù)的預處理優(yōu)勢,最后將兩者處理后的數(shù)據(jù)存儲至結構化數(shù)據(jù)庫中。
——云存儲池和云計算平臺則是通過集群應用、網(wǎng)絡技術和分布式文件系統(tǒng)等功能,將不同教育數(shù)據(jù)庫通過軟件集合起來進行協(xié)同工作,以提供數(shù)據(jù)存儲和業(yè)務訪問功能。
——數(shù)據(jù)處理模塊是基于分布式處理系統(tǒng)采用批處理和流計算,對數(shù)據(jù)進行抽取、清洗、轉換和集成加載[16]。預測計算與分析模塊是采用層次分析法計算數(shù)據(jù)模塊權重,并應用BP神經(jīng)網(wǎng)絡和關聯(lián)規(guī)則,預測分析各數(shù)據(jù)模塊關系與學習結果表現(xiàn)。
——自動預警與可視化模塊是基于分析結果對預警結果狀態(tài)、學習報表分析、預警過程分析進行輸出,其中預警結果狀態(tài)是基于預警計算數(shù)值采用可視化儀表盤方式進行標識。
(二)學習預警數(shù)據(jù)源分析
1.個人檔案信息數(shù)據(jù)
該部分數(shù)據(jù)主要包括學生入學初始成績、必修課程通過率、選修課程通過率、補考及重修因素、學位課程平均績點等。其中,必修課和選修課課程通過率是對以往所修課程數(shù)進行統(tǒng)計,并進行數(shù)據(jù)折合轉換得到的。補考及重修因素包含掛科、刷新績點、因個人情況未進行考試等因素。學位課程平均績點是依據(jù)學生具體成績分數(shù)轉換計算為績點值。
個人檔案信息數(shù)據(jù)反映學習者的整體學習水平和學習成績的動態(tài)變化過程,基于該類數(shù)據(jù)既可以把握成績變化趨勢為成績預測提供支持,又可以掌握學情了解學習者的學習表現(xiàn)風險區(qū)間,使預警結果能夠符合學習者常態(tài)化學習狀態(tài)[17]。
2.課堂學習行為數(shù)據(jù)
該部分數(shù)據(jù)包括出勤頻率、師生互動頻率比、生生互動時長比、學習筆記記錄頻次比、課堂注意力時間比、教師形成性評估次數(shù)與課堂注意力時間比、注意的分配和轉移等。其中,師生互動頻率比是指教師提出問題后,學生個人參與互動數(shù)與互動總數(shù)的比值。生生互動時長比是指學生個人參加互動時間和互動總時間的比值。學習筆記記錄頻次比,是個人記錄次數(shù)占班級總記錄次數(shù)的比值。課堂注意力時間比是個人集中注意聽講時間占課堂總時間的比值。教師形成性評估次數(shù)與課堂注意力時間比是教師點評學生時學生注意力時間和教師未點評時學生注意力時間的比值。注意的分配是指通過跟蹤頭部姿勢、面部表情、眼動等人類生理信號,來識別學習者實時的注意力水平,獲取學生注意力高度集中的時間段分布信息。注意轉移是指學生注意力轉移的因素。
課堂學習行為數(shù)據(jù)的搜集,是指通過智能錄播技術對學習者的行動表現(xiàn)進行的有效追蹤和實時記錄。在學習注意力表現(xiàn)上,應用國外研究者MirkoRaca等設計開發(fā)的課堂注意力評價系統(tǒng),通過學習者頭部和肢體的移動位置、移動方向以及寫作活動分析其注意力狀態(tài)[18]。
3.網(wǎng)絡學習行為數(shù)據(jù)
該部分數(shù)據(jù)包括平臺登錄時間點、頻次和持續(xù)時間、學習次序、學習任務完成進度及積極性、學習互動參與程度、學習練習測驗結果。其中,學習次序是指學習者根據(jù)自身學習習慣來決定學習次序,通過跟蹤在線學習者的瀏覽路線來研究學習者的學習行為,并對學習者行為進行有效跟蹤、采集、分析和評估,從而歸納出學習行為與學習者在學習過程中的持久性以及所獲得的成績之間的關系。
學習任務完成進度是根據(jù)學習者觀看課程微視頻、學習材料情況、是否參與測評進行記錄分析來判定的?;趯W習者的人機交互點擊流數(shù)據(jù),識別出學習任務跳轉及完成狀態(tài),只有完整觀看視頻、瀏覽學習材料、參與測評,才被確定為完成學習任務。任務完成積極性是指學生從任務發(fā)布到完成任務所間隔的時間,與全班學生完成任務的總時間的比值。學習互動參與程度是基于學習者瀏覽主題帖數(shù)、發(fā)帖數(shù)、回復數(shù)進行綜合分析,各分類數(shù)與學習者集體參與總數(shù)的比值為參與程度。練習測驗結果是對課后多個測驗結果進行統(tǒng)計,將各項測驗成績值轉換成百分比后進行累計。
四、學習預警系統(tǒng)的基礎技術框架
在前期分析的基礎上,依據(jù)上述提出的預警模型與數(shù)據(jù)來源,結合相關的技術標準和規(guī)范,我們設計了學習預警系統(tǒng)的基礎技術框架,如圖2所示。該框架包括五個部分內容:
(一)數(shù)據(jù)源
數(shù)據(jù)源涵蓋了學生個人基礎檔案數(shù)據(jù)、課程信息數(shù)據(jù)、課堂表現(xiàn)數(shù)據(jù)、在線課程學習表現(xiàn)數(shù)據(jù)、學習測評數(shù)據(jù)等模塊信息,收集的數(shù)據(jù)均為混合式學習環(huán)境下影響或顯示學習者學習狀態(tài)的重要信息。從來源對象上看,主要匯聚學習者、課程和班級三類教育數(shù)據(jù),這些數(shù)據(jù)是反映學習者學習水平及其在群體中學習表現(xiàn)的關鍵數(shù)據(jù),可以幫助學習者更好地掌控學習狀態(tài)。數(shù)據(jù)源所涵蓋數(shù)據(jù)的質量和數(shù)量直接決定了預測學習結果和預警學習危機的成效,源數(shù)據(jù)的合理性與準確性保證了教育大數(shù)據(jù)倉庫的有效性,為數(shù)據(jù)集成提供基礎支持,這是預警系統(tǒng)開發(fā)的前提和基礎。
(二)數(shù)據(jù)集成
數(shù)據(jù)集成包括數(shù)據(jù)的定義、數(shù)據(jù)采集、數(shù)據(jù)抽取、數(shù)據(jù)轉換與清洗、數(shù)據(jù)加載。數(shù)據(jù)集成用于解決課程學習進程中存在的數(shù)據(jù)間的互通問題,其目的是將分散的、異構的教與學過程數(shù)據(jù),轉換成聯(lián)系的、統(tǒng)一的能夠對學習結果產(chǎn)生正反饋的數(shù)據(jù),從而保證數(shù)據(jù)的一致性,以解決在線數(shù)據(jù)和課堂數(shù)據(jù)間的沖突等問題。其中數(shù)據(jù)清洗與轉換是數(shù)據(jù)集成的關鍵點,數(shù)據(jù)清洗的任務是過濾不完整、錯誤和重復等不符合要求的數(shù)據(jù),以確保預測學習結果的信度#];數(shù)據(jù)轉換的任務主要是進行不一致數(shù)據(jù)的轉換、數(shù)據(jù)粒度的轉換和一些規(guī)則的計算,以確保形成以學習者為中心的數(shù)據(jù)鏈,方便數(shù)據(jù)的挖掘分析,為進一步的數(shù)據(jù)管理提供保障,并最終實現(xiàn)學習預警。例如,課堂表現(xiàn)數(shù)據(jù)的集成,這類數(shù)據(jù)與學習注意力密切相關,采集的手段首先采用圖像増強技術,對于課堂實時采集圖像進行預處理,對課堂場景進行分析,提取感興趣區(qū)域,對學生采集圖像的顏色特征進行計算,確定學習者面部位置,獲取眼部位置并對其眼動情況進行分析。將這些數(shù)據(jù)集成并量化,從而得到學習者的注意力狀態(tài),有助于對學習進程給予適當干預或建議。
(三)數(shù)據(jù)管理
數(shù)據(jù)管理既包括線上和線下學習表現(xiàn)數(shù)據(jù)的分類與數(shù)據(jù)關聯(lián),也包括數(shù)據(jù)索引、查詢、流處理與批處理的整合、數(shù)據(jù)分析與計算。數(shù)據(jù)管理的功能定位是對集成數(shù)據(jù)的管理,是形成有效精準預警信息的重要保障,也是保護隱私數(shù)據(jù)、確保數(shù)據(jù)安全的關鍵點。其目的在于保障高質量的學習結果預測,協(xié)調集成數(shù)據(jù)實現(xiàn)各種應用之間的可共享性,最后實現(xiàn)學習者與學習結果、預警信息的良好對接。在系統(tǒng)建設上,通過分布式文件系統(tǒng)、分布式數(shù)據(jù)庫和并行計算模型進行架構實現(xiàn)。采用Hadoop分布式文件系統(tǒng),對以學習者為中心的不同行為數(shù)據(jù)節(jié)點進行鏈接,為上層數(shù)據(jù)挖掘提供非結構化存儲服務。采用MapReduce分布式并行計算模型對不同學習表現(xiàn)數(shù)據(jù)進行拆分,在不同計算節(jié)點上執(zhí)行,最后整合計算結果。
(四)應用服務
在整合數(shù)據(jù)源、數(shù)據(jù)集成和數(shù)據(jù)管理的基礎上,形成了教育大數(shù)據(jù)倉庫。教育大數(shù)據(jù)倉庫是一個面向教育教學的、集成的、隨時間變化的、相對穩(wěn)定的大數(shù)據(jù)集合,用于支持學習預測、教育管理決策等功能。教育大數(shù)據(jù),倉庫常用的創(chuàng)建方法步驟包括:(1)將各個教育信息系統(tǒng)的業(yè)務數(shù)據(jù)庫中的共享數(shù)據(jù)和非共享數(shù)據(jù),通過數(shù)據(jù)抽取轉換加載軟件(Extract Transform Load,ETL)工具抽取、清洗、轉換到操作型數(shù)據(jù)存儲(Operational Data Store,ODS)數(shù)據(jù)緩沖區(qū);(2)將ODS數(shù)據(jù)緩沖區(qū)的共享數(shù)據(jù),通過ETL工具抽取、清洗、轉換到ODS的共享數(shù)據(jù)區(qū)中;(3)將ODS數(shù)據(jù)緩沖區(qū)的非共享數(shù)據(jù)抽取到數(shù)據(jù)倉庫中;(4)將ODS共享數(shù)據(jù)區(qū)的共享數(shù)據(jù)抽取到數(shù)據(jù)倉庫中。
在教育大數(shù)據(jù)倉庫的基礎上構建應用服務層,應用服務層分為服務層和應用層,服務層提供基礎教學資源,為應用層提供學習分析基礎;應用層為學習者提供針對學習內容理解內化程度的判斷與檢測,是對服務層的評價與反饋,是服務層在學習進程和知識應用層面上的推進。服務層直接為師生提供包括模型服務、監(jiān)控與預警服務、信息展示、移動服務、數(shù)據(jù)審核與發(fā)布服務、視頻服務、實時信息服務等在內的具體功能服務。該層以教育大數(shù)據(jù)倉庫和教育云平臺為依托,實現(xiàn)師生之間的信息交互,幫助師生完成教學活動;應用層是包括考勤管理、作業(yè)管理、測試管理、課堂表現(xiàn)、互動管理、任務管理和線上學習管理在內的與測評系統(tǒng)相關的具體模塊。測評活動貫穿于整個學習進程當中,起到診斷性評價的作用,而測評結果則作為學習結果和預警信息的依據(jù),可以快速發(fā)現(xiàn)學習者在學習過程中存在的問題和不足,以便對學習者的學習狀況形成直觀了解。
(五)信息展示
信息展示層是學習預警系統(tǒng)的最高層,包括報表設計、可視化數(shù)據(jù)展示、圖形監(jiān)控和報警、移動終端的擴展和決策分析。預警系統(tǒng)綜合考慮學習者的學習過程、學習結果、內容形式、表現(xiàn)方法等要素,利用可視化的技術手段,將階段性學習結果輸出為儀表盤等形式,對有效的學習結果預測和精準的學習預警分析進行更直觀的反饋,從而幫助學習者更好地理解分析結果,支持決策行為。
五、學習預警系統(tǒng)的技術實現(xiàn)
學習預警系統(tǒng)要提供統(tǒng)一的對象工廠模型以及多種教學業(yè)務模式,應用支持向量機和機器學習方法進行數(shù)據(jù)分析[20]。在技術路線上,利用UML建模來設計核心數(shù)據(jù)模型,以ASP.NET為開發(fā)平臺,采用Oracle數(shù)據(jù)庫,基于Microsoft.Net后臺開發(fā)及JQuery前臺開發(fā)等開發(fā)預警系統(tǒng)。該系統(tǒng)具有高度的擴展性和可維護性,可動態(tài)管理教育大數(shù)據(jù)倉庫內部數(shù)據(jù)分析環(huán)境,定期進行數(shù)據(jù)更新,使教育大數(shù)據(jù)倉庫正常運行,并能夠根據(jù)學習過程數(shù)據(jù)快速地進行動態(tài)分析,解決軟件需求不確定性和軟件開發(fā)實施速度之間的矛盾,滿足學習預警的常態(tài)化監(jiān)測需求。
(一)預警系統(tǒng)的數(shù)據(jù)結構及權重
學習預警的主要數(shù)據(jù)結構包括:教師表、課程表、選課表、考勤表、個人檔案信息表、學習資料表、課堂學習行為數(shù)據(jù)表、網(wǎng)絡學習行為數(shù)據(jù)表、測評任務表、操作日志表等,其屬性和結構關系如圖3所示。
在這些數(shù)據(jù)結構中,由課程表可以計算個人檔案信息表的必修課與選修課數(shù)量,以及通過數(shù)量和績點;由選課表計算出課程成績和課程是否通過"由操作日志表和學習資料表獲得網(wǎng)絡學習行為中的發(fā)帖數(shù)量、回復數(shù)、瀏覽帖數(shù)量、完成進度、互動參與度等信息"由網(wǎng)絡學習行為數(shù)據(jù)表、測評任務表和課堂學習行為數(shù)據(jù)表,計算出測評預警結果、課堂學習行為預警結果、網(wǎng)絡學習行為預警結果。通過分析數(shù)據(jù)結構,可以解決數(shù)據(jù)關聯(lián)、數(shù)據(jù)通信以及交互規(guī)范等基礎性問題。
學習預警結果是基于數(shù)據(jù)模塊計算得出的,而在模塊權重方面,我們可采用層次分析法,對以往存在學習風險的學生,在不同數(shù)據(jù)模塊的表現(xiàn)情況進行統(tǒng)計分析。具體過程包括:(1)構造判斷矩陣,請評判專家按照九分位的比例標度,對上述同一層次的數(shù)據(jù)模塊指標的相對重要性進行評判;(2)計算權重,依據(jù)層次分析計算公式,將上述十階判斷矩陣的各行向量進行幾何平均、歸一,得到各個數(shù)據(jù)模塊的權重向量;(3)一致性的檢驗,為了評估預警系統(tǒng)的性能,判斷其是否能給出精準的預警信息,需要檢驗判斷矩陣是否具有較好的一致性。我們先根據(jù)指標公式計算得出一致性指標,之后與十階判斷矩陣的平均隨機一致性指標值進行相除,從而得出判斷矩陣的一致性比率。
(二)預警過程的監(jiān)測與動態(tài)分析
預警過程包括預警狀態(tài)監(jiān)測與動態(tài)分析,其中監(jiān)測點包括課程測評分數(shù)、排名、課堂表現(xiàn)、線上任務完成與互動情況等;狀態(tài)監(jiān)測數(shù)據(jù)包括考勤記錄、測評成績、課堂表現(xiàn)等。動態(tài)分析指采集各個子系統(tǒng)的監(jiān)測數(shù)據(jù),將數(shù)據(jù)整合到教育大數(shù)據(jù)倉庫中,并按照使用者的需求,通過教育大數(shù)據(jù)倉庫高效地對數(shù)據(jù)進行全面動態(tài)分析,發(fā)現(xiàn)數(shù)據(jù)中的潛在信息,及時對學習結果做出精準預測,最終以數(shù)字、圖表、儀表盤等可視化形式呈現(xiàn)出來,從而為教師和教育管理者提供學習預警動態(tài)分析。我們以預警過程的測評模塊(該模塊包括考勤和平時測驗)進行具體說明,其動態(tài)分析過程如圖4所示。測評成績在預警系統(tǒng)中經(jīng)過換算滿分為10分,圖左邊是測評數(shù)據(jù)的記錄,分數(shù)小于6顯示為紅色,圖右邊是曲線圖,從圖中可以看出李文在每個時間段的分數(shù)都很低,處于報警狀態(tài)。
(三)預警結果的可視化輸出
1.數(shù)據(jù)可視化技術概述
數(shù)據(jù)可視化旨在借助于圖形化手段,清晰有效地傳達與溝通信息。為了有效地傳達思想概念,圖形形式與功能需要齊頭并進,通過直觀地傳達關鍵維度與特征,實現(xiàn)對稀疏而又復雜的數(shù)據(jù)集的深入洞察。在本文中,數(shù)據(jù)可視化的對象主要包括:學習者在學習測評過程產(chǎn)生的有效數(shù)據(jù)、學習者學習過程中產(chǎn)生的交互行為數(shù)據(jù)、學習預警結果的信息展示。
2.插件式開發(fā)及highchart插件在預警系統(tǒng)中的應用
插件式開發(fā)是一種程序設計技術,是一種面向組件的軟件開發(fā)方法。在插件結構的應用系統(tǒng)中,程序并不是單一的執(zhí)行文件,而是由主程序和若干外部模塊組成。這些模塊是按照一定的規(guī)則編寫,可以通過配置文件靈活地加人到系統(tǒng)中,也可以在程序運行時動態(tài)地加人到系統(tǒng)中。Highcharts是一個用JavaScript編寫的圖表插件庫,可在預警系統(tǒng)中實現(xiàn)結果的可視化輸出。它能夠支持外部數(shù)據(jù)加載和數(shù)據(jù)動態(tài)性,支持多種數(shù)據(jù)形式。Highcharts結合Jquery等javascript框架提供的Ajax(—種創(chuàng)建交互式網(wǎng)頁應用的網(wǎng)頁開發(fā)技術)接口,可以實時地從考勤管理、作業(yè)管理、任務管理、互動管理、課堂表現(xiàn)和線上學習等模塊取得數(shù)據(jù),集成到中心服務器中并刷新圖表,提供良好的用戶體驗。
各個模塊的數(shù)據(jù)源包括測評數(shù)據(jù)源、課堂表現(xiàn)數(shù)據(jù)源、課程信息數(shù)據(jù)源、互動表現(xiàn)數(shù)據(jù)源等。當前,學校的教育信息化系統(tǒng)和在線教育管理系統(tǒng),都已存在著多個業(yè)務系統(tǒng),如教務管理系統(tǒng)、學生管理系統(tǒng)、畢業(yè)管理系統(tǒng)等。雖然各個系統(tǒng)都有查詢、分析、報表等功能,但要集中地對數(shù)據(jù)進行管理和分析,操作并不方便。從管理者視角看,在進行學習預警時,需要從多個維度對學習者本身進行分析,這就要求教育大數(shù)據(jù)倉庫關聯(lián)多個相關數(shù)據(jù)庫,并從多個維度來組織數(shù)據(jù)、顯示數(shù)據(jù)。這不僅是簡單地看到各個業(yè)務系統(tǒng)的數(shù)據(jù),而是需要對這些數(shù)據(jù)進行綜合的匯總、分析、監(jiān)測。本研究中的預警系統(tǒng)數(shù)據(jù),分別來自學生管理系統(tǒng)、成績管理系統(tǒng)、測試系統(tǒng)等。
因此,我們需要將不同業(yè)務系統(tǒng)的數(shù)據(jù)進行統(tǒng)一的采集、整理和管理,利用教育大數(shù)據(jù)倉庫,為管理者提供有效的數(shù)據(jù)處理,從而能夠進行集中的數(shù)據(jù)整合與分析,具體技術路線如圖5所示。
ETL是將各個子系統(tǒng)的數(shù)據(jù)經(jīng)過抽取、清洗轉換之后加載到數(shù)據(jù)倉庫的過程,目的是將分散、零亂、標準不統(tǒng)一的數(shù)據(jù)整合到一起,為預警決策提供分析依據(jù)。ODS(Operational Data Store)是操作型數(shù)據(jù)存儲,0DS具備數(shù)據(jù)倉庫的部分特征和OLTP系統(tǒng)的部分特征,它是“集成的、當前或接近當前的、不斷變化的”數(shù)據(jù),一般不保留數(shù)據(jù)的變動軌跡,是數(shù)據(jù)倉庫體系結構中的一個可選部分;ODS層適合于數(shù)據(jù)整合度較低、時效性要求較高、適合基于源系統(tǒng)數(shù)據(jù)結構加工的應用;主要進行短期的、細節(jié)的、反映業(yè)務原貌的數(shù)據(jù)存儲,直接提供基于源系統(tǒng)結構的簡單原貌訪問,同時,為商務智能環(huán)境中適合的業(yè)務需求提供支持。其原則是面向全局,數(shù)據(jù)整合;模型設計,靈活擴展,并提供規(guī)范和共享。服務層利用ODS支持的預警中心數(shù)據(jù)庫,再利用Ajax技術從數(shù)據(jù)庫中讀取數(shù)據(jù),最后配置Highchart/插件,實現(xiàn)預警信息決策支持和可視化展示。
3.可視化儀表盤輸出預警結果
可視化儀表盤輸出采用的軟件設計模式是MVC(Model View Controller),即“模型-視圖-控制器”的縮寫。MVC是用一種業(yè)務邏輯、數(shù)據(jù)與界面顯示分離的方法來組織代碼,將眾多的業(yè)務邏輯聚集到一個部件中,需要在改進和個性化定制界面及用戶交互的同時,不用重新編寫業(yè)務邏輯,從而減少編碼的時間??梢暬瘜崿F(xiàn)將預警數(shù)據(jù)和圖形分離展示,具體顯示什么樣的圖形用業(yè)務邏輯來控制,以提高運行效率。本例是利用MVC模式,在采集好預警數(shù)據(jù)中計算預警結果,并用可視化儀表盤的形式顯示出來。
當教師登錄學習預警系統(tǒng)時,我們可以通過儀表盤查看學生的課程學習狀態(tài)。每個數(shù)據(jù)模塊都有相應的儀表盤,具體成績由系統(tǒng)計算得出。當教師點擊儀表板上的成績時,儀表盤將會顯示學習者在該模塊的學習歷史記錄。課程學習的預警結果,將根據(jù)各個數(shù)據(jù)模塊指標的權重進行計算得出,并進行可視化輸出。我們以60分為基準點,60分以下表示預警,60-70是輕度預警,70分以上表示在安全區(qū)域,沒有預警。
為檢驗系統(tǒng)的可行性和有效性,我們以某高校專業(yè)核心課程《數(shù)據(jù)庫原理與技術》為試驗對象,以學生檔案數(shù)據(jù)、課堂學習表現(xiàn)數(shù)據(jù)、網(wǎng)絡學習平臺數(shù)據(jù)等為數(shù)據(jù)源,并將樣本數(shù)據(jù)劃分為訓練樣本和檢驗樣本,應用該預警系統(tǒng)進行實際分析、系統(tǒng)預警總評結果,如圖6所示,我們可以看出李文在紅色預警區(qū)?;谝陨戏治鼋Y果,結合學生的實際學習成效,我們通過預警發(fā)現(xiàn),學習者在課程學習表現(xiàn)上存在學習風險,這說明系統(tǒng)分析有較高的效度。
通過該預警系統(tǒng),我們可以快速識別出在課程學習結果表現(xiàn)方面存在風險的學生,而且能夠對學習過程中的低效學習表現(xiàn)指標進行分析,找出學習過程中的薄弱點,為后期教師開展精準教學干預提供參考依據(jù)。此外,結合教育大數(shù)據(jù)實時更新的技術特征,系統(tǒng)對學生的數(shù)據(jù)進行過程監(jiān)控和更新,根據(jù)學生一段時間學習任務和學習評價結果的改善情況,對其預警狀態(tài)進行更改,可以形成對學習表現(xiàn)的常態(tài)化和階段性監(jiān)測。
盡管預警系統(tǒng)在一定程度上能夠識別出課程學習風險的學習者,但在數(shù)據(jù)量和分析算法上還存在一些局限,具體包括:(1)數(shù)據(jù)樣本量影響預測精度;建立有效的神經(jīng)網(wǎng)絡需要較大規(guī)模樣本,從而訓練出較高效度模型;當前的分析數(shù)據(jù)主要以小樣本為主,數(shù)據(jù)量有待進一步擴充;(2)預警指標權重設計需進一步優(yōu)化;當前的指標設計主要基于已有數(shù)據(jù)和模塊分析得出,在模型擬合度上還存在偏差,需要進一步擴充訓練樣本量,通過數(shù)據(jù)模擬出最優(yōu)權重;
預測分析算法的局部最優(yōu)問題,影響系統(tǒng)整體精度;后期仍需要對不同預測分析法進行比較分析,使模型的求解過程從局部最優(yōu)收斂到全局最優(yōu)。我們將進一步優(yōu)化預警算法和參數(shù)設置,以提高系統(tǒng)運行的可靠性與穩(wěn)健性。
六、結語
學習預警作為學習分析過程中的重要環(huán)節(jié),為學習干預提供了科學依據(jù),而自適應技術、人工智能和數(shù)據(jù)科學的發(fā)展,使得學習預警更加智能化和精準化。當前學習方式的多樣化和學習數(shù)據(jù)的分布化,決定了要對不同學習環(huán)境下的數(shù)據(jù)進行整合分析。
本研究對學習預警系統(tǒng)的理論模型和基礎技術框架進行了設計,并通過Oracle數(shù)據(jù)庫、ASP.NET語言、Microsoft.Net等進行技術實現(xiàn),提出了混合學習環(huán)境下面向課程的學習預警系統(tǒng)。后期,我們將進一步在教學實踐中進行應用,探索不同學科下的課程預警效果,并對預警的精準性和用戶體驗進行迭代優(yōu)化,以提高該系統(tǒng)的運行效度和魯棒性。
本文轉自微信公眾號“MOOC”,作者牟智佳。文章為作者獨立觀點,不代表芥末堆立場。
來源:MOOC