原文:Towards AI-powered personalization in MOOC learning. 作者:Han Yu, Chunyan Miao, Cyril Leung and Timothy John White. 來源:Science of Learning. 譯者:玉鐲. 編輯:爾瑞.
MOOC(慕課)所代表的大規(guī)模學(xué)習(xí)正在改變高等教育的形勢。我們專注于新興的AI技術(shù),包括如何讓“知識表示*工具”幫助學(xué)生調(diào)整學(xué)習(xí)順序,以適應(yīng)自身的需求;優(yōu)化技術(shù)如何有效地將MOOC的主導(dǎo)任務(wù)與社區(qū)助教相匹配,以便關(guān)注到學(xué)習(xí)者個體;具有人性特征(如好奇心和情感)的虛擬學(xué)習(xí)伙伴(VLC)如何大規(guī)模地提升學(xué)習(xí)體驗。這些新功能將為教育研究人員帶來新的機會,分析學(xué)生的學(xué)習(xí)技能,揭示不同背景學(xué)生在學(xué)習(xí)過程中的哪些節(jié)點上可能需要不同的幫助。本文亦討論了在MOOC教育研究中應(yīng)用AI的道德考量。
(*譯者注:“知識表示”是人工智能領(lǐng)域的一個術(shù)語,關(guān)系到人類應(yīng)如何儲存和處理知識,以讓程序能夠處理這些知識,并最終達到人類的水準(zhǔn)。)
引言
MOOC(即慕課,大規(guī)模開放在線課程,以下簡稱MOOC)是一項挑戰(zhàn)傳統(tǒng)教育模式的顛覆性技術(shù),它使成千上萬的學(xué)生能夠以極低的價格甚至免費學(xué)習(xí)大學(xué)課程。MOOC能夠覆蓋世界各地的海量學(xué)習(xí)者,對開放教育*有著十分積極的影響。 然而,在保持質(zhì)量的同時擴大班級規(guī)模并不容易,也存在許多問題。通過MOOC進行的溝通和信息傳播,受限于學(xué)習(xí)者之間建立的聯(lián)系:既包括課堂上的聯(lián)系,也包括在其他社交網(wǎng)絡(luò)中建立的聯(lián)系。學(xué)習(xí)者經(jīng)常抱怨當(dāng)前的MOOC無法提供足夠的實踐經(jīng)驗,以幫助他們將概念和想法轉(zhuǎn)化為實踐技能。許多MOOC的完課率依然很低。
(*譯者注:開放教育,即不設(shè)錄取成績要求的教育,通常在線上開設(shè)。)
如今,眾所周知的是,要通過MOOC進行有效學(xué)習(xí),就要采用與面對面學(xué)習(xí)不同的教學(xué)法。為了迎合不同背景的學(xué)生、實現(xiàn)有效學(xué)習(xí),個性化就顯得尤為重要。在MOOC課堂上,學(xué)生通過與在線學(xué)習(xí)內(nèi)容進行互動,會產(chǎn)生豐富的學(xué)習(xí)行為數(shù)據(jù)。多年來,人們一直在尋找方法,利用人工智能(Artificial Intelligence,以下簡稱AI)技術(shù)從這些數(shù)據(jù)中挖掘價值(比如,鑒定出哪些人可能會早早退課,以便把更多精力放在更可能留下來的學(xué)生身上)。然而,AI在MOOC中的應(yīng)用并不總是那么簡單。主要原因可能是,目前的MOOC教學(xué)更注重標(biāo)準(zhǔn)化,而非個性化。從學(xué)習(xí)內(nèi)容到考試,今天的MOOC很大程度上都更像課堂教學(xué),學(xué)生只能去適應(yīng)預(yù)定好的參數(shù),留給個性、創(chuàng)造力和批判性思維的空間很小。
Coursera上“deeplearning”(深度學(xué)習(xí))課程列表(圖源:Coursera官網(wǎng))
由于MOOC平臺(如Coursera和edX)上許多課程的學(xué)習(xí)行為數(shù)據(jù)尚未向AI研究人員開放,因此該領(lǐng)域現(xiàn)有的AI研究主要依賴于以特定方式發(fā)布的、特定課程的數(shù)據(jù)集(例如KDD Cup 2015競賽*數(shù)據(jù)集)。為了支持MOOC教育領(lǐng)域的開放科學(xué)**,MOOC平臺需要與教育工作者和AI研究人員共同合作。
(*譯者注:KDD Cup,國際知識發(fā)現(xiàn)和數(shù)據(jù)挖掘競賽,一項數(shù)據(jù)挖掘研究領(lǐng)域的國際頂級賽事。KDD 的英文全稱為Knowledge Discovery and Data Mining。)
(**譯者注:開放科學(xué),即旨在推動科學(xué)研究和數(shù)據(jù)向全社會所有人士開放的運動。)
個性化的學(xué)習(xí)活動
作為電子學(xué)習(xí)的一種形式,在線資源的使用給了MOOC一條自然的途徑,為學(xué)生提供個性化的學(xué)習(xí)機會。例如,使用與課程材料結(jié)合的在線小型圖書館,可以讓有興趣的學(xué)生深入探索相關(guān)話題。目前MOOC具有固定的課程結(jié)構(gòu),比如,課程設(shè)計者會預(yù)先規(guī)定好視頻講座和相關(guān)學(xué)習(xí)活動的順序。在有些課程科目中,不同主題間有明確的依存關(guān)系(比如數(shù)學(xué)中通常先學(xué)加法,再學(xué)減法)。對于這些課程來說,讓所有學(xué)生都走同樣的學(xué)習(xí)路徑是有好處的。然而,對一些進階課程(如人機交互)來說,不同主題間的依存關(guān)系并不是很明確。由于MOOC課程通常是大學(xué)水平,許多都屬于后一類課程。對于這類課程而言,給學(xué)生更多自由,讓他們根據(jù)個人情況(如背景知識和時間限制)去接觸學(xué)習(xí)內(nèi)容,而不必嚴(yán)格遵循預(yù)定好的順序,可能更為有利。亦有證據(jù)表明,在電子學(xué)習(xí)環(huán)境中,學(xué)生接觸學(xué)習(xí)內(nèi)容的順序也能讓教育工作者獲取一些有益的信息。
為了使將來的MOOC學(xué)習(xí)者能夠靈活個性化他們的學(xué)習(xí)路徑,第一步是要將學(xué)習(xí)內(nèi)容細(xì)化為精細(xì)分割、貼好標(biāo)簽的知識單元。逆向設(shè)計技術(shù),即由課程教師決定目標(biāo)、確定評估標(biāo)準(zhǔn),而后選擇學(xué)習(xí)活動的技術(shù),可用于開發(fā)課程,使課程的學(xué)習(xí)內(nèi)容精細(xì)分割而又連貫一致。微型MOOC是一種在線學(xué)習(xí)的新興趨勢,它提供的MOOC課堂使教師能夠更方便地進行逆向設(shè)計。微型MOOC采用了一種新形式的微課程,內(nèi)容通常是與特定主題相關(guān)的短視頻,每個視頻的時長一般不超過5分鐘,并附有簡潔的文字說明。一些主要以微型MOOC來傳遞學(xué)習(xí)內(nèi)容的新MOOC平臺,如Curious,Everpath和Pathwright,正在吸引那些學(xué)習(xí)MOOC的時間較短、較為碎片化的學(xué)生(如工作人士)。
Curious官網(wǎng)首頁;用戶可根據(jù)空閑時間長度選擇視頻
有了微型MOOC作為構(gòu)建學(xué)習(xí)路徑的潛在模塊,下一步需要有簡單易用的軟件來構(gòu)建和修改學(xué)習(xí)路徑。此類軟件可以選擇Goal Net和與其配套的多代理開發(fā)環(huán)境(Multi-Agent Development Environment,MADE)。這是一款A(yù)I知識表示工具,可以對邏輯流進行建模,無需編寫冗長的程序代碼。基于目標(biāo)設(shè)置理論,Goal Net允許用戶將復(fù)雜的過程(如設(shè)置一組學(xué)習(xí)任務(wù))表示為由目標(biāo)和活動構(gòu)成的網(wǎng)絡(luò)。該軟件還能追蹤目標(biāo)之間的轉(zhuǎn)換以及目標(biāo)的實現(xiàn)。圖1是一條由Goal Net構(gòu)建的學(xué)習(xí)路徑的示例,該路徑由學(xué)習(xí)活動(圓角矩形)和學(xué)習(xí)目標(biāo)(圓形)組成,這些活動和目標(biāo)都是《人機交互導(dǎo)論(Introduction to Human-Computer Interaction)》課程中所涉及的。在該課程中,“應(yīng)用類型與動機”、“通用可用性”、“行動理論的7個階段”、“8條黃金法則”和“指導(dǎo)與原則”這些主題之間沒有強烈的相互依存關(guān)系,可以以不同的順序進行學(xué)習(xí)。學(xué)習(xí)活動的形式可以是微型MOOC、小測驗、論壇討論,以及其他的教學(xué)形式。
圖1 使用Goal Net為《人機交互導(dǎo)論》課程建立學(xué)習(xí)路徑。圖中所示的軟件由擁有版權(quán)的作者創(chuàng)建。
同時使用微型MOOC和學(xué)習(xí)路徑構(gòu)建工具(可以是Goal Net,也可以是其他類似工具,如Belief-Desire-Intention(BDI)模型),教師就可以迅速建立起一套包括細(xì)分學(xué)習(xí)內(nèi)容和活動的通用教學(xué)大綱,并可以靈活更新這套大綱。對于主題之間依存性不強的課程,可以將學(xué)習(xí)路徑構(gòu)建工具開放給MOOC學(xué)習(xí)者使用,以便他們個性化自己的學(xué)習(xí)路徑。這不僅有助于學(xué)生在課程期間追蹤自己的個性學(xué)習(xí)路徑,而且這么做本身也會形成一種知識表示的格式,能夠以機器可理解的方式來記錄各種不同的學(xué)習(xí)路徑。當(dāng)我們用機器學(xué)習(xí)去分析這些個性學(xué)習(xí)路徑、學(xué)生的背景信息、學(xué)習(xí)成果(這些信息在現(xiàn)有的MOOC平臺上已有記錄)之間的相關(guān)性時,我們設(shè)想出的這一機制或許可以向教育研究人員提供反饋,指導(dǎo)他們?nèi)椴煌尘暗膶W(xué)生制定各門課程的個性化學(xué)習(xí)方案。隨著時間的推移,這種機制還可以幫助MOOC教育者探知出哪些學(xué)習(xí)路徑能夠產(chǎn)生理想的學(xué)習(xí)成果,據(jù)此優(yōu)化不同課程的學(xué)習(xí)軌跡。(或許還可以借助其他技術(shù),如行為表型分析和遷移學(xué)習(xí)*。)
(*譯者注:遷移學(xué)習(xí)是機器學(xué)習(xí)領(lǐng)域的一個術(shù)語,指將已訓(xùn)練好的模型參數(shù)遷移到新的模型中,幫助新模型訓(xùn)練,從而優(yōu)化新模型的學(xué)習(xí)效率。)
然而,要實現(xiàn)這一愿景,仍有不少重大挑戰(zhàn)亟待克服。最關(guān)鍵的一點是,“學(xué)習(xí)成果”通常難以定義、難以測量。(比如,考試分?jǐn)?shù)高是否能說明學(xué)習(xí)成果好?)如果學(xué)習(xí)成果的目標(biāo)函數(shù)沒有合適的定義,那么機器學(xué)習(xí)方法將無法計算出個人學(xué)習(xí)路徑的優(yōu)化解。此外,由于目前可用的學(xué)習(xí)行為數(shù)據(jù)主要來自完成了MOOC的學(xué)生,因此,用這些數(shù)據(jù)訓(xùn)練出來的AI模型可能會更偏向那些表現(xiàn)好的學(xué)習(xí)者。所以尚需進行更多的研究,以便充分理解這種可能出現(xiàn)的偏見會在多大程度上影響學(xué)習(xí)者。
如何評估在線學(xué)習(xí)所獲得的個人技能?
可以說,目前MOOC平臺的設(shè)施旨在幫助學(xué)生更有效率地“學(xué)習(xí)事實”,而非“獲取技能”。這種設(shè)計適用于以知識(包括事實、理論和公式)為重點的課程。對于這種類型的課程,課堂小測和考試的分?jǐn)?shù)可以客觀地評估學(xué)生的學(xué)習(xí)成果。然而,有些課程強調(diào)的是技能(即知識的應(yīng)用)。對于學(xué)生需要掌握技能的課程,MOOC平臺現(xiàn)有的內(nèi)容傳遞和評估機制就不那么適用了。規(guī)則框架是圍繞學(xué)生在學(xué)習(xí)任務(wù)中的表現(xiàn)所制定的,這在一定程度上可以反映學(xué)生的學(xué)習(xí)技巧,但并不是全部。課程教師和學(xué)生之間的交互、上同一門課程的學(xué)生之間的互動,都可以生成復(fù)雜的行為數(shù)據(jù),用于分析學(xué)生的學(xué)習(xí)技能(例:21世紀(jì)的學(xué)習(xí)技能,如團體合作、時間管理和批判性思維)。分析結(jié)果可以補足基于小測/考試的評估結(jié)果,以支持智能干預(yù)機制的運行(例如給出實時提示或反饋),或提醒課程教師注意學(xué)生在某些學(xué)習(xí)技能方面的弱點。
圖源:unsplash
目前,MOOC平臺為教學(xué)設(shè)計者提供了幾種工具,使他們可以在課程里加入與學(xué)生的互動環(huán)節(jié)。這些工具通常包括討論版、實時聊天窗、小組教室和項目學(xué)習(xí)。但是,運行這類互動環(huán)節(jié)需要時間和精力,這對于學(xué)生基數(shù)龐大的MOOC來說并不可行。還有一些手段可以幫助MOOC教師關(guān)注到盡可能多的學(xué)生,比如社區(qū)助教(Teaching assistant,TA)的參與、同伴評估工具、精心設(shè)計的詳盡規(guī)則(包括對特定內(nèi)容的反饋和視頻反饋)等等。然而,這些互動產(chǎn)生的數(shù)據(jù)尚未能得到系統(tǒng)收集和管理,暫時無法幫助評估學(xué)習(xí)技能。
此外,由于要在MOOC中運用哪些互動技術(shù)是由課程教師決定的,因此不同課程使用的互動技術(shù)也不相同。目前,關(guān)于MOOC學(xué)習(xí)者互動行為的數(shù)據(jù)并不多。雖然生成對抗網(wǎng)絡(luò)*等AI技術(shù)可以分析少量真實訓(xùn)練數(shù)據(jù)的統(tǒng)計學(xué)分布狀態(tài),合成人工訓(xùn)練數(shù)據(jù),緩解在模式識別任務(wù)中數(shù)據(jù)不足的問題,但如果憑借為數(shù)不多的學(xué)習(xí)行為數(shù)據(jù)來訓(xùn)練AI,那么由此生成的數(shù)據(jù)仍有可能無法與現(xiàn)實完全吻合。
(*譯者注:生成對抗網(wǎng)絡(luò)(Generative Adversarial Network)是機器學(xué)習(xí)中的一種非監(jiān)督式學(xué)習(xí)的方法,通過讓兩個神經(jīng)網(wǎng)絡(luò)相互博弈的方式進行學(xué)習(xí)。)
由于使用的數(shù)據(jù)來源于MOOC平臺現(xiàn)階段可用的交互機制,目前,基于機器學(xué)習(xí)的學(xué)習(xí)者評估技術(shù)所反映的,主要是學(xué)生如何與課程交互,而不是學(xué)生如何從課程中學(xué)習(xí)。如果學(xué)習(xí)者積極使用論壇,則可以運用新興的主題建模機器學(xué)習(xí)法,從論壇討論數(shù)據(jù)來推斷學(xué)習(xí)者的態(tài)度、能力和潛在的技能水平。因此,為學(xué)習(xí)者創(chuàng)造更多交互機會、讓他們展示各種學(xué)習(xí)技能,將有助于生成AI所需的數(shù)據(jù),從而準(zhǔn)確評估學(xué)習(xí)者的技能。
如何用更加AI的方式推動MOOC教學(xué)實現(xiàn)個性化?
AI可以增強MOOC學(xué)習(xí)者的互動,同時生成非常有用的學(xué)習(xí)行為數(shù)據(jù),并通過兩種主要方式來促進學(xué)習(xí)技能的分析。一種是通過優(yōu)化社區(qū)助教的工作量分配,激勵人員積極性,促進在線學(xué)習(xí)者的線下學(xué)習(xí)效果;一種是通過“虛擬學(xué)習(xí)伙伴”(VLC)輔助教學(xué)。
線下、線上助教雙管齊下,讓MOOC更加個性化(圖源:unsplash)
在MOOC中,社區(qū)助教經(jīng)常會自愿參與。短期來看,應(yīng)用AI技術(shù)可以借助隨機優(yōu)化,增幅并有效利用社區(qū)助教的集體生產(chǎn)力。在隨機優(yōu)化過程中,由數(shù)據(jù)驅(qū)動的算法管理可以優(yōu)化工作的劃分和調(diào)度。目前,社區(qū)助教的招聘規(guī)模較小(每門課程通常少于10人),主要任務(wù)是主持討論。然而報告顯示,約有五分之四的社區(qū)助教拒絕了再次就職的邀請。研究發(fā)現(xiàn),社區(qū)助教人數(shù)少、留存率低的特點,限制了可以提供給MOOC學(xué)習(xí)者的交互和關(guān)注。在眾包領(lǐng)域,基于隨機優(yōu)化并由數(shù)據(jù)驅(qū)動的算法管理方法,已被用于將工作動態(tài)地劃分給工人,以便公平分配工作量,并實現(xiàn)超線性*的集體生產(chǎn)力,安排休息,調(diào)整激勵措施,以在博弈論的基礎(chǔ)上鼓勵工人參與。如果MOOC平臺能引進機制,再讓與助教互動過的學(xué)習(xí)者為助教的表現(xiàn)評級,那么這些方法就可以在MOOC中得到應(yīng)用,擴大社區(qū)助教的參與,使社區(qū)助教的集體付出更有實際成效。
(*譯者注:超線性表示量與量之間的一種變化關(guān)系,例如y=a+b*xn(n>1)。存在超線性關(guān)系的兩個變量中,因變量的變化速率會隨著自變量的增大而增大。)
長期來看,要借助AI解決大規(guī)?;訉W(xué)習(xí)體驗的問題,VLC或許是一種可能的方案。目前,在喬治亞理工學(xué)院開設(shè)的MOOC課程《基于知識的人工智能》上,就有一名由IBM Watson平臺構(gòu)建的AI助教Jill Watson在回答學(xué)生的問題。
虛擬助教Jill Watson;在IBM的的超級電腦沃森平臺上運行(圖源:喬治亞理工官網(wǎng))
為了提供可信的互動,VLC需要具備類似人類的特征。研究者在虛擬世界的學(xué)習(xí)環(huán)境中創(chuàng)造出了一名充滿好奇的伙伴,來為學(xué)習(xí)者提供個性化的指導(dǎo)。通過監(jiān)控學(xué)習(xí)者的進度,這名好奇的伙伴會識別出哪些學(xué)習(xí)內(nèi)容能引起學(xué)習(xí)者的好奇心,從而保持學(xué)習(xí)者的興趣。研究者還創(chuàng)造出了一名記憶伙伴,幫助學(xué)習(xí)者處理海量的知識。模擬人類從記憶中組織和回憶信息的方式,記憶伴侶會實時幫助學(xué)習(xí)者回想,有哪些最近學(xué)到的知識是與當(dāng)前學(xué)習(xí)任務(wù)有關(guān)聯(lián)的。為了避免學(xué)習(xí)者的過度依賴,記憶伙伴與學(xué)習(xí)者互動的方式是給出一連串越來越明顯的提示。還有一名可受教育的學(xué)習(xí)伙伴,“貝蒂的大腦”,已經(jīng)被證明可以幫助學(xué)習(xí)者鞏固知識。
借由教中學(xué)、議論式學(xué)習(xí)等教學(xué)理論,VLC可以促進討論、引導(dǎo)反思,從而幫助學(xué)習(xí)者將所學(xué)知識組織連貫。學(xué)習(xí)者與VLC的互動還可以生成學(xué)習(xí)行為數(shù)據(jù),促進對學(xué)習(xí)技能的分析。由于VLC原本就是智能的用戶界面,它們也可以進行干預(yù),根據(jù)分析結(jié)果幫助單個學(xué)習(xí)者提高自身的學(xué)習(xí)技能。
作為軟件代理,VLC可以解決MOOC中的大規(guī)模應(yīng)用問題。然而,出于兩條重要的原因,我們認(rèn)為VLC現(xiàn)在尚不完善。首先,為了有效地促進學(xué)生學(xué)習(xí)復(fù)雜的主題,而不僅僅是促進學(xué)生回答問題,VLC需要能夠進行有意義的對話(包括語音對話和文字對話)。但是,要教會機器像人類一樣交談,比原本的預(yù)期要困難百倍。在一場典型的對話中,一方會向另一方發(fā)出熟知的信號,以此開始對話。對話雙方會共同努力,在共同理解對話主題的基礎(chǔ)上構(gòu)建意義,并不斷回放對方所說的內(nèi)容,與對方最初的意圖作對比,來檢查對話是否還在正題上?,F(xiàn)今,AI對話互動仍舊是有待研究的一大挑戰(zhàn)。
今年6月,IBM發(fā)明的AI機器人Debater首次打敗人類冠軍辯手
信息量豐富但表達能力堪憂,宛如一位知識淵博、學(xué)富五車,但口舌打結(jié)的教授
其次,如果教育研究者希望對VLC與學(xué)習(xí)者的互動進行實證研究,則必須仔細(xì)考慮將VLC引入學(xué)習(xí)過程會帶來的倫理問題。由于VLC研究屬于廣義上的計算行為科學(xué),因此必須遵循《貝爾蒙報告》*的原則:VLC不得侵犯學(xué)習(xí)者的自主權(quán);VLC帶來的益處應(yīng)超過其風(fēng)險;其益處和風(fēng)險均應(yīng)公正地平攤給學(xué)習(xí)者。
因為VLC可以通過學(xué)習(xí)技能分析和智能干預(yù)來幫助學(xué)習(xí)者采用更有效的學(xué)習(xí)習(xí)慣,所以VLC的這些應(yīng)用有可能被視為侵犯了學(xué)習(xí)者的自主權(quán)。因此,使用VLC的MOOC平臺需要建立獲得學(xué)習(xí)者知情同意的機制。在使用VLC時,可以引入新興的道德決策框架,以降低不當(dāng)使用社會工程技術(shù)**來說服學(xué)習(xí)者的風(fēng)險。也可以在VLC中融入可解釋的AI框架,以闡明VLC所提出的建議背后的原理,以便與學(xué)習(xí)者建立信任。然而,為了遵守道德準(zhǔn)則而限制VLC的功能,并不是解決問題的一種好的方式。另外應(yīng)該進行對抗行為的博弈理論建模,以便了解學(xué)習(xí)者是否會試圖利用這些限制因素來玩弄VLC,使得VLC無法實現(xiàn)其設(shè)計目標(biāo)。
(*譯者注:《貝爾蒙報告》是1979年于美國出臺的一份報告,旨在保護生物醫(yī)學(xué)及行為研究中的人體受試者,明確適用于人體研究的基本倫理原則。其提出的主要基本原則有三點:尊重個人,善行,公平平等。)
(**譯者注:社會工程技術(shù)指的是在與他人的合法交流中,運用某些手段影響他人心理,使其做出某些行動甚至吐露機密信息。)
結(jié)語
由于MOOC仍然是一種相對較新的學(xué)習(xí)模式,因此,在研究和開發(fā)過程中尋求易于入手的成果(如優(yōu)化技術(shù)和VLC的進步等)是一種合理的策略。本文所討論的思想可以豐富MOOC的設(shè)計經(jīng)驗。如果MOOC平臺運營商在其系統(tǒng)中納入對個性化學(xué)習(xí)的幫助、更多樣的互動機會,以及對由此產(chǎn)生的學(xué)習(xí)行為數(shù)據(jù)的分析,并建立恰當(dāng)?shù)牡赖卤O(jiān)督機制,那么MOOC就可以轉(zhuǎn)型為推進教育研究的測試平臺,并最終改善學(xué)習(xí)。這種技術(shù)框架還提供了一種極具性價比的方法,可以將研究結(jié)果迅速轉(zhuǎn)化為實際行動。要實現(xiàn)這些目標(biāo),MOOC平臺運營商的支持將是關(guān)鍵的一步。
>>聲明
本翻譯僅作了解之用,并非用于學(xué)術(shù)研究或商業(yè)決策。芥末堆海外翻譯社群的小伙伴們力求將關(guān)鍵理念與思想更廣泛地傳播至中文區(qū)域,故部分表達可能與原文有所差異。如需使用,請查證原文。
2、芥末堆不接受通過公關(guān)費、車馬費等任何形式發(fā)布失實文章,只呈現(xiàn)有價值的內(nèi)容給讀者;
3、如果你也從事教育,并希望被芥末堆報道,請您 填寫信息告訴我們。