作者：劉璟，馬里蘭大學(xué)帕克分校教育政策助理教授；Julie Cohen，維吉尼亞大學(xué)課程與教學(xué)副教授

圖片來自BROOKINGS

在美國，全國各地的學(xué)區(qū)都使用課堂觀察來評估教師所展示的教學(xué)實踐是否以及在多大程度上支持學(xué)生的課堂參與和學(xué)習(xí)。從課堂觀察中所產(chǎn)生的數(shù)據(jù)也為教師提供了有價值的反饋，并促進他們的教學(xué)技能發(fā)展。在某些情況下，比如華盛頓特區(qū)的公立學(xué)校，這些信息也被用于高風(fēng)險的人事決策，包括是否讓教師留任。

衡量教學(xué)實踐的挑戰(zhàn)

然而，以統(tǒng)一和公平的方式衡量“好的教學(xué)”并不容易。原因之一是教學(xué)不是靜態(tài)的。教師如何教學(xué)取決于教學(xué)內(nèi)容和課程目標。例如，我們可能希望在一些課程中看到學(xué)生之間的擴展討論，以及在引入新的課程內(nèi)容時教師有更多指導(dǎo)。師生互動也會在一學(xué)年的過程中不斷演變。然而，大多數(shù)教師一年只被觀察一到兩次。教學(xué)的動態(tài)性使得僅從幾節(jié)課來描述教師的教學(xué)具有挑戰(zhàn)性。即使這些觀察到的課程可以捕捉一名教師的“典型”或“平均”教學(xué)，基于這些信息的反饋可能也沒有那么有用，因為教師在11月需要給學(xué)生提供的支持可能與她在5月需要的截然不同。

典型的課堂觀察政策的另一個復(fù)雜之處是，良好的教學(xué)實踐并非都是可見的。課堂觀察員可能會發(fā)現(xiàn)，在繁忙的教室里，跟蹤和評估所有重要的教學(xué)互動十分有挑戰(zhàn)性。即使是專業(yè)的、訓(xùn)練有素的研究項目評價人員也很難同時跟蹤多個教學(xué)行為，最終只會優(yōu)先考慮教學(xué)的那些容易觀察到的方面，但它們在支持學(xué)生學(xué)習(xí)方面可能不是最重要的。在實踐中，學(xué)區(qū)主要依賴校長進行課堂觀察，但他們通常缺乏培訓(xùn)、時間緊張。時間和資源的限制是一方面，另一方面，校長們傾向于使用小范圍的分數(shù)并且不愿意給教師打低分，這使得從典型的課堂觀察政策和實踐中客觀地衡量教學(xué)質(zhì)量變得更加困難。

新的分析方法可以為有效教學(xué)提供新的視角

最近的技術(shù)進步為有很強局限性的基于人的課堂觀察提供了一種潛在的有益補充。在我們新發(fā)表的“教育評價與政策分析”(Educational Evaluation and Policy Analysis)論文中，我們著手測試這種可能性。我們的想法很簡單：既然語言是許多教學(xué)互動的核心，我們或許可以利用計算機的力量來分析課堂話語的語言特征，并直接得出教學(xué)實踐的衡量標準。如果這樣的自動化措施被證明有與傳統(tǒng)的課堂觀察同等的甚至更優(yōu)越的測量特性，與基于人來評價的系統(tǒng)（human-rater-based system）相比，它就有可能以更低的成本和更大的規(guī)模為教師的教學(xué)實踐提供更一致和更頻繁的信息反饋。

事實上，在其他許多研究領(lǐng)域，文本即數(shù)據(jù)（text-as-data）的方法，或自然語言處理(natural language processing)，已經(jīng)被廣泛應(yīng)用于研究對話特征，如那些可以提高工作面試成功的話語，通過形成有說服力的論點來改變某人的觀點，或解決與精神疾病相關(guān)問題的對話等等。在教育領(lǐng)域，學(xué)者們也成功地應(yīng)用這些方法研究了廣泛的主題，包括高效在線學(xué)習(xí)環(huán)境的特征、教師對學(xué)生成就差距的認知，以及學(xué)校在改革中所采取的策略等等。然而，在自然的課堂環(huán)境、教師評價和改進努力中，這種方法的使用要少得多。

從課堂記錄到教學(xué)質(zhì)量的指標

在我們的研究中，我們聘請專業(yè)人員轉(zhuǎn)錄了“有效教學(xué)措施項目”（Measures of Effective Teaching project）中收集的近千個英語語言藝術(shù)課堂視頻。在這些課程中，258名教師在6個主要服務(wù)于少數(shù)民族和低收入學(xué)生的學(xué)區(qū)教4年級和5年級。在此基礎(chǔ)上，我們構(gòu)建了兩種類型的教師實踐指標。第一套衡量方法關(guān)注話語模式，比如教師和學(xué)生輪流進行對話的頻率，以及教師使用分析性語言的頻率（例如，反映認知機制的詞匯，如“原因”“知道”和“因此”）。為了構(gòu)建這些度量標準，我們主要使用有關(guān)語言來源（如教師或?qū)W生）、時間戳（time stamps）、與特定語言類別相關(guān)的單詞和標點符號的信息。我們構(gòu)建的第二套衡量標準涵蓋了教學(xué)中更實質(zhì)性的方面，比如教師在多大程度上使用學(xué)生的語言，以及課堂上有多少話語關(guān)注于與教學(xué)相關(guān)（而不是管理課堂秩序）的主題。

然后我們將這些變量歸納為幾種教學(xué)模式?？紤]到老師們在不同的課上可能會改變他們的教學(xué)方式，作為研究的起點，我們?yōu)槊恳晃焕蠋煹恼n程取平均值，以了解他們典型的教學(xué)風(fēng)格。課堂話語被歸納為三種類型：一種是課堂管理模式，指的是教師花費大量的課堂時間來建立常規(guī)（routines）和管理學(xué)生行為；一種是交互式教學(xué)模式，指的是教師有許多開放式提問，有豐富的師生互動；還有一種以教師為中心的教學(xué)模式，其特點是教師講的多，學(xué)生參與少。

這些教學(xué)因素似乎是直觀的，但它們真的捕捉到了與課堂觀察員的觀察相一致的教學(xué)特征嗎？我們的發(fā)現(xiàn)是肯定的。這三種課堂形式與一些普遍使用的觀察方案（observation protocols）確定的許多領(lǐng)域和維度一致，這些觀察方案包括課堂評估評分系統(tǒng)（Classroom Assessment Scoring System，CLASS）、教學(xué)框架（Framework for Teaching，F(xiàn)FT）和語言藝術(shù)教學(xué)觀察方案（Protocol for Language Arts Teaching Observations，PLATO）。例如，課堂管理模式與CLASS和PLATO中的行為管理維度相關(guān)性最強。互動教學(xué)模式主要與CLASS里的教學(xué)支持維度有關(guān)，該維度強調(diào)教師使用一致的反饋并且關(guān)注高階思維技能以提高學(xué)生的學(xué)習(xí)。以教師為中心的教學(xué)模式，代表較不理想的教學(xué)實踐，與教學(xué)對話（CLASS）、建立學(xué)習(xí)文化、讓學(xué)生參與學(xué)習(xí)、使用提問和討論（FFT）以及智力挑戰(zhàn)（PLATO）有統(tǒng)計上顯著的負相關(guān)關(guān)系。

需要明確的是，我們并不提倡單一的、最優(yōu)的教學(xué)時間分配或單一的話語風(fēng)格。不同的方法可能在整個課程或?qū)W年中有不同的效用。這些發(fā)現(xiàn)反映了教師課堂上的平均話語風(fēng)格。

除了將機器生成的測量結(jié)果與課堂觀察結(jié)果相關(guān)聯(lián)外，我們還測試了這些教學(xué)模式是否能預(yù)測教師對學(xué)生成績的貢獻。值得注意的是，以教師為中心的教學(xué)因素負向預(yù)測了使用SAT-9——SAT-9是一項旨在測量高階技能的測試——計算的教師增值分數(shù)。

新技術(shù)可能會為后代改善評估和教學(xué)

盡管我們的研究結(jié)果表明，文本即數(shù)據(jù)的方法是一種很有前景的衡量教學(xué)實踐的方法，但我們的研究只是邁向運用自動化系統(tǒng)來衡量和最終支持高質(zhì)量教學(xué)的第一步。我們構(gòu)建的教學(xué)質(zhì)量指標是有限的，其精確度也需要提高。即使有了更完善的計算機算法、語音識別技術(shù)和更全面的測量指標，學(xué)區(qū)和學(xué)校如想要實施基于文本的系統(tǒng)，也需要先進行最初的基礎(chǔ)設(shè)施投資，使得能夠記錄、轉(zhuǎn)錄、并在保護語言數(shù)據(jù)隱私的前提下對課堂數(shù)據(jù)進行分析，才能從中獲益。我們也需要更多的研究來了解校長和教師是如何看待自動生成的教學(xué)質(zhì)量指標并對它們提供的信息作出反應(yīng)的。

然而，我們的工作表明，使用文本作為數(shù)據(jù)的方法來補充傳統(tǒng)的課堂觀察是可行的。一旦這樣的系統(tǒng)就位，我們就可以想象這樣一個世界：教學(xué)的自動化指標實時產(chǎn)生，校長和教學(xué)教練將他們的時間集中在幫助教師理解所提供的信息和確定改進策略上。我們并不主張將此類措施用于對教師的高風(fēng)險評估。然而，為教師提供更多更好的教學(xué)反饋可能有助于確保所有學(xué)生都能獲得一致的、高質(zhì)量的教學(xué)。

本文翻譯自https://www.brookings.edu/blog/brown-center-chalkboard/2021/05/17/natural-language-processing-may-provide-a-new-perspective-on-effective-teaching/

原文即將發(fā)表于Educational Evaluation and Policy Analysis。

工作論文版本見https://www.edworkingpapers.com/ai21-369

北京大學(xué)中國教育財政科學(xué)研究所

第一所專門致力于教育財政研究的學(xué)術(shù)機構(gòu)

本文轉(zhuǎn)載自微信公眾號“中國教育財政”（ID：CIEFR-PKU），作者劉璟、Julie Cohen。文章為作者獨立觀點，不代表芥末堆立場，轉(zhuǎn)載請聯(lián)系原作者。