*來源：量子位（ID：QbitAI），作者：邊策、蕭簫

上學(xué)的時候，老師一定教導(dǎo)過你：遇到不會的問答題，就算是瞎寫，也要隨便寫兩句。也許閱卷老師心情好，可能會酌情給分呢。

老師會不會給分，不知道。但是，AI真的會給分，甚至可能是滿分，即使你什么也不知道。

最近，一個號稱服務(wù)于美國2萬所學(xué)校的AI教學(xué)平臺翻車了，利用它的漏洞去“裸考”就能輕松及格，簡直就是“學(xué)渣福音”。

翻車過程

事情的起因是這樣的：

一位美國家長Dana有一天發(fā)現(xiàn)，她正在讀七年級的兒子突然哭了。因為有道歷史題，孩子只拿了50%的分?jǐn)?shù)。

這意味著他必須把剩下題目全部答對，否則就會不及格。

這道題問的是：君士坦丁堡的地理位置是如何幫助拜占庭帝國變得富有強(qiáng)大的？

而孩子的回答是基本沒有問題的。（請忽略最后一句話，這句話不是孩子寫的，原因后面自見分曉。）

一開始，Dana覺得，改卷子的老師是不是太苛刻？她這樣安慰兒子。

但是孩子說，他把答案提交1秒后就得到了分?jǐn)?shù)。所以Dana意識到，批閱試卷的應(yīng)該不是人，而是AI。

Dana對技術(shù)有一定的了解，她覺得，AI系統(tǒng)很可能是根據(jù)關(guān)鍵詞來評分。為了驗證自己的想法，他把兒子的作業(yè)做了一遍。

她嘗試在答案里加入“財富、商隊、中國、印度”，也就是上圖中的最后一句，反正能想到的關(guān)鍵詞都一股腦兒填進(jìn)去。

奇跡出現(xiàn)了，這道題她拿了滿分。即使這些關(guān)鍵詞之間沒有任何串聯(lián)。

單詞沙拉——Dana找到了一種獲得高分的好辦法，就是把所有可能的關(guān)鍵詞組合起來，總有能蒙對的。這種方法對短問答題尤其有效。

當(dāng)然，這只是Dana本人的猜測。實際上這家公司在官方的幫助中心里已經(jīng)承認(rèn)了：我們就是按照關(guān)鍵詞的百分比來評分的。

沒有關(guān)鍵詞0分，有一個就拿一點(diǎn)分，全部命中拿100分。

繞過AI的作弊“妙招”

提供這項AI評分技術(shù)的公司叫做Edgenuity。

新冠疫情讓美國的不少學(xué)校無法開學(xué)，學(xué)生只能在家學(xué)習(xí)，所以很多學(xué)校就用上了Edgenuity的遠(yuǎn)程教學(xué)和考試方案。

而Edgenuity的AI評分問題早已有之，只是最近才被外媒發(fā)現(xiàn)。

一周前，有網(wǎng)友抱怨自己只拿了0分，很多人就指出了Edgenuity是靠關(guān)鍵詞評分的事實。

一位多年前使用過該系統(tǒng)的高中生說，他當(dāng)年就發(fā)現(xiàn)了這個作弊方法。當(dāng)他完全不知道怎么答題的時候，就在回答框里填入各種單詞，而且“經(jīng)常會奏效”。

還有學(xué)生發(fā)現(xiàn)，把問題粘貼到答案里也可以得分，因為問題里常常包含了關(guān)鍵詞。

想當(dāng)年老師說過，遇到不會的問答題，把問題抄一遍。誠不欺我也！AI真的比閱卷老師還好說話。

有些學(xué)生告訴記者，他們在上學(xué)期都使用了這個技巧，并每次都考到了不錯的分?jǐn)?shù)。

如果你去Google搜索Edgenuity，那么就會發(fā)現(xiàn)，“如何在Edgenuity里作弊”一直處在熱搜的位置。

在Reddit論壇的Edgenuity板塊里，學(xué)生們公然討論著如何作弊。這款號稱防作弊、自動判卷子的Edgenuity其實漏洞百出。

進(jìn)入這個鏈接后，真是打開了新世界的大門，原來美國中學(xué)生對如何在AI系統(tǒng)中作弊有著頗深的研究。

Edgenuity不是可以防止學(xué)生開網(wǎng)頁找答案嗎？沒問題。

設(shè)置瀏覽器在關(guān)閉時刪除緩存和Cookie，打開另一個瀏覽器窗口作為搜索答案使用，滿分so easy。

其實也不必這么麻煩，現(xiàn)在智能手機(jī)這么發(fā)達(dá)，去Brainly（類似于國內(nèi)的作業(yè)幫）找一下答案就好。反正手機(jī)和電腦是分開的嘛。

也就是說，Edgenuity必須和人類教師結(jié)合，需要人類幫忙在線監(jiān)考、審核閱卷結(jié)果，這樣才能發(fā)揮其功效。

顯然，美國的一些教師偷懶了。

超過2萬所美國學(xué)校在用

那么，這家生產(chǎn)“人工智障”的公司Edgenuity，究竟是什么來頭？

事實上，1998年就成立的Edgenuity，是美國K-12市場的在線課程和教學(xué)服務(wù)的領(lǐng)先供應(yīng)商。

2011年，Edgenuity以5000萬美元被Weld North收購后，目前已經(jīng)有超過2萬所學(xué)校使用這個教學(xué)平臺，包括全美排名前25的學(xué)區(qū)中的20個。

也就是說，全美國教育資源最頂尖的地區(qū)，80%都能見到Edgenuity的身影。

不過，原先的Edgenuity，主要是一家教育內(nèi)容提供商，但它于2016年收購了一家名為Compass Learning的教育軟件提供商。

Compass Learning成立于1964年，主要負(fù)責(zé)做小學(xué)和中學(xué)階段的學(xué)習(xí)評測軟件，被收購時，已經(jīng)有超過200萬個美國學(xué)生、1萬多所美國學(xué)校在使用。

前段時間有網(wǎng)友回憶起曾經(jīng)被Compass Learning相關(guān)軟件支配的恐懼，在社交媒體上獲得了網(wǎng)友的激烈響應(yīng)。

現(xiàn)在由于疫情原因，大部分美國學(xué)校將目光轉(zhuǎn)向了在線教育課程，其中一些學(xué)校更是直接將教學(xué)和測驗都外包給了像Edgenuity這樣的在線教育公司。

針對此事，Edgenuity做出了回應(yīng)，稱AI打分永遠(yuǎn)只會提供“算法上的指導(dǎo)”，不能決定學(xué)生的課程成績。

Edgenuity不會使用算法去代替教師評分，只會提供一個打分參考。老師們有能力接受或否定推薦的分?jǐn)?shù)。AI不會為測試打分，也不會決定學(xué)生的測試成績。

但即便如此，Edgenuity的影響卻還在美國擴(kuò)大。

據(jù)美通社消息，Edgenuity近日獲得了2020年的卓越教學(xué)獎（Tech & Learning Awards of Excellence），全球教育最具代表性之一的EdTech獎項（the EdTech Cool Tool Awards），美國“軟件與信息產(chǎn)業(yè)協(xié)會”（SIIA）唯一核心大獎（the CODiE Awards），以及技術(shù)教育獎（the Tech Edvocate Awards）。

這些“經(jīng)過專家評估的”專業(yè)技術(shù)獎項，使得Edgenuity成為在線以及K-12教育更具影響力的公司。

AI閱卷老師，國內(nèi)也有

事實上，AI改卷老師，并非只有國外才有。

早在2017年，阿里就推出了AI批閱中文試卷的系統(tǒng)，產(chǎn)出了“全球第一份機(jī)器人批改的作文”。

據(jù)搜狐報道，在浙江外國語學(xué)院國際學(xué)院，阿里AI為來自俄羅斯、韓國等11位留學(xué)生批閱了中文試卷，“批閱一篇試卷的時間通常只需要40秒”。

簡直比批閱高考作文的老師看得還快。

不過看起來，AI改作文的主要標(biāo)準(zhǔn)，是集中在“糾正語法”上。

例如，在“請寫一寫你的愛好”的命題作文下，一位學(xué)生提到自己的愛好是中文，并在作文中寫道：“中文的難點(diǎn)并非是字，而是像女朋友一樣善變。我是不會放棄的，除非中國人也放棄我才會放棄?！?/p>

△ 圖片源自搜狐

對于這兩句話，一位漢語系教授表示：“我教了14年的中文，不認(rèn)真看還真沒看出問題。但事實證明，這兩句話都是病句，存在雜糅和重復(fù)的錯誤?！?/p>

據(jù)悉，阿里開發(fā)這套閱卷系統(tǒng)的主要目的，是教外國人學(xué)中文，所以在語法方面會有嚴(yán)苛的要求。

如果說阿里的閱卷系統(tǒng)還是個小范圍的嘗試，科大訊飛已經(jīng)將之應(yīng)用到實際考試中了。

據(jù)了解，早在2016年，我國教育考試中心就和科大訊飛成立了聯(lián)合實驗室，共同開展人工智能技術(shù)在閱卷、命題、考試評價分析等方面的研究。

而在2017年，湖北襄陽就已經(jīng)正式在中考評卷工作中引入了該機(jī)器評分系統(tǒng)作為評分輔助手段。

據(jù)了解，這個系統(tǒng)基于科大訊飛自主知識產(chǎn)權(quán)的手寫識別、自然語言理解、智能評測等人工智能核心技術(shù)設(shè)計研發(fā)，能夠?qū)崿F(xiàn)對除選擇題以外的所有題型的空白題檢測。

不僅如此，還能改主觀題，對語文作文、英語作文、英語翻譯、文綜類簡答題、英語填空題題型進(jìn)行計算機(jī)智能評卷。

同時，也能針對語文作文與英語作文，有效地檢測出考生抄襲范文的異常答卷，有效降低主觀題人工評卷的工作量。

然而，卻有微博網(wǎng)友發(fā)現(xiàn)了國內(nèi)AI閱卷系統(tǒng)翻車的情況。

從圖中來看，這個名為奇點(diǎn)學(xué)院的APP，在批改數(shù)學(xué)題的時候，要求答案只能與它的公式“完全一致”，其他步驟即使是對的，也不給滿分。

△ 圖片源自微博 @安托利婭

哪怕是推導(dǎo)過程無誤，答案正確的情況下，10分的題目也只給了7.5分。

那么，你相信AI改試卷比人民教師靠譜嗎？

參考鏈接：

https://www.theverge.com/2020/9/2/21419012/edgenuity-online-class-ai-grading-keyword-mashing-students-school-cheating-algorithm-glitch

https://twitter.com/DanaJSimmons/status/1300997133311508480

https://www.reddit.com/r/edgenuity/comments/gbmx2l/how_do_i_successfully_cheat_on_edgenuity_without/

https://finance.yahoo.com/news/edgenuity-announces-recognitions-tech-learning-140000177.html

本文轉(zhuǎn)載自微信公眾號“量子位”，作者邊策、蕭簫。文章為作者獨(dú)立觀點(diǎn)，不代表芥末堆立場，轉(zhuǎn)載請聯(lián)系原作者。