芥末堆芥末堆

北京中考試卷出爐,來看九章大模型對決GPT-4o

作者:舒克 發(fā)布時間:

北京中考試卷出爐,來看九章大模型對決GPT-4o

作者:舒克 發(fā)布時間:

摘要:讓我們以今年北京中考數(shù)學試卷為例,再測一下大模型們的答題實力吧!

繼高考之后,各地中考也陸續(xù)落下帷幕。之前,多家機構和媒體用高考題評測大模型們的“高考成績”,吸引了不少眼球。那面對中考題,尤其是大模型不太擅長的數(shù)學科目,又會有怎樣的結果呢?

讓我們以今年北京中考數(shù)學試卷為例,再測一下大模型們的答題實力吧!

今天的測試“選手”分別是國產(chǎn)九章大模型和GPT-4o大模型。九章大模型(MathGPT),是學而思自主研發(fā),面向全球數(shù)學愛好者和科研機構,以解題和講題算法為核心的大模型。此前在Matheval排行榜多個維度的評測中都排名第一。GPT-4o是由OpenAI公司研發(fā),是國際上備受關注的大語言模型之一,除了自然語言處理,GPT-4o還具備一定的推理能力,能夠處理需要邏輯分析和判斷的問題。

究竟誰在這場“數(shù)學比拼”中更勝一籌,讓我們一起看看。

一、先說結論

本次測試選擇了2024年北京中考數(shù)學試卷中的17道題,分別是8道選擇題、8道填空題以及1道解答題。

在測試題目的比拼中,九章大模型的正確率為85%,GPT-4o的正確率為75%。

【九章大模型(MathGPT)】

選擇題8題,做對5題。

填空題8題,做對6題。

九章大模型總分 = 5 * 2分 + 6* 2分+1分  = 23分 (滿分30分)

【GPT-4o】

選擇題8題, 正確5題。

填空題8題, 正確5題。

GPT-4o總分 = 5* 2分 + 5* 2分  = 20分 (滿分30分)

注:填空題的最后一題有兩問共2分,答對一問記1分。

在這次AI比拼中,九章大模型憑借其在數(shù)學領域的專業(yè)優(yōu)勢,取得了較高的正確率。這表明在特定領域,尤其是數(shù)學解題,定制化的大模型能夠展現(xiàn)出更強的性能。然而,兩者在復雜圖題上的表現(xiàn)都存在不足,說明在這類問題的邏輯推理和步驟展示上,AI仍有待提升。

從教育的角度看,AI大模型為學習者提供了及時反饋和考點解析,有助于增強學習體驗和深度理解。但同時,AI的局限性也提醒我們,它目前還不能完全替代人類教師的角色,尤其是在精細化指導和情感交流層面。

未來,AI與教育的結合可能會推動教學模式的創(chuàng)新,如人機協(xié)同教學以及自適應學習路徑等。要實現(xiàn)這些愿景,AI技術需要在保證準確性和普適性的同時,進一步增強其在復雜情境下的理解和應用能力。

二、測試方法

1、測試題目:2024年北京中考數(shù)學試卷選擇題的第1-8題,填空題的第9-16題,解答題第26題。

2、由于數(shù)學解答題的評估涉及復雜的推理步驟和邏輯判斷,直接評判模型答案的正確性較為困難。因此,本次測試的重點放在了選擇題和填空題上,這些題目通常有明確的正確答案,便于公正地評估模型的解答能力。

三、選擇題,難分伯仲

 6.png

以一道經(jīng)典的概率推論題為例,一起來看一下二者的分析過程

九章大模型如下作答:

7.png

GPT-4o分析思路:

8.png

四、填空題,九章大模型獲勝

 9.png
第14題,GPT-4o回答錯誤

九章大模型正確解答:

10.png

GPT-4o的分析過程:

11.png

第16題,均出現(xiàn)錯誤

九章大模型只答對了第一問,其分析過程:

12.png

GPT-4o兩問均回答錯誤,其解答過程:

13.png

14.png

五、解答題

第26題,九章大模型最終答案正確。

九章大模型的分析過程:

15.pngGPT-4o最終答案有誤,其分析過程:

16.png


1、本文是 芥末堆網(wǎng)原創(chuàng)文章,轉載可點擊 芥末堆內(nèi)容合作 了解詳情,未經(jīng)授權拒絕一切形式轉載,違者必究;
2、芥末堆不接受通過公關費、車馬費等任何形式發(fā)布失實文章,只呈現(xiàn)有價值的內(nèi)容給讀者;
3、如果你也從事教育,并希望被芥末堆報道,請您 填寫信息告訴我們。
來源: 芥末堆
芥末堆商務合作:王老師 18710003484
  • 北京中考試卷出爐,來看九章大模型對決GPT-4o分享二維碼