又是一年高考時(shí),除文作文題目,其他的題你還能看懂嘛?你也許不懂,但大模型可以!
今天的測試,讓國產(chǎn)九章大模型(MathGPT)和GPT-4o一起做今年的數(shù)學(xué)題,以2024全國甲卷數(shù)學(xué)高考真題為例,讓我們看看結(jié)果到底如何。
一、先說結(jié)論
【九章大模型(MathGPT)】
選擇題12題,做對(duì)7題。
填空題4題,做對(duì)2題。
九章大模型總分 = 7 * 5分 + 2 * 5分 = 45分 (滿分90分)
【GPT-4o】
選擇題12題, 正確7題。
填空題4題, 正確1題。
GPT-4o總分 = 7 * 5分 + 1 * 5分 = 40分 (滿分90分)
九章大模型作為以數(shù)學(xué)領(lǐng)域的解題和講題算法為核心的大模型,在高考數(shù)學(xué)題目上更勝一籌,比GPT-4o得分更高。同時(shí)“點(diǎn)睛”分析也是九章大模型的特色,在解題的同時(shí)還拆解了題目的考點(diǎn),更適合給學(xué)習(xí)者參考。
但從絕對(duì)值的分?jǐn)?shù)來看,兩個(gè)大模型的整體答題分?jǐn)?shù)都不算太高。大模型做數(shù)學(xué)題仍是一個(gè)難度較大的挑戰(zhàn),短期的模型表現(xiàn)還達(dá)不到完美。
二、測試方法說明
1、測試題目:2024年高考全國甲卷數(shù)學(xué)真題
2、數(shù)學(xué)解答題的評(píng)分考核步驟過程,答題準(zhǔn)確與否不易評(píng)判,所以只針對(duì)有明確答案的選擇題和填空題來測試。
3、在測試中我們發(fā)現(xiàn),文本輸入格式的不同,會(huì)對(duì)測試結(jié)果造成比較明顯的干擾。于是此次測試采用了上傳圖片文本識(shí)別的方式,讓大模型識(shí)別題目并做題,更能保證結(jié)果的公平客觀。同時(shí),這種識(shí)圖的方式也更類似“人類視覺讀題”的情況,是對(duì)大模型能力的全面考驗(yàn)。
三、選擇題,九章大模型、GPT-4o互有勝負(fù)
2024年高考全國甲卷數(shù)學(xué)題共12道選擇題,九章大模型和GPT-4o都是有7道正確,但做對(duì)的題目不完全相同,互有勝負(fù)。
具體來看幾道題:
第2題,九章大模型做對(duì),GPT-4o做錯(cuò):
原題:
九章大模型解答:
GPT-4o解答:
第9題,九章大模型做對(duì),GPT-4o認(rèn)為沒有正確答案:
原題:
九章大模型解答:
GPT-4o解答:
第10題,九章大模型做錯(cuò),GPT-4o做對(duì):
原題:
九章大模型解答:
GPT-4o解答,答案選擇正確,但其中解題對(duì)命題①的分析存在錯(cuò)誤:
四、填空題,GPT-4o做對(duì)一道,九章做對(duì)兩道
具體來看兩道題:
第14題,九章大模型和GPT-4o都做對(duì):
原題:
九章大模型解答:
GPT-4o解答:
第16題,九章大模型做對(duì),GPT-4o做錯(cuò):
原題:
九章大模型解答:
GPT-4o解答:
關(guān)于GPT-4o
2024年5月14日,OpenAI宣布推出GPT-4o,GPT-4o在處理速度上提升了高達(dá)200%,GPT-4o所有功能包括視覺、聯(lián)網(wǎng)、記憶、執(zhí)行代碼以及GPT Store等,可以實(shí)時(shí)對(duì)音頻、視覺和文本進(jìn)行推理。
關(guān)于九章大模型
學(xué)而思九章大模型(MathGPT)是學(xué)而思自主研發(fā)的,面向全球數(shù)學(xué)愛好者和科研機(jī)構(gòu),以解題和講題算法為核心的大模型。2023 年 11 月,九章大模型成為首批通過備案的教育大模型。
2、芥末堆不接受通過公關(guān)費(fèi)、車馬費(fèi)等任何形式發(fā)布失實(shí)文章,只呈現(xiàn)有價(jià)值的內(nèi)容給讀者;
3、如果你也從事教育,并希望被芥末堆報(bào)道,請(qǐng)您 填寫信息告訴我們。