圖源：Unsplash

芥末堆文 近日，商湯科技發(fā)布多模態(tài)多任務(wù)通用大模型“書(shū)生（INTERN）2.5”。其擁有30億參數(shù)，是物體檢測(cè)標(biāo)桿數(shù)據(jù)集COCO中唯一超過(guò)65.0 mAP的模型，“書(shū)生2.5”的圖文跨模態(tài)開(kāi)放任務(wù)處理能力可為自動(dòng)駕駛、機(jī)器人等通用場(chǎng)景任務(wù)提供高效精準(zhǔn)的感知和理解能力支持。

據(jù)介紹，“書(shū)生”由商湯科技、上海人工智能實(shí)驗(yàn)室、清華大學(xué)、香港中文大學(xué)、上海交通大學(xué)于2021年11月首次共同發(fā)布，并持續(xù)聯(lián)合研發(fā)。目前，“書(shū)生2.5”多模態(tài)通用大模型已在商湯參與的通用視覺(jué)開(kāi)源平臺(tái)OpenGVLab開(kāi)源。

據(jù)悉，“書(shū)生2.5”可通過(guò)文本來(lái)定義任務(wù)，從而靈活地定義不同場(chǎng)景的任務(wù)需求，并根據(jù)給定視覺(jué)圖像和任務(wù)的提示性語(yǔ)句，給出相應(yīng)的指令或作答，進(jìn)而具備通用場(chǎng)景下的高級(jí)感知和復(fù)雜問(wèn)題處理能力，比如圖像描述、視覺(jué)問(wèn)答、視覺(jué)推理和文字識(shí)別等。

在自動(dòng)駕駛和居家機(jī)器人等通用場(chǎng)景下，“書(shū)生2.5”可輔助處理各種復(fù)雜任務(wù)。例如，在自動(dòng)駕駛場(chǎng)景中，可以大幅提升場(chǎng)景感知理解能力，準(zhǔn)確輔助車輛判斷交通信號(hào)燈狀態(tài)、道路標(biāo)志牌等信息，為車輛決策規(guī)劃提供有效信息輸入。

此外，“書(shū)生2.5”可根據(jù)文本快速檢索出視覺(jué)內(nèi)容，例如，可在相冊(cè)中返回文本所指定的相關(guān)圖像，或是在視頻中檢索出與文本描述最相關(guān)的幀，提高視頻中時(shí)間定位任務(wù)的效率。此外還支持引入物體檢測(cè)框，根據(jù)文本返回最相關(guān)的物體，實(shí)現(xiàn)開(kāi)放世界視頻或圖像中物體檢測(cè)及視覺(jué)定位。