文心一言VS天工大模型，究竟誰(shuí)才是國(guó)內(nèi)“首個(gè)”ChatGPT？

撰文 |?王語(yǔ)妤

編輯 | 楊博丞

題圖 | IC Photo

最近，昆侖萬(wàn)維和百度“杠”起來(lái)了，原因還是因?yàn)樽罱蠡鸬拇笳Z(yǔ)言模型。

4月17日，昆侖萬(wàn)維正式推出“天工”大模型，并于當(dāng)日開(kāi)啟測(cè)試邀請(qǐng)。彼時(shí)，昆侖萬(wàn)維對(duì)外的宣傳用語(yǔ)是“中國(guó)第一個(gè)真正實(shí)現(xiàn)智能涌現(xiàn)的國(guó)產(chǎn)語(yǔ)言大模型?！?/p>

有意思的是，百度在發(fā)布文心一言的時(shí)候，對(duì)外輸出的宣傳用語(yǔ)是“國(guó)內(nèi)首家做出大語(yǔ)言模型產(chǎn)品的科技互聯(lián)網(wǎng)大廠”。

從表面上看，兩家的宣傳語(yǔ)中心不一樣，話術(shù)也有所不同，看似風(fēng)平浪靜，但實(shí)則內(nèi)核都是在爭(zhēng)一個(gè)“首家”。

為什么要爭(zhēng)“首家”，除了能力的對(duì)比，市場(chǎng)的爭(zhēng)奪外，還有振奮股價(jià)，提高市值的作用，百度消息公布當(dāng)天，港股股價(jià)大漲15%，昆侖萬(wàn)維也一樣，官宣第二天股價(jià)漲幅達(dá)到7.68%。

不過(guò)，究竟誰(shuí)是國(guó)內(nèi)首家呢？

從項(xiàng)目披露時(shí)間來(lái)看，百度是在去年9月份左右開(kāi)始去內(nèi)部推進(jìn)文心一言項(xiàng)目，到今年2月初正式放出項(xiàng)目的消息，并于3月中旬正式對(duì)外官宣了文心一言。

昆侖萬(wàn)維官方并沒(méi)有公布具體的項(xiàng)目開(kāi)始時(shí)間，但是從2020年開(kāi)始，昆侖萬(wàn)維就已經(jīng)開(kāi)始布局AIGC領(lǐng)域。

從技術(shù)層面來(lái)看，文心一言背后，百度在人工智能領(lǐng)域有四層架構(gòu)、全棧布局，包括底層的芯片、深度學(xué)習(xí)框架、大模型以及最上層的搜索等應(yīng)用。另外，深耕人工智能領(lǐng)域多年的百度，擁有產(chǎn)業(yè)級(jí)知識(shí)增強(qiáng)文心大模型ERNIE，具備跨模態(tài)、跨語(yǔ)言的深度語(yǔ)義理解與生成能力。

昆侖萬(wàn)維同樣具備大模型四要素：數(shù)據(jù)、算力、算法以及大參數(shù)語(yǔ)言模型。據(jù)昆侖萬(wàn)維介紹，天工是雙千億參數(shù)訓(xùn)練的結(jié)果——千億預(yù)訓(xùn)練基座模型、千億RLHF模型。

不過(guò)，既然兩家的底座能力看起來(lái)不相上下，那么我們就將這兩家放在一起，試試“內(nèi)功”。

01、中文語(yǔ)意理解能力

昆侖萬(wàn)維對(duì)外展示的技術(shù)路徑現(xiàn)實(shí)，天工團(tuán)隊(duì)引入模特卡洛搜索樹(shù)算法后，在語(yǔ)意理解、轉(zhuǎn)換話題能力上有所提升。

在此背景下，我們首先和天工玩起了成語(yǔ)接龍游戲。不過(guò)，天工的完成度并不好，甚至沒(méi)能理解什么是成語(yǔ)接龍。

文心一言在成語(yǔ)接龍上的表現(xiàn)是優(yōu)于天工大模型的。

緊接著，我們向文心一言和天工大模型拋出了一個(gè)問(wèn)題——“寫一本類似《人世間》一樣題材宏大，展現(xiàn)中國(guó)歷史變遷的小說(shuō)提綱，字?jǐn)?shù)1000字左右?！睂?duì)于這個(gè)問(wèn)題，文心一言和天工都將問(wèn)題的重心放在了“題材宏大”、“歷史變遷”這兩個(gè)關(guān)鍵詞上。

于是，兩家生成的內(nèi)容都不符合我們最開(kāi)始的預(yù)期。

上圖“天工大模型”，下圖文心一言

這個(gè)問(wèn)題，或許是由于我們給出了一定的誤導(dǎo)性，所以導(dǎo)致兩家生成的答案都不盡人意。但是，天工稍微比文心一言好一些，原因在于，文心一言將“歷史變遷”直接解讀成了朝代變遷。

盡管天工的回答也是文不對(duì)題，但是有人物設(shè)定，朝代設(shè)定，內(nèi)容的可操作性和延展性明顯是優(yōu)于文心一言。

將問(wèn)題拉回《人世間》類似的小說(shuō)提綱，我們改變了提問(wèn)角度，連續(xù)發(fā)文：《人世間》講了一個(gè)什么樣的故事、那你能寫出類似題材的小說(shuō)提綱么？大概1000字左右

在提取重點(diǎn)、聯(lián)想寫作、以及話題的連續(xù)性上，天工的表現(xiàn)還是不錯(cuò)的。

但是文心一言就“開(kāi)了小差”。

文心一言的回答出現(xiàn)了明顯的錯(cuò)誤。不過(guò)，我們?cè)僖淮螌?wèn)題拋給文心一言，重新生成答案。這一次，文心一言又重回正軌，給出了相應(yīng)的答案。

此外，我們還用三個(gè)連續(xù)性問(wèn)題，向天工發(fā)問(wèn)。此前，我們?cè)凇洞笤u(píng)測(cè)！ChatGPT 、文心一言和Bard誰(shuí)更強(qiáng)？》中，將同樣的問(wèn)題給到過(guò)文心一言、Bard、以及ChatGPT。

可以說(shuō)，天工的前兩個(gè)問(wèn)題回答和文心一言此前的回答不相上下，但在最后一個(gè)藏頭詩(shī)的理解上，還是存在一定的偏差。

盡管，文心一言的藏頭詩(shī)回答的也并不好，但好在，文心一言理解了“藏頭”的意思。而天工，似乎還并未消化掉“藏頭”的意思。

02.邏輯思辨能力

為了測(cè)試“邏輯推理”能力，我們將這樣一題拋給了天工和文心一言，即“如果貓會(huì)爬樹(shù)，那么狗也會(huì)?！?/p>

上圖“天工大模型”，下圖文心一言

很明顯，天工和文心一言也陷入了題目的誤區(qū)，或者說(shuō)，并沒(méi)有完全理解題目意思。不過(guò)，這里需要強(qiáng)調(diào)的是，在雞兔同籠問(wèn)題上，文心一言和天工在發(fā)布的視頻中都有不錯(cuò)的表現(xiàn)。

在文心一言發(fā)布會(huì)上，李彥宏詢問(wèn)文心一言“雞兔同籠”的問(wèn)題，在題目數(shù)據(jù)錯(cuò)誤的前提下，文心一言通過(guò)推理證明了題目存在問(wèn)題。

這里需要注意的是，在這個(gè)邏輯推理上，ChatGPT的回答，是天工、文心一言、bard這四家大模型中唯一正確的，并指出了貓和狗的不同，證明貓會(huì)爬樹(shù)，而狗不會(huì)。

除了考驗(yàn)邏輯能力之外，我們還將一個(gè)哲學(xué)思辨問(wèn)題，同時(shí)向天工和文心一言發(fā)文。

上圖“天工大模型”，下圖文心一言

在哲學(xué)問(wèn)題的理解上，天工和文心一言區(qū)別不大，但文心一言略顯“人文”一些，在解讀之后，更是直接告訴我們?cè)撛趺醋觯袷呛腿嗽趯?duì)話一樣，天工的回答則更是一本正經(jīng)。

可以這樣來(lái)說(shuō)，和天工對(duì)話像是和老師對(duì)話，老師需要回答這個(gè)問(wèn)題是什么；和文心一言對(duì)話則更像是和心理醫(yī)生對(duì)話，醫(yī)生需要在解釋的基礎(chǔ)上給出意見(jiàn)。

03.編程能力

為了測(cè)試這兩大模型寫代碼的能力，我們?cè)儐?wèn)了一個(gè)非常簡(jiǎn)單的問(wèn)題——x+2=5，y-3=7，輸出x+y等于幾，用java做一個(gè)簡(jiǎn)單編程，并得出結(jié)果。

上圖“天工大模型”，下圖文心一言

但是很顯然，這兩大模型給出的結(jié)果都是有問(wèn)題的。

不過(guò)，在其他評(píng)測(cè)稿件中，文心一言和天工在編程能力的表現(xiàn)上并不差。我們認(rèn)為，目前來(lái)看，這些大模型的能力還并不穩(wěn)定，還需要在不斷的訓(xùn)練中提高準(zhǔn)確性。

結(jié)語(yǔ)

總結(jié)來(lái)看，文心一言也好，天工也罷，他們的能力相對(duì)來(lái)說(shuō)，差距不大。但更多的問(wèn)題在于，目前，大模型每一次生成的問(wèn)題答案都存在一定的誤差。

相比于“首家”之爭(zhēng)，我們認(rèn)為，企業(yè)們更重要的是在于提升大模型的能力和準(zhǔn)確度，并且尋找到更多合適的場(chǎng)景去實(shí)現(xiàn)商業(yè)化。

大模型賽道愈發(fā)熱烈，誰(shuí)都想做風(fēng)口上的豬，但是能在風(fēng)口上起飛的豬，往往都是做好了充足的準(zhǔn)備。

此外，我們還應(yīng)該多給國(guó)內(nèi)科技企業(yè)更多的信心，和國(guó)外ChatGPT4相比，國(guó)內(nèi)大模型還是有一定差距，但是我相信，這個(gè)差距在不遠(yuǎn)的將來(lái)，在競(jìng)爭(zhēng)中，都會(huì)逐漸拉小。國(guó)內(nèi)大模型，未來(lái)可期。

生成海報(bào)

免責(zé)聲明：本網(wǎng)站內(nèi)容主要來(lái)自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿，凡在本網(wǎng)站出現(xiàn)的信息，均僅供參考。本網(wǎng)站將盡力確保所提供信息的準(zhǔn)確性及可靠性，但不保證有關(guān)資料的準(zhǔn)確性及可靠性，讀者在使用前請(qǐng)進(jìn)一步核實(shí)，并對(duì)任何自主決定的行為負(fù)責(zé)。本網(wǎng)站對(duì)有關(guān)資料所引致的錯(cuò)誤、不確或遺漏，概不負(fù)任何法律責(zé)任。任何單位或個(gè)人認(rèn)為本網(wǎng)站中的網(wǎng)頁(yè)或鏈接內(nèi)容可能涉嫌侵犯其知識(shí)產(chǎn)權(quán)或存在不實(shí)內(nèi)容時(shí)，應(yīng)及時(shí)向本網(wǎng)站提出書面權(quán)利通知或不實(shí)情況說(shuō)明，并提供身份證明、權(quán)屬證明及詳細(xì)侵權(quán)或不實(shí)情況證明。本網(wǎng)站在收到上述法律文件后，將會(huì)依法盡快聯(lián)系相關(guān)文章源頭核實(shí)，溝通刪除相關(guān)內(nèi)容或斷開(kāi)相關(guān)鏈接。