作為近年來(lái)自然語(yǔ)言處理 (NLP) 技術(shù)的集大成者，「ChatGPT」 一經(jīng)推出就引起了巨大的轟動(dòng)，很多人甚至將其視為真正的人工智能?！窩hatGPT」 表現(xiàn)出了非常驚艷的語(yǔ)言理解、生成、知識(shí)推理能力，它可以很好地理解用戶意圖，做到有效的多輪溝通，并且回答內(nèi)容完整、重點(diǎn)清晰、有概括、有邏輯、有條理。目前「ChatGPT」 使用的語(yǔ)言模型是 GPT-3.5。
「ChatGPT Plus」 版本的用戶可以試用 GPT-4.0。GPT-4.0 是一個(gè)大型多模態(tài)模型(接受圖像和文本輸入，提供文本輸出)。相較 GPT-3.5主要實(shí)現(xiàn)了以下幾個(gè)方面的飛躍式提升：強(qiáng)大的識(shí)圖能力;文字輸入限制提升至 2.5 萬(wàn)字;回答準(zhǔn)確性顯著提高;能夠生成歌詞、創(chuàng)意文本，實(shí)現(xiàn)風(fēng)格變化。OpenAI 稱，“雖然這兩個(gè)版本在隨意的談話中看起來(lái)很相似，但當(dāng)任務(wù)的復(fù)雜性達(dá)到足夠的閾值時(shí)，差異就會(huì)出現(xiàn)“—GPT-4.0更可靠、更有創(chuàng)意，并且能夠處理更細(xì)微的指令。
和「ChatGPT」一樣，百度的「文心一言」是一個(gè)多模態(tài)大模型，包括文學(xué)創(chuàng)作、商業(yè)文案創(chuàng)作、數(shù)理邏輯推算等能力。
那么，這個(gè)“中國(guó)版的ChatGPT“到底實(shí)力如何?九方科技團(tuán)隊(duì)對(duì)「文心一言」和「ChatGPT」進(jìn)行了實(shí)測(cè)，對(duì)比一下「文心一言」 VS 「ChatGPT」誰(shuí)更強(qiáng)。
事件發(fā)展
以下為ChatGPT、GPT-4.0、文心一言等推出、逐步進(jìn)化的事件發(fā)展始末，主要幫助讀者梳理、了解整個(gè)發(fā)展脈絡(luò)。
2022年11月30日，OpenAI推出「ChatGPT」
2022年12月4日，「ChatGPT」已有超過(guò)一百萬(wàn)用戶。
2023年1月，「ChatGPT」的用戶數(shù)超過(guò)1億，成為該時(shí)間段內(nèi)增長(zhǎng)最快的消費(fèi)者應(yīng)用程序。
2023年3月14日，OpenAI 宣布正式發(fā)布「GPT-4.0」。
2023年3月16日，百度宣布正式推出基于百度新一代大語(yǔ)言模型的生成式AI產(chǎn)品「文心一言」。
2023年3月17日，申請(qǐng)內(nèi)測(cè)用戶開(kāi)始逐漸收到百度「文心一言」邀請(qǐng)碼，用戶開(kāi)始測(cè)評(píng)。
實(shí)際測(cè)評(píng)
本文選擇文心一言、ChatGPT進(jìn)行測(cè)評(píng)，對(duì)比僅挑選幾個(gè)AIGC常見(jiàn)業(yè)務(wù)應(yīng)用場(chǎng)景的例子，主要展示文心一言與ChatGPT在各方面的差異，大家感興趣可以去官網(wǎng)申請(qǐng)?jiān)囉茫倬W(wǎng)地址附在文末。
1. 文字創(chuàng)作
本次測(cè)評(píng)分別使用文心一言和ChatGPT來(lái)為給定文章生成相對(duì)應(yīng)的評(píng)論。
「文心一言」
文心一言：
1)內(nèi)容更像總結(jié)
2)存在字?jǐn)?shù)小于20的情況
3)生成大于5條評(píng)論
4)結(jié)果輸出格式排序混亂，存在重復(fù)
「ChatGPT」
ChatGPT：
1)內(nèi)容更像評(píng)論
2)字?jǐn)?shù)均大于20
3)生成5條評(píng)論
4)結(jié)果輸出格式整齊統(tǒng)一
從結(jié)果來(lái)看，ChatGPT給出的結(jié)果更符合九方科技團(tuán)隊(duì)的預(yù)期，文心一言關(guān)于文字創(chuàng)作方面稍遜一籌，輸出結(jié)果不可控。
2. 文章改寫
本次測(cè)評(píng)分別使用文心一言和ChatGPT來(lái)對(duì)給定文章進(jìn)行分段、合并、去版權(quán)、改寫等。
「文心一言」
「ChatGPT」
可以看出，ChatGPT準(zhǔn)確給出了文章改寫結(jié)果，并按照指定json格式返回。文心一言返回內(nèi)容顯然有誤，不及預(yù)期。
3. 關(guān)鍵信息抽取
本次測(cè)評(píng)分別使用文心一言和ChatGPT來(lái)為給定文章生成內(nèi)容標(biāo)題、關(guān)鍵詞等。
「文心一言」
「ChatGPT」
從結(jié)果看來(lái)，文心一言對(duì)輸出格式、字?jǐn)?shù)的控制及關(guān)鍵詞的質(zhì)量把握存在不穩(wěn)定性，ChatGPT返回結(jié)果更加準(zhǔn)確、結(jié)構(gòu)清晰、穩(wěn)定性更高。
4. 輸出格式控制
本次測(cè)評(píng)分別使用文心一言和ChatGPT來(lái)指定輸出結(jié)果的格式。
「文心一言」
「ChatGPT」
關(guān)于返回結(jié)果輸出格式，ChatGPT比文心一言穩(wěn)定性更高，并且更符合標(biāo)準(zhǔn)格式。如果輸出結(jié)果格式不穩(wěn)定，會(huì)導(dǎo)致結(jié)果后處理很難統(tǒng)一。
5. 多模態(tài)作圖
「文心一言」
文心一言自帶文生圖的功能，基本能給出較為符合預(yù)期的圖像，但質(zhì)量無(wú)法保證，結(jié)果并不可控。
「ChatGPT」
ChatGPT目前只能測(cè)試到GPT-3.5，GPT-4.0具備多模態(tài)作圖能力，但目前無(wú)法測(cè)試，九方科技團(tuán)隊(duì)暫時(shí)采用plus版本的網(wǎng)友測(cè)試反饋來(lái)進(jìn)行對(duì)比展示，后續(xù)開(kāi)放之后，進(jìn)行測(cè)試。
在這個(gè)示例中，用戶提問(wèn)：下面這張圖搞笑在哪里?請(qǐng)逐一進(jìn)行回答。
GPT-4.0可以按順序描述出每一格的內(nèi)容，并總結(jié)出笑點(diǎn)：用巨大的過(guò)時(shí)VGA接口給小巧的現(xiàn)代智能手機(jī)充電。
除此之外，GPT-4.0還具備閱讀論文、根據(jù)草稿畫(huà)網(wǎng)頁(yè)、理解漫畫(huà)等圖表理解能力，可見(jiàn)GPT-4.0的多模態(tài)能力已經(jīng)非常強(qiáng)大。
優(yōu)、缺點(diǎn)對(duì)比
「文心一言」
優(yōu)點(diǎn)：
1. 中文場(chǎng)景表現(xiàn)較為優(yōu)秀。
2. 問(wèn)題生成響應(yīng)時(shí)間較快。
3. 具備基本寫作能力。
4. 自帶文生圖功能。
缺點(diǎn)：
1. 生成文字不一定具備事實(shí)性。
2. 上下文理解能力弱，長(zhǎng)提示有可能記憶失效或細(xì)節(jié)失效。
3. 不能對(duì)輸出格式做細(xì)致調(diào)整。
4. 作畫(huà)采用文心一格模型，但可控性較差，質(zhì)量無(wú)法保證。
「ChatGPT」
優(yōu)點(diǎn)：
1. 對(duì)大部分事實(shí)回答能保證正確性，具備一定的邏輯推理能力。
2. 具備很強(qiáng)的寫作能力。
3. 上下文理解能力強(qiáng)，能記憶較長(zhǎng)提示信息的細(xì)節(jié)內(nèi)容。
4. 能對(duì)輸出格式做細(xì)致調(diào)整。
5. 支持多語(yǔ)種。
缺點(diǎn)：
1. 對(duì)僅在中文環(huán)境下熟知的事實(shí)缺乏準(zhǔn)確性。
2. 生成時(shí)間較長(zhǎng)。
3. 不支持方言及國(guó)內(nèi)網(wǎng)絡(luò)環(huán)境下的新生詞匯。
4. 只能處理文生文場(chǎng)景。
總結(jié)
總的來(lái)說(shuō)，文心一言的整體使用效果要遜色于ChatGPT。無(wú)論從提示問(wèn)題的理解程度、返回結(jié)果的質(zhì)量，還是到細(xì)節(jié)的處理上，ChatGPT都要看起來(lái)更加“聰明”。
在國(guó)內(nèi)，百度NLP確實(shí)處于技術(shù)領(lǐng)先地位，這么多年來(lái)，一直持續(xù)做著AI相關(guān)技術(shù)的積累和跟進(jìn)，從深度學(xué)習(xí)框架到大模型以及相關(guān)的應(yīng)用，都有布局。能在這么短時(shí)間推出類ChatGPT產(chǎn)品，值得尊敬，這毫無(wú)疑問(wèn)與之前的持續(xù)積累有關(guān)。
但根據(jù)實(shí)際評(píng)測(cè)結(jié)果來(lái)看，文心一言整體效果上和ChatGPT的差距還是有的，加上GPT4.0的出現(xiàn)，依然有很長(zhǎng)一段路要走。但九方科技團(tuán)隊(duì)相信，這只是時(shí)間問(wèn)題。
1. 百度「文心一言」目前只開(kāi)放了部分內(nèi)測(cè)賬號(hào)，只提供了頁(yè)面試用的方式，API開(kāi)放時(shí)間未知。
官網(wǎng)地址：https://yiyan.baidu.com
2. OpenAI「ChatGPT」GPT-4.0由于需要國(guó)外付費(fèi)賬號(hào)，暫時(shí)無(wú)法測(cè)試和使用，本篇實(shí)測(cè)僅針對(duì)GPT-3.5。
官網(wǎng)地址：https://chat.openai.com/chat
關(guān)于九方科技
九方科技自成立以來(lái)，一直專注于服務(wù)金融客戶，以用戶需求為基石驅(qū)動(dòng)產(chǎn)品技術(shù)升級(jí)，致力于打造更多滿足用戶需求的金融大數(shù)據(jù)產(chǎn)品。目前，九方科技擁有多項(xiàng)核心技術(shù)，如大數(shù)據(jù)處理和分析技術(shù)、基于機(jī)器學(xué)習(xí)的數(shù)據(jù)可視化技術(shù)、大數(shù)據(jù)云計(jì)算技術(shù)等，在金融領(lǐng)域積累了深厚的技術(shù)經(jīng)驗(yàn)和專業(yè)知識(shí)，能夠?yàn)榻鹑诳蛻籼峁┤轿坏拇髷?shù)據(jù)解決方案。
（免責(zé)聲明：本網(wǎng)站內(nèi)容主要來(lái)自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿，凡在本網(wǎng)站出現(xiàn)的信息，均僅供參考。本網(wǎng)站將盡力確保所提供信息的準(zhǔn)確性及可靠性，但不保證有關(guān)資料的準(zhǔn)確性及可靠性，讀者在使用前請(qǐng)進(jìn)一步核實(shí)，并對(duì)任何自主決定的行為負(fù)責(zé)。本網(wǎng)站對(duì)有關(guān)資料所引致的錯(cuò)誤、不確或遺漏，概不負(fù)任何法律責(zé)任。
任何單位或個(gè)人認(rèn)為本網(wǎng)站中的網(wǎng)頁(yè)或鏈接內(nèi)容可能涉嫌侵犯其知識(shí)產(chǎn)權(quán)或存在不實(shí)內(nèi)容時(shí)，應(yīng)及時(shí)向本網(wǎng)站提出書(shū)面權(quán)利通知或不實(shí)情況說(shuō)明，并提供身份證明、權(quán)屬證明及詳細(xì)侵權(quán)或不實(shí)情況證明。本網(wǎng)站在收到上述法律文件后，將會(huì)依法盡快聯(lián)系相關(guān)文章源頭核實(shí)，溝通刪除相關(guān)內(nèi)容或斷開(kāi)相關(guān)鏈接。 ）
