史上最強(qiáng)NLP模型GPT 2.0的吃瓜指南

原標(biāo)題：史上最強(qiáng)NLP模型GPT 2.0的吃瓜指南

元宵一過(guò) ，年就算正式過(guò)完了。沒(méi)曾想OpenAI和馬斯克，居然抓住了春節(jié)的小尾巴，攜手為全球人民貢獻(xiàn)出一個(gè)大瓜。

事情是這樣的，上周OpenAI推出了一個(gè)號(hào)稱“史上最強(qiáng)通用NLP模型”的新算法GPT-2.0，卻沒(méi)有按照慣例開(kāi)放該模型和數(shù)據(jù)集。

研究人員們的溢美之詞還沒(méi)來(lái)得及說(shuō)完，立馬被OpenAI這波操作氣得怒從心頭起，紛紛斥責(zé)它全忘初心、惡意炒作。

有人吐槽它應(yīng)該改名叫“ClosedAI”，還有人把怒火燒到了OPENAI的資助者之一的埃隆·馬斯克身上。后者卻立馬甩鍋，表示“沒(méi)有參與 OpenAI 公司事務(wù)已超過(guò)一年”，“早就理念不合”，正式發(fā)推要求“和平分手”……

不但惹了眾怒，還把創(chuàng)始人兼金主爸爸給玩跑了，OpenAI這是攤上大事，順手承包了一個(gè)瓜田啊。

想要有技術(shù)、有品位地吃瓜，先得了解一下，能攪亂技術(shù)社區(qū)的一池春水、讓OpenAI心甘情愿背鍋的“罪魁禍?zhǔn)住薄狦PT2.0，到底有什么神奇之處？

風(fēng)暴中心的GPT2.0究竟有多特別？

我們知道，訓(xùn)練大型神經(jīng)網(wǎng)絡(luò)語(yǔ)言模型一直是NLP領(lǐng)域最具含金量的研究。其中，語(yǔ)義的連貫性，也就是語(yǔ)言生成模型預(yù)測(cè)上下文的準(zhǔn)確度，一直是一個(gè)“老大難”問(wèn)題。

為了解決這個(gè)難題，性能更好的通用語(yǔ)言模型就成了研究人員關(guān)注的重點(diǎn)。從AI2的 ELMo，到OpenAI的GPT1.0，再到前不久Google的BERT，都是為了讓機(jī)器不再尬言尬語(yǔ)顛三倒四，說(shuō)話更加通順連貫。

但萬(wàn)萬(wàn)沒(méi)想到，幾個(gè)月前號(hào)稱“引領(lǐng)NLP走進(jìn)新時(shí)代”的BERT，這么快就被GPT2.0取代了。

按照深度學(xué)習(xí)四大要素來(lái)對(duì)比一下，GPT 2.0到底強(qiáng)在哪里呢？

1. 訓(xùn)練數(shù)據(jù)。引發(fā)廣泛關(guān)注的BERT，使用了3億參數(shù)量進(jìn)行訓(xùn)練，刷新了11項(xiàng)NLP紀(jì)錄，這在當(dāng)時(shí)是前所未有的。

而OpenAI推出的GPT-2，則參數(shù)量則“喪心病狂”地達(dá)到了15億之多，在一個(gè)800 萬(wàn)網(wǎng)頁(yè)數(shù)據(jù)集上訓(xùn)練而成，覆蓋的主題五花八門(mén)。不夸張的說(shuō)，GPT-2 可能是當(dāng)前最大的深度模型了。

2. 模型。在深度學(xué)習(xí)方法上，“先進(jìn)代表”BERT和GPT-2都采用了Transformer 技術(shù)。與傳統(tǒng)的特征抽取器RNN、CNN相比，Transformer無(wú)論是特征抽取、計(jì)算效率，還是翻譯任務(wù)的綜合能力上，都穩(wěn)操勝券。

不同之處在于，BERT用雙向語(yǔ)言模型做預(yù)訓(xùn)練，而GPT2.0則使用了古早時(shí)代的單向語(yǔ)言模型。坦率地說(shuō)，GPT-2在預(yù)訓(xùn)練中可以使用的架構(gòu)類型因此受到了限制，無(wú)法全面地融合語(yǔ)境，結(jié)果就是在下游任務(wù)中展現(xiàn)出來(lái)的性能遠(yuǎn)沒(méi)有當(dāng)初BERT來(lái)得驚艷。

至于為什么不“見(jiàn)賢思齊”，采用更先進(jìn)的雙向語(yǔ)言模型，大概是用長(zhǎng)矛干翻步槍這種挑戰(zhàn)，更能彰顯出“藝高人膽大”的極客風(fēng)范吧。

3. 算力。“巨無(wú)霸”GPT-2的預(yù)訓(xùn)練數(shù)據(jù)量規(guī)模橫掃所有玩家，使用了約 1000 萬(wàn)篇文章的數(shù)據(jù)集，文本集合達(dá) 40GB。這樣訓(xùn)練出來(lái)的語(yǔ)言模型優(yōu)勢(shì)很明顯，比使用專有數(shù)據(jù)集來(lái)的通用性更強(qiáng)，更能理解語(yǔ)言和知識(shí)邏輯，可以用于任意領(lǐng)域的下游任務(wù)。

但要完成這項(xiàng)任務(wù)，必須使用超大規(guī)模的GPU機(jī)器學(xué)習(xí)集群，OpenAI為此不得不去爭(zhēng)奪緊張而昂貴的GPU訓(xùn)練時(shí)間，光是龐大的開(kāi)銷就足以勸退很多想復(fù)現(xiàn)其工作的研究者了。

4. 應(yīng)用。說(shuō)了這么多，GPT-2的實(shí)際應(yīng)用效果究竟如何呢？來(lái)欣賞一下它的文學(xué)作品：

輸入喬治·奧威爾《一九八四》的開(kāi)場(chǎng)白：“這是四月的一天，天氣晴朗而寒冷，鐘敲了十三下”。系統(tǒng)就識(shí)別出模糊的未來(lái)主義基調(diào)和小說(shuō)風(fēng)格，并繼續(xù)寫(xiě)道：

“我在去西雅圖找新工作的路上開(kāi)著車。我把汽油放進(jìn)去，把鑰匙放進(jìn)去，然后讓它跑。我只是想象著那天會(huì)是什么樣子。一百年后的今天。2045 年，我在中國(guó)農(nóng)村的一所學(xué)校教書(shū)。我從中國(guó)歷史和科學(xué)史開(kāi)始?！?/p>

不僅情緒模仿到位，GPT-2還能創(chuàng)新觀點(diǎn)（哪怕是錯(cuò)誤的）。比如發(fā)表“回收對(duì)世界不利。這對(duì)環(huán)境有害，對(duì)我們的健康有害，對(duì)經(jīng)濟(jì)不利?！边@樣毫不政治正確、似是而非的言論。

從實(shí)際效果來(lái)看，GPT-2理解上下文、生成段落、語(yǔ)序連貫性的能力還是有目共睹的。難怪有專家說(shuō)，未來(lái)加上情節(jié)的約束，GPT-2續(xù)寫(xiě)《紅樓夢(mèng)》后40回也是有可能的。

儼然是一顆冉冉升起的寫(xiě)作新星，也確實(shí)能忽悠到一大部分不明所以的群眾。但連“跨時(shí)代”的BERT都爽快開(kāi)源了，也就優(yōu)秀了那么一小點(diǎn)的GPT-2的閉源，就顯得有些耐人尋味了。

從技術(shù)斗士到眾矢之的：OpenAI是如何打錯(cuò)一手好牌的？

甩出一個(gè)“怕被惡意用來(lái)制造假新聞”的說(shuō)辭，自然說(shuō)服不了經(jīng)歷過(guò)大風(fēng)大浪的人民群眾。假視頻都見(jiàn)識(shí)過(guò)了，機(jī)器人代筆寫(xiě)點(diǎn)新聞算什么呢，何況也就是小學(xué)生水平，至于“敝帚自珍”嗎？

同業(yè)們開(kāi)始口誅筆伐，馬斯克走得是瀟灑無(wú)比。細(xì)數(shù)一下，OpenAI為之詬病的三宗罪：

1.違背了開(kāi)放的行業(yè)“潛規(guī)則”

今日的互聯(lián)網(wǎng)，開(kāi)源文化早已枝繁葉茂，在AI領(lǐng)域，開(kāi)放更是默認(rèn)選項(xiàng)了。

底層技術(shù)的更新?lián)Q代，需要更廣泛的生態(tài)系統(tǒng)、更多的頂尖技術(shù)人員、更多的機(jī)構(gòu)參與才能做好，開(kāi)放合作顯然能最快地催生出更多尖端的創(chuàng)新。

正是因此，絕大多數(shù)研究成果及源碼，都可以通過(guò)博客、會(huì)議、社區(qū)等公開(kāi)形式獲取，這樣做的另一個(gè)好處是，避免研究資源被浪費(fèi)，最大限度地保證研究的合理性和真實(shí)性。OPENAI的閉源顯然違背了這一基本規(guī)則。

2.慣性炒作帶來(lái)的“暈輪效應(yīng)”

心理學(xué)上有個(gè)規(guī)律，叫“暈輪效應(yīng)”，當(dāng)認(rèn)知者對(duì)一個(gè)人的某種特征形成固定印象后，還會(huì)再?gòu)倪@個(gè)判斷推論其他方面的特征。OPENAI就很不幸地背上了一個(gè)“欺騙性炒作”前科的“光環(huán)”，并成功引發(fā)了大家的聯(lián)想。

之前在一對(duì)一DOTA2中打敗頂級(jí)人類玩家 “Dendi”，OPENAI就發(fā)出了諸如“攻陷DOTA2”“AI完虐人類”“碾壓AlphaGo”等宣言，就被指過(guò)于浮夸。

過(guò)度夸大、誘導(dǎo)媒體報(bào)道的事情OPENAI實(shí)在沒(méi)少干。目光回到GPT-2，普遍觀點(diǎn)是，為了避免造假風(fēng)險(xiǎn)而不開(kāi)放，既對(duì)安全毫無(wú)幫助，也對(duì)技術(shù)進(jìn)步無(wú)益。

面對(duì)非要采用過(guò)氣模型的固執(zhí)，和“碾壓人類作者”的語(yǔ)氣，大家立馬從熟悉的套路中嗅到了“同樣的配方和味道”。那點(diǎn)可取之處，也被既往炒作“AI焦慮”的后遺癥所反噬了。

3.助長(zhǎng)AI集權(quán)的真實(shí)陰影

如果說(shuō)上述指責(zé)都難免帶點(diǎn)理想主義情緒的話，那么GPT-2私有化帶來(lái)的實(shí)實(shí)在在的影響，恐怕才是點(diǎn)燃大眾恐慌的真正導(dǎo)火索。

作為“新的石油”，數(shù)據(jù)資源早就顯示出封閉的跡象。谷歌、亞馬遜、Facebook這些科技巨頭手里積累了大量的數(shù)據(jù)財(cái)富，并且越來(lái)越強(qiáng)大。各國(guó)都將AI成果視為國(guó)家戰(zhàn)略資源，德法等已經(jīng)開(kāi)始對(duì)數(shù)據(jù)收集及使用征稅。

而以GPT-2為代表的無(wú)監(jiān)督學(xué)習(xí)趨勢(shì)，又意味著技術(shù)進(jìn)步與創(chuàng)新愈加依賴于更大容量的模型和超大規(guī)模的數(shù)據(jù)集支持。

也就是說(shuō)，一旦大公司不愿意開(kāi)放源碼和數(shù)據(jù)集，財(cái)力不足的學(xué)府和中小開(kāi)發(fā)者極有可能就會(huì)被請(qǐng)出牌桌。

當(dāng)初說(shuō)要“為全人類 AI 技術(shù)保駕護(hù)航”的OpenAI都搞起了私有化，顯然令開(kāi)源文化“腹背受敵”，起到了很惡劣的示范作用，怎么懟都不冤。

不過(guò)，只是一味指責(zé)，咱們這瓜就吃的太沒(méi)有技術(shù)含量了。關(guān)鍵要搞清楚，為什么明知會(huì)被噴，OpenAI還非要這么干呢？

開(kāi)源和私有化：算法公司的商業(yè)困境

OpenAI選擇技術(shù)私有化，雖然有著種種的不合情，在知識(shí)產(chǎn)權(quán)歸屬上卻并沒(méi)有什么可指摘的地方。而逼得它不得不違背理想的根本原因，或許才是AI和全人類真正的敵人。

簡(jiǎn)單來(lái)說(shuō)，正是算法公司們集體商業(yè)化失守。

美國(guó)當(dāng)代技術(shù)哲學(xué)家芬伯格（Andrew Feenberg）在上個(gè)世紀(jì)90年代就曾經(jīng)提出過(guò)，技術(shù)的開(kāi)放是為了提高全社會(huì)的技術(shù)福利，而非打擊技術(shù)的商業(yè)價(jià)值。但直到今天，算法的商業(yè)化之路依然道阻且長(zhǎng)。

在高昂的數(shù)據(jù)及研發(fā)成本下，算法公司想要支撐長(zhǎng)期的研究，主要有三種方式：

1.售賣專利。算法研發(fā)可算是AI產(chǎn)業(yè)鏈中最上游、最具價(jià)值的業(yè)務(wù)，但即便算法公司手握專利，在更深層次的軟硬件應(yīng)用方案不成熟的大環(huán)境下，也很難養(yǎng)活自己。

2.開(kāi)源，從其他業(yè)務(wù)獲益。借鑒互聯(lián)網(wǎng)“羊毛出在豬身上”的商業(yè)模式，算法的價(jià)值可以通過(guò)其他業(yè)務(wù)的補(bǔ)充來(lái)實(shí)現(xiàn)。

比如Facebook一直致力于開(kāi)放其所有代碼和技術(shù)架構(gòu)的源代碼，吸引來(lái)不少優(yōu)秀的開(kāi)發(fā)者，品牌和口碑也借此大漲。但前提是，F(xiàn)acebook不靠售賣軟件盈利，開(kāi)源不會(huì)沖擊自有業(yè)務(wù)。對(duì)于單純的算法公司來(lái)說(shuō)，顯然不可行。

3.找金主“包養(yǎng)”。目前看來(lái)，尋找一個(gè)大型商業(yè)機(jī)構(gòu)得到資助，幾乎是算法公司最好的歸宿了，比如谷歌之于Deepmind，特斯拉之于OpenAI。但受制于人的日子顯然也并不好過(guò)。

兩者結(jié)合的結(jié)果就是，一邊需要滿足投資人追求回報(bào)的愿望；一邊還要提防著主業(yè)務(wù)受創(chuàng)耽擱自己搞技術(shù)。此次馬斯克退出董事會(huì)，OpenAI的未來(lái)頓時(shí)就不明朗起來(lái)。

總而言之，OpenAI的開(kāi)源困境背后，也暴露出一種純技術(shù)公司的集體無(wú)奈：你得開(kāi)源，要不然沒(méi)法維持技術(shù)生態(tài)；又不能啥都開(kāi)源，捧著金碗要飯。這個(gè)度真的是很難把握。

不難意識(shí)到，隨著數(shù)據(jù)封閉的浪潮，AI開(kāi)源的未來(lái)不容樂(lè)觀已是既定事實(shí)，OpenAI只不過(guò)是加了一把火而已，私有化的鍋它一個(gè)可背不動(dòng)。

要解決這個(gè)問(wèn)題，靠的不是道德綁架或者祈求大機(jī)構(gòu)的仁慈，口水戰(zhàn)可以休矣。而是集全社會(huì)之力，更快催熟完善的產(chǎn)業(yè)鏈體系，激活更多元的商業(yè)模式和應(yīng)用場(chǎng)景。

算法的商業(yè)化價(jià)值初現(xiàn)曙光的時(shí)候，才是科技企業(yè)有力量承擔(dān)社會(huì)責(zé)任的時(shí)候。

生成海報(bào)

免責(zé)聲明：本網(wǎng)站內(nèi)容主要來(lái)自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿，凡在本網(wǎng)站出現(xiàn)的信息，均僅供參考。本網(wǎng)站將盡力確保所提供信息的準(zhǔn)確性及可靠性，但不保證有關(guān)資料的準(zhǔn)確性及可靠性，讀者在使用前請(qǐng)進(jìn)一步核實(shí)，并對(duì)任何自主決定的行為負(fù)責(zé)。本網(wǎng)站對(duì)有關(guān)資料所引致的錯(cuò)誤、不確或遺漏，概不負(fù)任何法律責(zé)任。任何單位或個(gè)人認(rèn)為本網(wǎng)站中的網(wǎng)頁(yè)或鏈接內(nèi)容可能涉嫌侵犯其知識(shí)產(chǎn)權(quán)或存在不實(shí)內(nèi)容時(shí)，應(yīng)及時(shí)向本網(wǎng)站提出書(shū)面權(quán)利通知或不實(shí)情況說(shuō)明，并提供身份證明、權(quán)屬證明及詳細(xì)侵權(quán)或不實(shí)情況證明。本網(wǎng)站在收到上述法律文件后，將會(huì)依法盡快聯(lián)系相關(guān)文章源頭核實(shí)，溝通刪除相關(guān)內(nèi)容或斷開(kāi)相關(guān)鏈接。