膠囊網絡：將CNN推下神壇的“天命之子”

原標題：膠囊網絡：將CNN推下神壇的“天命之子”

前不久，圖靈獎得主Geoffrey Hinton的第一篇論文被扒了出來，在推特上引發(fā)了不少關注。

當然，讓大家激動的并不是源自對“大神”科研處女作的好奇，也不是提出的算法有多么顛覆，而是Hinton 這位AI界的人形自走教科書，早在40年前這篇論文中，就提出了“讓AI具備空間感”的松弛算法，解題思路與2017年其提出的“膠囊網絡”不謀而合。

要知道，“膠囊網絡”早已是公認將成為下一代深度學習基石、CNN“接班人”的神經網絡。

經歷了長達四十年的思考，“膠囊網絡”將會怎樣大顯神威，技術背后代表的未來能量才是讓網友們“鵝妹子嚶”的地方啊~

如果你還不太了解“膠囊網絡”，或是對其最新進展不甚了了，那么，不妨跟隨這篇文章，來系統(tǒng)性地了解一下這個人工智能未來的“種子選手”。

神經網絡“宮心計”：膠囊是如何“爭寵”的？

對AI發(fā)展略有了解的同學們可能都知道，Hinton被人所熟知，并獲得圖靈獎，主要歸功于其在深度神經網絡上的貢獻。

1986年，Hinton發(fā)表了《Learning representations by back-propagation errors》（通過反向傳播誤差來學習表征），作為這位圖靈獎得主的代表作之一，標志著反向傳播算法正式被引進深度學習，這對人工智能的應用有著重大的意義。

反向傳播出現(xiàn)之前，多層神經網絡的訓練主要是通過前向傳遞來輸入信號，直至產生誤差，再進行優(yōu)化。以梯度下降（Gradient Descent）為例，輸入數(shù)據每向前走一步，都沿著最陡峭的地方下腳，就這樣一步步走到山底（梯度的反方向）。因此，該算法可以直接將每層的誤差反饋給系統(tǒng)，并進行參數(shù)優(yōu)化。

但這種方式在應對具有多個隱層的神經網絡時，就有些力不從心了。在下降時隱層中的誤差無法被直接反饋出來，因此其權重參數(shù)也就不能直接被優(yōu)化，這就給神經網絡的性能表現(xiàn)帶來了極大的不穩(wěn)定性。

怎樣才能將隱層的誤差表示出來呢？反向傳播算法的出現(xiàn)是一場“及時雨”。

它的原理簡單來說，就是一旦下降時（即前向傳播）輸出層沒有得到適當而明確的誤差參數(shù)，那么反向傳播就會借助轉置權重矩陣，讓誤差可以被隱藏層感知到，進而產生“間接誤差”。而隱藏層的權重矩陣就可以借助間接誤差進行更新。這樣反復迭代，就能將包含隱藏層的多層神經網絡誤差降到最小。

正是在此基礎上，卷積神經網絡展現(xiàn)出了前所未有的性能。

輸入數(shù)據的特征經過歸一化處理后，就會進入隱含層中，完成卷積計算、池化、調參等一系列模擬神經元的操作，再輸出成不同的識別效果。

這種分層認知特征的學習能力，和人類大腦的思維方式高度相似。這也是為什么，卷積神經網絡在機器視覺及很多問題上都取得了當時最好的性能，成為應用最廣泛的深度神經網絡結構。

但是，受限于反向傳播的天然缺陷，卷積神經網絡并不完美，黑箱性、高消耗、遷移能力差等諸多問題，一直為學界和產業(yè)界所詬病。這也是為什么，Hinton一直在尋找著CNN的替代者。

2011年，Hinton認為目前的圖像識別方法在智力上表現(xiàn)不夠好，提出了“膠囊”的概念。數(shù)年之后，2017年10月，則在機器學習的頂級會議“神經信息處理系統(tǒng)大會（NIPS）”上發(fā)表了題為《膠囊之間的動態(tài)路由》的論文，提出了全新的深度學習方法——膠囊網絡（CapsNet）。

“膠囊”代表圖像中特定實體的各種特征，比如位置、大小、方向、速度、色調、紋理等等，作為一個單獨的邏輯單元存在。然后，使用一個協(xié)議路由算法，當膠囊將自己學習并預測到的數(shù)據傳遞給更高層次的膠囊時，如果預測一致，更高級別的膠囊變得活躍，這個過程就被稱作動態(tài)路由。

隨著路由機制的不斷迭代，就能夠將各種膠囊訓練成學習不同思維的單元。例如，讓神經網絡識別面部，就將面孔的不同部分分別“路由”到能夠理解眼睛、鼻子、嘴、耳朵的膠囊里去。

換句話說，神經膠囊就是一組被打包好的神經元，它們在內部進行大量運算，然后僅向上輸出一個結果——高維向量。

（膠囊網絡流程）

那么，膠囊網絡，比常規(guī)的卷積神經網絡好在什么地方？大約可以總結為三點：

首先，卷積神經網絡的輸出結果是標量，而膠囊網絡是帶有方向的向量。而向量存在的意義是，膠囊網絡不僅可以根據統(tǒng)計信息進行特征檢測，比如根據眼睛鼻子嘴等五官識別出一張“臉”，還可以對特征進行理解，如果五官不在其特定的區(qū)域了，比如嘴長到了額頭、眼睛長到了耳朵上，膠囊網絡卻不會像CNN一樣含糊放過。因為它能夠檢測不同方向的同一個物體類別（例如，順時針旋轉），從而學習到基本的思維，知道到底什么樣子的五官才能被稱作是“臉”。

第二，卷積神經網絡的每一層都需要做同樣的卷積運算，因此需要相當多的網絡數(shù)據才能學習，否則就無法精準地調參，非常耗時、低效且昂貴。比如讓它學會認臉技能，需要投喂大量不同的變體，MNIST數(shù)據集就包含55,000個訓練數(shù)據，即每個數(shù)字單元都有5,500個樣本。

膠囊網絡則要求模型在膠囊中學習特征變量，最大化保留那些有價值的信息，因此它可以使用更少的訓練數(shù)據就推斷出可能的變量，達到CNN的預期效果。這就使得它在人臉識別、圖像識別、字符識別等領域的落地更受歡迎了。

（MultiMNIST數(shù)據集中，膠囊網絡輸出性能遠超CNN）

第三，卷積神經網絡不能很好地處理模糊性，因為不斷池化會丟失許多重要的特征信息，因此對微小的變化不甚敏感，在完成語義分割等復雜任務時，需要構建復雜的體系結構來解決信息丟失問題。也難怪Hinton會說出“CNN分類正確率很高，看似一個大好局面，實則是一場災難”的話了。

但膠囊網絡不同，由于每個膠囊都攜帶了大量的信息，目標位置、旋轉、厚度、傾斜、大小等詳細信息都被保存并平移給了上層膠囊，自然也就可以用簡單一致的架構應對不同的視覺任務。

聽起來是不是還蠻不錯的，別激動，除此之外，膠囊網絡還有一個比較“形而上”的優(yōu)勢，那就是它的傳輸和運算邏輯更符合人腦神經元的工作方式，不同的膠囊可以攜帶不同屬性，就像人腦的不同區(qū)域負責不同的工作。因此，其智能化表現(xiàn)上更加優(yōu)秀，能夠舉一反三。

比如下面這些自由女神像，各種角度都能認出來，對膠囊網羅來說非常簡單。而CNN在模擬人類神經元這件事上，卻只能“有多少人工（數(shù)據）就有多少智能”，真是高下立見啊。

膠囊神經網絡想要上位，差在哪些地方？

被AI教父親口斷定沒有前途，一場神經網絡界庶長子與嫡次子的奪位之戰(zhàn)即將拉開序幕……

顯然，又聰明又能干又會過日子的“膠囊網絡”才是民心所向，2018年2月該論文第一作者剛剛在GitHub開源了膠囊網絡的代碼，就吸引來了數(shù)萬人fork（復制源代碼在其上開發(fā)）。

按理說，以AI算法的迭代速度，一年多時間怎么都夠孵化出N個新模型了，比如AlphaGo開源并隱退后，很快又出現(xiàn)了強化版“師弟”AlphaGo Master，擊敗了世界排名第一的人類選手柯潔。五個月之后，更強的AlphaGo zero從零自學了40天，又打敗了AlphaGo Master版本。

既然如此，怎么膠囊網絡就是“雷聲大雨點小”呢？

顯然，不是“嫡次子”能力不行，也不是智囊團不給力，而是想要真的把“ANN長子”拉下馬，勢必會遭遇若干阻礙，比如說：

1.模型訓練的周期局限。由于需要在每個膠囊單元中完成計算（協(xié)議路由算法），導致其訓練模型的時間更慢。在不同硬件和云服務器上的50迭代訓練時間說明，與CNN相比，膠囊網絡模型需要更大的耐心。

2.學術起步階段的研究局限。目前針對膠囊網絡的研究大多集中在零樣本和少樣本任務中，而且，膠囊網絡在CIFAR10數(shù)據集、ImageNet等大圖像上的準確性并沒有CNN的高。產業(yè)端自然不會在缺乏足夠實驗例證、投資回報不明晰的前提下，貿貿然就選擇跟進了。

3.膠囊網絡自身的性能局限。與CNN一樣，膠囊網絡也有其不完美之處，比如膠囊擁擠，即如果一個膠囊網絡彼此之間太接近，就沒有辦法區(qū)分出同一類型的兩個對象。因此在模型中，給定的位置上只能有一個給定類型的膠囊，這就大大局限了其現(xiàn)實中應用的條件。

從某種程度上來說，膠囊網絡還是一個剛剛墜地的孩童，距離拿下CNN的位置還是非常遙遠的。

但是也別急著失望，讓CNN在現(xiàn)階段發(fā)光發(fā)熱，同時繼續(xù)培養(yǎng)未來堪當大任的接班人，這樣生生不息的AI未來也蠻值得期待的，“養(yǎng)成”也是一種樂趣嘛~

學而時習之：膠囊網絡的新發(fā)現(xiàn)

雖然現(xiàn)在的膠囊網絡還很弱小，但并不妨礙無數(shù)“最強大腦”拼命教它本領。那么近兩年來，膠囊網絡有哪些新的發(fā)現(xiàn)可以給大家匯報一下呢？

有幾個重要的成就值得說說：

1.通過膠囊網絡抵御對抗性攻擊

還是熟悉的配方，還是熟悉的味道。在膠囊網絡模型提出的一年之后，原作者團隊（Sabour、Frosst 以及 Hinton）在2018年的機器學習安全研討會中展示了自己的新成果——膠囊網絡在抵御對抗性攻擊上的能力。

對抗性攻擊會對傳統(tǒng)的CNN產生較大影響，比如不同方向的圖片，CNN很容易辨認不清，如果一些特征被放置在了錯誤的地方，CNN也會被圖片所欺騙。這會引發(fā)一系列安全問題，比如自動駕駛汽車搞混了真的人臉與打印的人臉。

對此，原團隊提出了一種與攻擊獨立的檢測技術——DARCCC，它能夠識別出真實圖像和GAN生成的圖像在距離上的分布誤差，從而有效檢測出“對抗”圖像，防止系統(tǒng)被假圖片欺騙而導致錯誤的分類。

（用真實數(shù)據和對抗樣本分別訓練出的膠囊網絡，后者重構出的圖像更像“1”）

2. 膠囊網絡+圖卷積GCN的圖分類能力

圖分類是一個應用非常廣泛的技術，在分子表示、社會網絡分析、金融等領域，都需要從圖形中提取特征信息，并對其進行結構化的數(shù)據表示和分類。但是，已有的CNN分類算法在運行過程中，往往需要固定大小的矩陣，但圖形節(jié)點和邊的數(shù)量卻可能存在很大的變化，給任務帶來很大的困難。

而判斷特征之間的相似性，正是膠囊網絡所擅長的。因此，有研究團隊將膠囊網絡與圖卷積GCN相結合，開發(fā)出了新的圖分類模型。靠膠囊網絡記住圖結構中的豐富信息，以及圖的節(jié)點和邊等實體特征，將其轉化成向量。再將CNN和膠囊層結合在一起，從而提高分類性能。

實驗結果表明，在所有7個基準數(shù)據集上，膠囊網絡的加入確實效果優(yōu)于CNN分類器。不過，執(zhí)行速度也比CNN慢上八倍，同志仍需努力呀。

3.膠囊網絡+注意力機制=零樣本意圖識別

在少量樣本或無樣本情況下，對新的類別進行理解，是困擾學界和產業(yè)界的老大難問題。比如在智能問答和對話系統(tǒng)中，如何快速識別明明確新用戶的對話和意圖，對其進行正確分類和處理，就是提升智能對話、降低無效溝通的重要課題。

就在前不久，ACL 2018中就出現(xiàn)了相關研究，研究人員首先通過與訓練方式提取文本信息，對其層次特征進行向量化處理。然后利用膠囊動態(tài)路由算法，將新的用戶意圖與已有用戶意圖之間的相似度進行對比，再將已有用戶意圖上的信息遷移至新的用戶意圖分類上，從而實現(xiàn)對新意圖的預測。

在SNIPS-NLU和CVA兩個語音助手數(shù)據集上，膠囊網絡的加入都讓語義理解能力有了一定的提升。

關于膠囊網絡的相關學術論文還有不少，比如基于膠囊網絡的手勢識別，正確率達到94.2%，能夠幫助聽障人群進行更有效地溝通；以及在ICLR 2019上發(fā)表的圖片分類新框架膠囊圖神經網絡（CapsGNN），也是將膠囊網絡與圖神經網絡（GNN）結合的新模型。

如果說以卷積神經網絡為尊，是現(xiàn)階段AI產業(yè)的“原教旨主義”，膠囊網絡顯然正在讓這一信仰土崩瓦解。不過，從實驗室到真實的應用體系中，想要真正取代CNN，還有千千萬萬特殊問題亟待處理。但如果把它當做一個思路，與現(xiàn)有的深度學習模型相結合，那么現(xiàn)在，膠囊網絡就可以給予我們不少意外和驚喜。

這當然僅僅是個開始，正如不斷手撕CNN的Hinton所總結的——科學是踩著葬禮前行的。站在前人的肩膀上前行，才能讓人工智能始終作為一種“殺手锏”式技術，成為我們博弈未來的武器。

生成海報

免責聲明：本網站內容主要來自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿，凡在本網站出現(xiàn)的信息，均僅供參考。本網站將盡力確保所提供信息的準確性及可靠性，但不保證有關資料的準確性及可靠性，讀者在使用前請進一步核實，并對任何自主決定的行為負責。本網站對有關資料所引致的錯誤、不確或遺漏，概不負任何法律責任。任何單位或個人認為本網站中的網頁或鏈接內容可能涉嫌侵犯其知識產權或存在不實內容時，應及時向本網站提出書面權利通知或不實情況說明，并提供身份證明、權屬證明及詳細侵權或不實情況證明。本網站在收到上述法律文件后，將會依法盡快聯(lián)系相關文章源頭核實，溝通刪除相關內容或斷開相關鏈接。