業(yè)界首次！ 云天勵飛提出用遞歸網(wǎng)絡(luò)模型解決視頻人臉關(guān)鍵點定位問題

云天勵飛人工智能技術(shù)研究多項成果再獲國際認可。近日，將于今年4月在日本舉行的人工智能領(lǐng)域一大頂級學(xué)術(shù)會議——人工智能及統(tǒng)計學(xué)大會(International Conference on Artificial Intelligence and Statistics，簡稱AISTATS會議)收錄結(jié)果揭曉，云天勵飛AI技術(shù)部王孝宇博士與美國愛荷華大學(xué)楊天寶教授領(lǐng)導(dǎo)的團隊合作的論文《A Robust Zero-Sum Game Framework for Pool-based Active Learning》入選。該論文提出了一種基于穩(wěn)健優(yōu)化的博弈主動學(xué)習(xí)算法，這有助于節(jié)省多種監(jiān)督學(xué)習(xí)的標(biāo)注成本。而在不久前，云天勵飛另一篇有關(guān)采用遞歸網(wǎng)絡(luò)模型解決視頻人臉關(guān)鍵點定位的論文被計算機視覺頂級學(xué)術(shù)期刊IJCV收錄。

用遞歸神經(jīng)網(wǎng)絡(luò) 為人臉關(guān)鍵點檢測建立時間和空間聯(lián)系

云天勵飛被IJCV 2018收錄的論文名為《RED-Net: A Recurrent Encoder-Decoder Network for Video-based Face Alignment》，團隊在業(yè)界首次提出采用遞歸網(wǎng)絡(luò)模型解決視頻人臉關(guān)鍵點定位問題，以此來減少訓(xùn)練模型的復(fù)雜度，并實現(xiàn)對大姿態(tài)人臉和部分遮擋關(guān)鍵點的精確定位。此項工作的參與成員還包括IBM Watson研究院和新澤西州立大學(xué)。

Overview of the recurrent encoder-decoder network: (a) encoder-decoder (Section 3.1); (b) spatial recurrent learning (Section 3.2); (c) temporal recurrent learning (Section 3.3); and (d) supervised identity disentangling (Section 3.4). fenc, fdec, fsr n, ft r n, fc l s are potentially nonlinear and multi-layered mappings

據(jù)悉，傳統(tǒng)視頻人臉關(guān)鍵點檢測通常使用級聯(lián)化的的關(guān)鍵點坐標(biāo)回歸模型對關(guān)鍵點進行由粗到細的定位。在進行視頻逐幀人臉關(guān)鍵點定位時，通過使用上一幀人臉的檢測框和關(guān)鍵點信息對該幀的定位任務(wù)進行更精確的初始化。這類級聯(lián)回歸模型不同級間并不共享參數(shù)，模型訓(xùn)練對數(shù)據(jù)量的要求較高。

An unrolled illustration of spatial recurrent learning. The response map is pretty coarse when the initial guess is far away from the ground truth if large pose and expression exist. It eventually gets refined in the successive recurrent steps

云天勵飛團隊等在論文中提出了一種新的遞歸編碼解碼器(Recurrent Decoder-Encoder)模型結(jié)構(gòu)來解決視頻人臉關(guān)鍵點定位問題。在空間域上，該模型變傳統(tǒng)多級級聯(lián)模型為單一遞歸模型，大幅度減少模型的復(fù)雜度。在時間域上，該模型將編碼器生成的嵌入特征中的時變因素和時不變因素進行解耦，并對時變部分用遞歸網(wǎng)絡(luò)進行建模學(xué)習(xí)。

An unrolled illustration of temporal recurrent learning. Cid encodes temporalinvariant factor which subjects to the same identity constraint. Cpe encodes temporalvariant factors which is further modeled in ft R N N

相比傳統(tǒng)視頻人臉關(guān)鍵點處理中只使用上一幀結(jié)果初始化，這種時域遞歸網(wǎng)絡(luò)能夠?qū)W習(xí)和利用更長時間范圍內(nèi)關(guān)鍵點的位置信息和變化規(guī)律，實現(xiàn)對大姿態(tài)人臉和部分遮擋關(guān)鍵點實現(xiàn)精確定位。

據(jù)介紹，與國際主流方法相比較，在7關(guān)鍵點和68關(guān)鍵點兩種模式下，采用遞歸網(wǎng)絡(luò)模型定位視頻人臉關(guān)鍵點的方法，在Talking Face, Face Moive 和 300VW 三個公開數(shù)據(jù)集平均誤差都顯著低于這些主流方法。

將模型訓(xùn)練和標(biāo)注選取結(jié)合 提升模型訓(xùn)練效果

大數(shù)據(jù)時代來臨，人工智能領(lǐng)域面臨的一大難題是如何獲取監(jiān)督學(xué)習(xí)所需要的大數(shù)據(jù)對應(yīng)的數(shù)據(jù)標(biāo)注。對于監(jiān)督學(xué)習(xí)來說，并不是每個標(biāo)注數(shù)據(jù)對模型訓(xùn)練的幫助程度都是等同的，即有些數(shù)據(jù)對模型訓(xùn)練幫助更大。而主動學(xué)習(xí)則是研究如何選取潛在對模型訓(xùn)練更大的未標(biāo)注數(shù)據(jù)去給予它們標(biāo)注，從而達到提升模型訓(xùn)練效果、節(jié)省人工標(biāo)注成本的目的。

不過，目前已存在的主動學(xué)習(xí)算法大多或是基于分類模型產(chǎn)生的數(shù)據(jù)不確定性并利用一些啟發(fā)式策略進行標(biāo)注數(shù)據(jù)選取;或是利用其它理論如信息理論、學(xué)習(xí)理論定義數(shù)據(jù)不確定性并產(chǎn)生一些優(yōu)化式策略進行標(biāo)注數(shù)據(jù)選取。

分開進行標(biāo)注數(shù)據(jù)選取和模型訓(xùn)練可能會存在二者步調(diào)不統(tǒng)一的情況，從而無法得最優(yōu)的結(jié)果?！禔 Robust Zero-Sum Game Framework for Pool-based Active Learning》提出的思路并不像之前其它算法那樣把模型訓(xùn)練和標(biāo)注選取兩個模塊割裂開來，而是利用博弈論將其結(jié)合在一起，并引入穩(wěn)健約束進行優(yōu)化，以獲得最直接的標(biāo)注數(shù)據(jù)選取，以及模型訓(xùn)練效果的提升。

作者基于博弈論提出的優(yōu)化目標(biāo)函數(shù)如下：

其中w代表模型參數(shù)，如支持向量機(SVM)，深度神經(jīng)網(wǎng)絡(luò)(DNN)等;p為單個數(shù)據(jù)產(chǎn)生的損失的權(quán)重(由于是主動學(xué)習(xí)場景，考慮到存在未標(biāo)注數(shù)據(jù)，作者使用的是對于所有可能標(biāo)注的期望損失

作者采取在線梯度下降(online gradient descent)更新模型參數(shù)w：

作者采取鏡像下降(mirror descent)更新數(shù)據(jù)損失權(quán)重p：

由于加入了穩(wěn)健約束，作者利用近似映射的方法矯正p：

對于方差小的數(shù)據(jù)，加入穩(wěn)健約束可以獲得更好的模型泛化效果：

當(dāng)數(shù)據(jù)方差數(shù)量級小于1/n時，泛化錯誤將為O(1/n)而不是通常的O(1/sqrt(n)).

此外，作者運用了在線算法的分析思路證明了算法收斂的遺憾界限(regret bound)：

最后，作者進行了對于SVM和DNN的主動學(xué)習(xí)實驗，并采用了一些知名機器學(xué)習(xí)算法效果對比數(shù)據(jù)集(benchmark datasets)，效果如下 (橫軸為標(biāo)注數(shù)據(jù)數(shù)目，縱軸為測試準(zhǔn)確度，RZSG為論文提出的算法)：

MNIST

CIFAR 10

生成海報

免責(zé)聲明：本網(wǎng)站內(nèi)容主要來自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿，凡在本網(wǎng)站出現(xiàn)的信息，均僅供參考。本網(wǎng)站將盡力確保所提供信息的準(zhǔn)確性及可靠性，但不保證有關(guān)資料的準(zhǔn)確性及可靠性，讀者在使用前請進一步核實，并對任何自主決定的行為負責(zé)。本網(wǎng)站對有關(guān)資料所引致的錯誤、不確或遺漏，概不負任何法律責(zé)任。任何單位或個人認為本網(wǎng)站中的網(wǎng)頁或鏈接內(nèi)容可能涉嫌侵犯其知識產(chǎn)權(quán)或存在不實內(nèi)容時，應(yīng)及時向本網(wǎng)站提出書面權(quán)利通知或不實情況說明，并提供身份證明、權(quán)屬證明及詳細侵權(quán)或不實情況證明。本網(wǎng)站在收到上述法律文件后，將會依法盡快聯(lián)系相關(guān)文章源頭核實，溝通刪除相關(guān)內(nèi)容或斷開相關(guān)鏈接。