科大訊飛、北航新研究入選ACM MM 2022，首個X光下的小樣本檢測基準和弱特征增強網絡

“百尺竿頭須進步，十方世界是全身。”科大訊飛X光安檢系統(tǒng)自2018年至今，已斬獲業(yè)界多個榮譽獎項，研發(fā)技術團隊在科研之路上久久為功，孜孜不倦地進行技術研發(fā)和驗證。近日，科大訊飛X光安檢團隊與北航合作的論文被ACM MM2022接收，是雙方合作的階段性成果之一。未來，科大訊飛研究院還將繼續(xù)在X光安檢領域深耕，研發(fā)前沿技術，積累科研成果，也會以實際需求作為驅動力，探索更多技術落地的應用場景。

近日，計算機多媒體頂級會議ACM Multimedia 2022接收論文結果已經正式公布，會議接收了一篇由北京航空航天大學、科大訊飛研究院共同完成的工作。這項工作以X光安檢場景為例，針對一些危險品類別出現頻率較低導致樣本難以獲取的現實情況，構建了X-ray FSOD數據集，為X光下小樣本檢測任務提供模型檢測能力評估基準。

研究者在構建評估基準的基礎上提出了微弱特征增強網絡，利用原型學習和特征調和的思想緩解微弱特征帶來的性能損失，為小樣本檢測帶來新的思考。

小樣本檢測任務（few-shot detection）旨在解決真實工業(yè)場景中樣本獲取困難情況下模型泛化能力差的痛點，嘗試通過少量的訓練樣本獲得具有泛化能力的模型。小樣本檢測任務一直是學術界研究的焦點，傳統(tǒng)的方法主要聚焦于自然光數據，在常見的COCO數據集上進行評估。由于自然光數據樣本通常具有顏色鮮艷、目標清晰等特點，即便樣本數量有限，卷積神經網絡依然可以提取到較為可靠的辨識度特征。

在真實的工業(yè)場景下，例如X光安檢場景，由于一些危險品類別的出現頻率較低，導致樣本獲取十分困難，是一個典型的小樣本檢測問題。然而，由于X光成像的特殊性，樣本普遍具有色彩單調、目標模糊等特點，這些因素使得真實工業(yè)場景下的小樣本檢測任務面臨新的困境，即低辨識度導致卷積神經網絡提取到的微弱特征難以支撐決策。目前，真實工業(yè)場景下的小樣本檢測任務很少被研究者們關注到。

開源鏈接：https://github.com/wytbwytb/WEN

一、X光下小樣本檢測評估基準（X-ray FSOD數據集）

評估基準的構建對于一項任務的研究是必不可少的。本文針對X光安檢場景下的小樣本檢測任務，提出了首個工業(yè)場景下的小樣本檢測任務評估基準，X-ray FSOD 數據集。

在構建基準的過程中，本文遵循了經典的小樣本檢測數據集Pascal VOC的設置（類別總數為20，其中15類為基類，5類為新類），從現有公開的數據集中選擇了14個類別，其中5個類來自OPIXray數據集（ACM MM2020），5個類來自HiXray數據集（ICCV 2021），剩余4個類來自EDS數據集（CVPR 2022），并新貢獻了額外的6個類別，組建了一個總計20個類別的X光安檢場景下的標準小樣本檢測任務評估基準。X-ray FSOD數據集中各個類別在自然光和X光下的對照圖如圖1所示。

二、微弱特征增強網絡

由于遮擋嚴重、顏色匱乏等原因，X光下的小樣本檢測任務面臨著目標特征非常微弱的問題。由于判別信息微弱，傳統(tǒng)的小樣本檢測方法在該場景下很難達到令人滿意的效果。受原型學習聚合辨識度信息的啟發(fā)，本文提出的微弱特征增強網絡。微弱特征增強網絡包含兩個核心模塊，即原型感知模塊（PA）和特征調和模塊（FR）。原型感知模塊對待檢測目標周圍的關鍵區(qū)域進行聚合，進而提取目標本身的可依據特征，并建立類別原型庫以生成每個類別的可依據特征。特征調和模塊自適應地調整不同類別相對應原型的影響程度，將原型感知模塊提取出的辨識度信息選擇性地融合至特定對象本身的特征中。

原型感知模塊（PA）

原型感知模塊的主要任務是通過聚合生成類別原型，建立全局原型庫的方式，來提取出不同類別的可依據特征。首先，該模塊將屬于不同目標的候選框特征根據與目標真實標注框的IoU值加權聚合，形成目標的特征原型，公式如下：

隨后，該模塊將屬于相同類別的目標特征原型聚合。緊接著，利用得到的類別原型集合建立并更新全局原型庫中對應類別的原型，公式如下：

為了進一步增強不同類別之間提取出可依據特征的區(qū)別，研究者們對全局原型庫設計了損失函數，計算每兩個類別特征原型之間余弦相似度的平均值，通過最小化損失函數可以讓不同類別原型的特征向量趨于正交，公式如下：

特征調和模塊（FR）

特征調和模塊（FR）所做的是將原型庫中存儲的類別原型特征與候選框特征進行不同程度融合，從而增強主干網絡提取出的表示特征。

調和過程首先需要確定的是由主干網絡生成的候選框特征需要融合全局原型庫中對應的哪一種類別特征原型。研究者們采取的類別選取方式為：在訓練階段，將候選框特征所屬目標的類別標簽作為融合類別；在測試階段，計算候選框特征f_R與全局原型庫中每個類別特征原型之間的余弦相似度并比較，將相似度最高的類別原型作為融合類別。

類別特征原型的融合方式采用了兩種方式，第一種是樸素融合方式，公式如下：

而由于X光場景下不同類別的信息丟失程度不同，因此不同類別對類別原型中包含的可依據特征的需求程度也不同，因此僅僅用樸素的融合方式很難達到令人滿意的效果，該模塊設計了卷積的融合方式，公式如下：

三、實驗

實驗部分首先在VOC輪廓數據集上證明了微弱特征會導致少樣本目標檢測模型的性能下降（微弱特征影響實驗）；其次，在真實弱特征場景（X-ray FSOD數據集）、模擬弱特征（VOC輪廓數據集）以及傳統(tǒng)場景（Pascal VOC數據集）下進行了對比試驗，充分說明了模型的有效性；最后進行分離實驗。實驗對比的模型包括TFA（ICML 2020）、FSCE(CVPR 2021)、DeFRCN(ICCV 2021)、DCNet(CVPR 2021)等SOTA方法。

微弱特征影響實驗

對比試驗

（1）X-ray FSOD數據集

（2）VOC輪廓數據集

（3）Pascal VOC數據集

分離實驗

四、總結

本文中，研究者們指出X光場景下的小樣本檢測任務往往面臨著由于遮擋嚴重、顏色

匱乏等原因導致的目標特征非常微弱的困境。因此，傳統(tǒng)的小樣本檢測方法在這些場景下存在嚴重性能下降的問題。

為了給上述重要問題的研究提供支持，來自北航、訊飛的研究人員構建了首個X光場景下的小樣本檢測數據集——X-ray FSOD數據集。同時，提出了微弱特征增強網絡，通過聚合目標周圍的關鍵區(qū)域來提取目標本身的可依據特征，并建立類別原型庫以生成每個類別的可依據特征，再將提取出的類別可依據特征融合至特定對象本身的特征中。研究者們在 X 光場景下的 X-ray FSOD數據集與常見場景下的 Pascal VOC 數據集上做了大量的實驗，并證明了提出的 WEN 模型優(yōu)于其他小樣本檢測模型。

五、參考文獻

Renshuai Tao, Hainan Li, Tianbo Wang, Yanlu Wei, Yifu Ding, Bowei Jin, Hongping Zhi, Xianglong Liu, Aishan Liu. Exploring Endogenous Shift for Cross-domain Detection: A Large-scale Benchmark and Perturbation Suppression Network. IEEE CVPR 2022.

Renshuai Tao, Yanlu Wei, Xiangjian Jiang, Hainan Li, Haotong Qin, Jiakai Wang, Yuqing Ma, Libo Zhang, Xianglong Liu. Towards Real-world X-ray Security Inspection: A High-Quality Benchmark And Lateral Inhibition Module For Prohibited Items Detection. IEEE ICCV 2021.

Renshuai Tao, Tianbo Wang, Ziyang Wu, Cong Liu, Aishan Liu, Xianglong Liu. Few-shot X-ray Prohibited Item Detection: A Benchmark and Weak-feature Enhancement Network. ACM MM 2022.

Yanlu Wei, Renshuai Tao, Zhangjie Wu, Yuqing Ma, Libo Zhang, Xianglong Liu. Occluded Prohibited Items Detection: An X-ray Security Inspection Benchmark and De-occlusion Attention Module. ACM Multimedia 2020.

生成海報

免責聲明：本網站內容主要來自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿，凡在本網站出現的信息，均僅供參考。本網站將盡力確保所提供信息的準確性及可靠性，但不保證有關資料的準確性及可靠性，讀者在使用前請進一步核實，并對任何自主決定的行為負責。本網站對有關資料所引致的錯誤、不確或遺漏，概不負任何法律責任。任何單位或個人認為本網站中的網頁或鏈接內容可能涉嫌侵犯其知識產權或存在不實內容時，應及時向本網站提出書面權利通知或不實情況說明，并提供身份證明、權屬證明及詳細侵權或不實情況證明。本網站在收到上述法律文件后，將會依法盡快聯系相關文章源頭核實，溝通刪除相關內容或斷開相關鏈接。