Import AI丨碼隆科技CurriculumNet：提高噪聲數(shù)據(jù)價值的方法

專注于人工智能技術(shù)創(chuàng)新的科技周報Import AI,長期關(guān)注并報道科技領(lǐng)域的重要事件。在最近一期周報中,碼隆科技自研的CurriculumNet算法在計算機視覺技術(shù)創(chuàng)新領(lǐng)域的應(yīng)用獲得了Import AI的關(guān)注。

作為數(shù)萬名業(yè)內(nèi)專家的重要讀物,Import AI一直專注于人工智能技術(shù)創(chuàng)新領(lǐng)域。其作者Jack Clark為OpenAI現(xiàn)任戰(zhàn)略及傳播總監(jiān),曾任Bloomberg唯一一位專注于神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)領(lǐng)域的記者。OpenAI是眾多硅谷大亨聯(lián)合建立的人工智能非盈利組織,在技術(shù)界有廣泛影響力。

如下是報道的中文譯文:

中國計算機視覺創(chuàng)業(yè)公司碼隆科技于近期開源了基于弱監(jiān)督學(xué)習(xí)的CurriculumNet代碼和模型。CurriculumNet是一種可通過從互聯(lián)網(wǎng)上收集大量帶有噪聲標(biāo)簽的數(shù)據(jù)來訓(xùn)練出一個魯棒性很強的深度神經(jīng)網(wǎng)絡(luò)模型技術(shù),這一方法對那些缺少大型已標(biāo)注數(shù)據(jù)集的研究人員十分有幫助。但是,這種從互聯(lián)網(wǎng)上按照標(biāo)簽語義收集來的數(shù)據(jù)往往帶有大量噪聲。因此,若要在這些數(shù)據(jù)上訓(xùn)練出高性能的深度神經(jīng)網(wǎng)絡(luò)模型,研究人員需要面臨著從噪聲中提取足夠多有用信息的挑戰(zhàn)。

CurriculumNet:研究人員在WebVision數(shù)據(jù)庫上訓(xùn)練他們的模型結(jié)構(gòu),該數(shù)據(jù)庫包含了超過2,400,000張帶有噪聲標(biāo)簽的圖像。他們的方法是在整個數(shù)據(jù)集上訓(xùn)練一個Inception_v2模型,之后研究所有圖像映射到的特征空間;此后,CurriculumNet將這些圖像分組,根據(jù)特征空間中所有圖像的相似程度將每個類聚成三個子集。接著,他們開始使用具有相似圖像特征的子集用于模型訓(xùn)練,再混合到噪聲較大的子集中訓(xùn)練。通過高質(zhì)量的標(biāo)注數(shù)據(jù)迭代學(xué)習(xí)分類器,隨后添加具有噪聲的數(shù)據(jù)來加強分類器,研究人員表示這種增加噪聲數(shù)據(jù)訓(xùn)練的方式不僅能提高模型的性能還能增強其泛化能力。

測試效果:研究員用CurriculumNet測試了四個基準(zhǔn):WebVision、ImageNet、Clothing1M和Food101。他們發(fā)現(xiàn),使用最大量的噪聲數(shù)據(jù)訓(xùn)練的系統(tǒng)比那些沒有噪聲數(shù)據(jù)訓(xùn)練的系統(tǒng)甚至有著更高的準(zhǔn)確度。這一方法使WebVision上的錯誤率減少了多個百分點(“這些進步對于如此大規(guī)模的挑戰(zhàn)是至關(guān)重要的,”研究人員表示)。更進一步,CurriculumNet在WebVision上的準(zhǔn)確度最高,而且訓(xùn)練數(shù)據(jù)越多(例如結(jié)合ImageNet和WebVision的數(shù)據(jù)集進行訓(xùn)練時),性能越好。

　　碼隆科技在四個公開數(shù)據(jù)集中的實驗結(jié)果

　　訓(xùn)練模型在WebVision和ImageNet上合集的效果

技術(shù)意義:類似于CurriculumNet的系統(tǒng)很好地展示了研究人員可以如何利用標(biāo)注不佳的數(shù)據(jù),結(jié)合前沿訓(xùn)練理念來,提高低質(zhì)量標(biāo)注數(shù)據(jù)的價值。這樣的方法就類似于在自然資源中提取有用物質(zhì)時所采取的“萃取”手法,很有現(xiàn)實意義。

生成海報

免責(zé)聲明：本網(wǎng)站內(nèi)容主要來自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿，凡在本網(wǎng)站出現(xiàn)的信息，均僅供參考。本網(wǎng)站將盡力確保所提供信息的準(zhǔn)確性及可靠性，但不保證有關(guān)資料的準(zhǔn)確性及可靠性，讀者在使用前請進一步核實，并對任何自主決定的行為負責(zé)。本網(wǎng)站對有關(guān)資料所引致的錯誤、不確或遺漏，概不負任何法律責(zé)任。任何單位或個人認為本網(wǎng)站中的網(wǎng)頁或鏈接內(nèi)容可能涉嫌侵犯其知識產(chǎn)權(quán)或存在不實內(nèi)容時，應(yīng)及時向本網(wǎng)站提出書面權(quán)利通知或不實情況說明，并提供身份證明、權(quán)屬證明及詳細侵權(quán)或不實情況證明。本網(wǎng)站在收到上述法律文件后，將會依法盡快聯(lián)系相關(guān)文章源頭核實，溝通刪除相關(guān)內(nèi)容或斷開相關(guān)鏈接。