2017以來，人工智能的興起讓“深度學(xué)習”這個詞頻繁出現(xiàn)在公眾視野。有了深度學(xué)習算法，機器也能夠模擬人類的思考方式，自主獲取知識，修習技能，完成很多常人無法完成的任務(wù)。但是作為一種新興技術(shù)，深度學(xué)習算法自身仍存在很多安全缺陷和漏洞。近日360安全研究院發(fā)布的《AI安全風險白皮書》結(jié)合深度學(xué)習逃逸攻擊方面的實例和研究工作，詳細解讀了人工智能應(yīng)用所面臨的安全風險。
“逃逸攻擊”是一個專業(yè)術(shù)語，它指的是攻擊者在不改變目標機器學(xué)習系統(tǒng)的情況下，通過構(gòu)造特定輸入樣本以完成欺騙目標系統(tǒng)的攻擊。例如，攻擊者可以修改一個惡意軟件樣本的非關(guān)鍵特征，使得它被一個反病毒系統(tǒng)判定為良性樣本，從而繞過檢測。
圖1：攻擊者生成對抗樣本使系統(tǒng)與人類有不同的判斷
以最近頗受關(guān)注的圖像識別為例，圖像識別的原理是具備深度學(xué)習能力的人工智能系統(tǒng)，模仿人類視覺功能，通過一定的算法規(guī)則，區(qū)分不同的圖像目標。但是，目前圖像識別深度學(xué)習所依賴的判斷規(guī)則和人眼的視覺機理仍存在較大的差距，這也就意味著：只要對目標圖片稍加改造，圖像識別系統(tǒng)就有可能在完全正常的流程下輸出一個截然不同的錯誤結(jié)果。
此前，Ian Goodfellow在2015年ICLR會議上就提出了著名逃逸樣本，樣本使用了谷歌的深度學(xué)習研究系統(tǒng)，該系統(tǒng)利用卷積神經(jīng)元網(wǎng)絡(luò)，能夠精確區(qū)分熊貓和長臂猿等圖片。不過，攻擊者對熊貓的圖片“稍加改造”，增添了一些干擾因素。雖然這細微的差別并不會影響人類的判斷，不過圖像識別深度學(xué)習系統(tǒng)卻會把熊貓誤認為長臂猿。
圖2：逃逸攻擊讓深度學(xué)習系統(tǒng)將熊貓誤認為長臂猿
據(jù)悉，基于機器學(xué)習的逃逸攻擊主要分為白盒攻擊和黑盒攻擊。白盒攻擊需要獲取機器學(xué)習模型內(nèi)部的所有信息，然后直接計算得到對抗樣本；黑盒攻擊則只需要知道模型的輸入和輸出，不需要了解模型內(nèi)部的構(gòu)造和狀態(tài)，即可通過觀察模型輸出的變化來生成對抗樣本。
此外，該文合作者許偉林采用遺傳編程隨機修改惡意軟件的方法，成功攻擊了兩個號稱準確率極高的惡意PDF文件分類器：PDFrate和Hidost。這些逃逸檢測的惡意文件和算法自動修改出來的，并不需要PDF安全專家介入。同樣的算法可以用來對實際應(yīng)用的機器學(xué)習系統(tǒng)進行逃逸攻擊。
同時，針對AI系統(tǒng)的對抗性研究，就是讓人工智能系統(tǒng)輸出錯誤的結(jié)果。還是以手寫圖像識別為例，攻擊者可以構(gòu)造惡意的圖片，使得人工智能系統(tǒng)在分類識別圖片的過程中觸發(fā)相應(yīng)的安全漏洞，改變程序正常執(zhí)行的控制流或數(shù)據(jù)流，使得人工智能系統(tǒng)輸出攻擊者指定的結(jié)果。
圖3：針對人臉識別系統(tǒng)的對抗樣本生成
白皮書中還提到，雖然深度學(xué)習系統(tǒng)經(jīng)過訓(xùn)練可以對正常輸入達到很低的誤判率，但是當攻擊者用系統(tǒng)化的方法能夠生成誤判樣本的時候，攻擊的效率就可以接近100%，從而實現(xiàn)穩(wěn)定的逃逸攻擊。這也意味著，雖然人工智能應(yīng)用正越來越普及，但是對于逃逸攻擊的研究也應(yīng)該同步跟進，其安全問題不容忽視。
- AI家庭“四大件”重塑家庭生活：中興通訊引領(lǐng)智能共生新潮流
- 紫光國微一季度利潤驟降：2025年Q1凈利潤僅1.19億元，降幅高達61.11%
- 尚網(wǎng)網(wǎng)絡(luò)攜手南京公交集團，共創(chuàng)智慧出行新生態(tài)，讓出行更便捷
- 華為發(fā)布AI數(shù)據(jù)湖解決方案：大數(shù)據(jù)領(lǐng)域的新變革，行業(yè)智能化新動力
- 淘寶外賣升級：小時達變閃購，外賣市場再掀波瀾
- 中國電信柯瑞文談云改數(shù)轉(zhuǎn)與AI發(fā)展：探索數(shù)字未來，打造新型競爭力
- 華為智領(lǐng)未來，創(chuàng)新驅(qū)動加速邁向智能世界
- 臺積電巨額虧損仍押注美國建廠，先進產(chǎn)能布局成謎？
- 馬斯克警告：中國汽車銷量超越美歐指日可待，消費實力崛起挑戰(zhàn)全球汽車市場
- 外賣平臺競爭激烈，餓了么推出百億補貼并關(guān)懷騎手，超時扣款取消，看誰能笑到最后
免責聲明：本網(wǎng)站內(nèi)容主要來自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿，凡在本網(wǎng)站出現(xiàn)的信息，均僅供參考。本網(wǎng)站將盡力確保所提供信息的準確性及可靠性，但不保證有關(guān)資料的準確性及可靠性，讀者在使用前請進一步核實，并對任何自主決定的行為負責。本網(wǎng)站對有關(guān)資料所引致的錯誤、不確或遺漏，概不負任何法律責任。任何單位或個人認為本網(wǎng)站中的網(wǎng)頁或鏈接內(nèi)容可能涉嫌侵犯其知識產(chǎn)權(quán)或存在不實內(nèi)容時，應(yīng)及時向本網(wǎng)站提出書面權(quán)利通知或不實情況說明，并提供身份證明、權(quán)屬證明及詳細侵權(quán)或不實情況證明。本網(wǎng)站在收到上述法律文件后，將會依法盡快聯(lián)系相關(guān)文章源頭核實，溝通刪除相關(guān)內(nèi)容或斷開相關(guān)鏈接。
