對話信通院陳俊琰：可信AI的五大趨勢和四大挑戰(zhàn)

1月11日消息（安迪）當(dāng)前，人工智能技術(shù)持續(xù)加快演進，深刻改變著人們的生產(chǎn)生活方式。隨之而來的數(shù)據(jù)隱私、算法歧視、安全風(fēng)險等人工智能治理問題也引起各方的共同關(guān)注。發(fā)展可信AI，已經(jīng)成為全球共識，更是人工智能發(fā)展的必由之路。

那么，可信AI需要包含哪些可信要素？可信AI面臨哪些新的發(fā)展趨勢和挑戰(zhàn)？業(yè)界在可信AI方面又有哪些成功實踐呢？對此，中國信息通信研究院華東分院人工智能與大數(shù)據(jù)事業(yè)部主任陳俊琰在接受C114專訪時為我們進行了詳細(xì)解讀。

五大趨勢

在陳俊琰看來，人工智能產(chǎn)業(yè)在發(fā)展運行過程中遇到諸多風(fēng)險與隱患：一是算法安全導(dǎo)致的應(yīng)用風(fēng)險；二是黑箱模型導(dǎo)致算法不透明；三是數(shù)據(jù)歧視導(dǎo)致智能決策偏見；四是系統(tǒng)決策復(fù)雜導(dǎo)致責(zé)任事故主體難以界定；五是數(shù)據(jù)濫用導(dǎo)致隱私泄露風(fēng)險。

“基于上述風(fēng)險與隱患，可信人工智能至少應(yīng)當(dāng)包含安全性、可解釋、隱私保護、可靠性、負(fù)責(zé)任等多方面要素。”陳俊琰指出，隨著可信實踐的逐步深入，業(yè)界對可信AI的認(rèn)識也在不斷變化，近年來更加強調(diào)“人類對可信AI認(rèn)識及素養(yǎng)的提升”以及“對提升AI可信度的可持續(xù)性工具的提出”，進而從技術(shù)與工程的角度，落實倫理治理要求，實現(xiàn)創(chuàng)新發(fā)展和風(fēng)險治理的有效平衡。當(dāng)前，可信AI技術(shù)和產(chǎn)業(yè)正呈現(xiàn)以下五大發(fā)展趨勢：

趨勢1：形成產(chǎn)業(yè)共識，由各自表述向統(tǒng)一理念邁進。世界各國已針對可信人工智能內(nèi)涵及側(cè)重點逐步達(dá)成統(tǒng)一意見，并已針對透明度、隱私保護、公平等方面形成了初步共識，進而邁入了形成統(tǒng)一理念的新發(fā)展階段。隨著可信AI在更多領(lǐng)域的持續(xù)落地，理念與實踐間將形成良性互動，以可信理念指導(dǎo)產(chǎn)業(yè)實踐落地，用產(chǎn)業(yè)實踐不斷豐富可信內(nèi)涵，從而進一步鞏固統(tǒng)一的產(chǎn)業(yè)共識。

趨勢2：突出理念落地，由抽象概念向具體實踐發(fā)展。目前，可信AI正處于由抽象學(xué)術(shù)概念向產(chǎn)業(yè)實踐加速落地的關(guān)鍵時期，產(chǎn)業(yè)主體正在由以理論界為主向產(chǎn)業(yè)界落地為主轉(zhuǎn)變，產(chǎn)出形態(tài)由論文為主向產(chǎn)品服務(wù)為主轉(zhuǎn)變，專利數(shù)量持續(xù)增長，并已經(jīng)形成了一批可見可用的產(chǎn)業(yè)成果，誕生了一批代表性企業(yè)。未來，可信AI理念將更深層次地與AI產(chǎn)業(yè)鏈各環(huán)節(jié)結(jié)合，與元宇宙、人工智能生成內(nèi)容等新技術(shù)、新業(yè)態(tài)互相促進，并在AI場景和產(chǎn)品中得到更加廣泛的體現(xiàn)。

趨勢3：注重動態(tài)平衡，由單一維度向綜合框架轉(zhuǎn)變。可信AI中的可解釋、穩(wěn)定性、隱私保護等要素之間存在協(xié)同與平衡的關(guān)系，這就要求可信AI的實現(xiàn)與衡量不能以單一要素為決定因素，而應(yīng)結(jié)合實際應(yīng)用需求，尋求最優(yōu)的平衡效果。因此，可信AI的一體化研究將是未來重要趨勢，從單一維度研究逐步過渡到關(guān)注各項可信能力之間的相互作用及其影響，使之具有較強的綜合性和整體性，實現(xiàn)各項可信能力之間的動態(tài)平衡，以綜合可信框架促進產(chǎn)業(yè)協(xié)調(diào)健康發(fā)展。

趨勢4：優(yōu)化技術(shù)布局，由前期研究向更深層次探索?？山忉屝苑矫妫绾瓮ㄋ滓锥叵蛴脩艚忉屓斯ぶ悄芗夹g(shù)原理、算法自動決策機制、潛在風(fēng)險及防范措施成為首要任務(wù)，并希望以此消除社會公眾對新一代人工智能技術(shù)的疑惑和擔(dān)憂。公平性方面還需要為現(xiàn)有的公平性定義提供更強的條件，進一步拓寬公平性覆蓋面，涵蓋現(xiàn)有問題中沒有考慮到的歧視，同時合理松弛以提高預(yù)測模型準(zhǔn)確度。隱私保護方面，進一步推進分級分類，特別是針對人臉、指紋等敏感數(shù)據(jù)，如何在便捷地實現(xiàn)盡可能高的識別準(zhǔn)確率的同時提升隱私保護性能。安全性（魯棒性）方面，當(dāng)前可驗證魯棒性的理論和實踐存在較大落差，如何把一些外部知識交給機器學(xué)習(xí)模型來幫助其提高防御能力成為一個有前景的研究方向。

趨勢5：融合多元主體，由產(chǎn)學(xué)研向社會大眾拓展。隨著社會認(rèn)知的深入，可信人工智能參與主體將進一步豐富，產(chǎn)業(yè)鏈多主體、多要素協(xié)調(diào)互動。在《網(wǎng)絡(luò)安全法》、《數(shù)據(jù)安全法》、《個人信息保護法》等法律法規(guī)框架下，深圳、上海、北京等地加快推動人工智能立法，建立公共場所人工智能分級分類應(yīng)用規(guī)范，形成具有地方特色的可信人工智能治理體系。行業(yè)協(xié)會、聯(lián)盟和研究機構(gòu)發(fā)揮積極作用，聯(lián)合行業(yè)企業(yè)圍繞先行領(lǐng)域制定和發(fā)布行業(yè)標(biāo)準(zhǔn)，在安全性、可靠性等領(lǐng)域已經(jīng)取得了一些成果供落地實施進行參考。“人臉識別第一案”等引發(fā)社會關(guān)注，人民群眾對可信人工智能的了解和需求增加，參與程度大幅提升，從需求層面倒逼可信人工智能發(fā)展。

四大挑戰(zhàn)，五方面建議

基于可信AI最新發(fā)展趨勢，陳俊琰認(rèn)為，當(dāng)前可信AI的發(fā)展正面臨以下四大挑戰(zhàn)：

挑戰(zhàn)1：當(dāng)前可信人工智能政策法規(guī)更偏向理念指引，頂層設(shè)計還不完善，政策法規(guī)間沒有形成完整、協(xié)調(diào)的體系關(guān)系，在模型權(quán)屬、風(fēng)險責(zé)任主體、結(jié)果公平等方面還需要予以明確。

挑戰(zhàn)2：針對可信人工智能技術(shù)的前瞻性研究與布局略顯不足，尤其是在分布式計算、聯(lián)邦學(xué)習(xí)、隱私計算等細(xì)分領(lǐng)域缺少完善可信的開源學(xué)習(xí)框架。在算法公平性、可靠性、隱私數(shù)據(jù)分級分類、可驗證魯棒性的等方面仍需進一步優(yōu)化技術(shù)水平。

挑戰(zhàn)3：針對可信人工智能產(chǎn)品及服務(wù)尚缺少成熟完善的認(rèn)定標(biāo)準(zhǔn)體系，在產(chǎn)品與服務(wù)商能力評估、評測、治理、監(jiān)管等方面缺乏能夠敏捷響應(yīng)、動態(tài)高效的認(rèn)證機制，從而無法系統(tǒng)性解決可信人工智能落地難的問題。

挑戰(zhàn)4：產(chǎn)業(yè)界尤其是社會公眾對可信人工智能理念、意識及重要性仍然缺少必要的認(rèn)識，對人工智能產(chǎn)業(yè)發(fā)展前景與局限性，以及可能造成的風(fēng)險隱患還是缺少深入的了解，在可信人工智能領(lǐng)域技術(shù)交流、成果發(fā)布、渠道對接、資源整合方面仍需進一步加強。

為此，陳俊琰對于可信AI未來發(fā)展提出以下五方面建議：

一是加強政策法規(guī)協(xié)同，協(xié)調(diào)制度、技術(shù)、人員整體推進。圍繞政策法規(guī)體系完善、指南規(guī)范指引路徑、從業(yè)人員可信理念培育，形成合理協(xié)同推進可信人工智能產(chǎn)業(yè)化落地。針對當(dāng)前可信人工智能政策法規(guī)頂層設(shè)計不完善、缺乏完整協(xié)調(diào)的體系關(guān)系以及在模型權(quán)屬、風(fēng)險責(zé)任主體、結(jié)果公平等方面的諸多問題，亟需制定形成人工智能企業(yè)規(guī)范化發(fā)展指南，為企業(yè)提升可信人工智能技術(shù)、將AI向善貫穿于人工智能企業(yè)業(yè)務(wù)全流程提供方法論指引，幫助企業(yè)更好地實踐可信。此外，要注重從業(yè)人員可信理念培育，不斷增強人工智能從業(yè)者可信認(rèn)識，形成自覺踐行可信人工智能理念的良好氛圍，以制度、技術(shù)和人員協(xié)同加快可信人工智能產(chǎn)業(yè)化落地進程。

二是前瞻布局技術(shù)研究，以技術(shù)創(chuàng)新帶動可信持續(xù)發(fā)展。前瞻布局可信開源學(xué)習(xí)框架，探索通用人工智能可信研究，強化代碼可視化，持續(xù)優(yōu)化現(xiàn)有技術(shù)，實現(xiàn)技術(shù)驅(qū)動的可持續(xù)創(chuàng)新。針對分布式計算、聯(lián)邦學(xué)習(xí)、隱私計算等細(xì)分技術(shù)領(lǐng)域，不斷建立完善可信開源學(xué)習(xí)框架，探索通用人工智能甚至是超級智能的可信研究。進一步強化代碼可視化，加快推廣集成了OCR、NLP等人工智能能力的低代碼平臺，為用戶提供一體化的智能服務(wù)能力，提升開發(fā)效率。圍繞可解釋的人機交互、提供更強的公平性定義、提供公平且可靠的算法、隱私數(shù)據(jù)分級分類、可驗證魯棒性等方面，持續(xù)優(yōu)化技術(shù)，實現(xiàn)可信能力之間的均衡協(xié)調(diào)。

三是健全標(biāo)準(zhǔn)評估體系，系統(tǒng)性推進更多領(lǐng)域可信落地。構(gòu)建創(chuàng)新治理閉環(huán)，以標(biāo)準(zhǔn)提升可信人工智能規(guī)范化程度，以評估、測試、認(rèn)證體系建設(shè)加快應(yīng)用和產(chǎn)品落地。首先，構(gòu)建完善的產(chǎn)品標(biāo)準(zhǔn)及評估體系，確立“可信的人工智能”產(chǎn)品與服務(wù)標(biāo)準(zhǔn)，提升對可信產(chǎn)品的認(rèn)可度，并為可信產(chǎn)品和服務(wù)供應(yīng)商提供能力評估，從而加快推動可信人工智能的落地。其次，分領(lǐng)域分階段推進測試認(rèn)證機制，發(fā)展可信人工智能評估評測及認(rèn)證等監(jiān)管技術(shù)，形成從理論原則、法律法規(guī)、合規(guī)增強技術(shù)、評估評測及認(rèn)證的治理創(chuàng)新閉環(huán)；在醫(yī)療健康、自動駕駛、公共服務(wù)等領(lǐng)域分階段推進研究能夠適應(yīng)場景特性、敏捷響應(yīng)、動態(tài)的認(rèn)證機制，系統(tǒng)性解決可信人工智能落地難的問題。

四是強化可信流程管理，將可信理念融入系統(tǒng)原生設(shè)計。運用可信理念重塑流程管理新能力、新形態(tài)，將人工智能可信融入系統(tǒng)原生設(shè)計，確保產(chǎn)品的可信品質(zhì)。在《可信AI操作指引》等的基礎(chǔ)上，面向業(yè)務(wù)數(shù)字化轉(zhuǎn)型需求和生產(chǎn)研發(fā)實際，將可信理念融入流程發(fā)現(xiàn)、流程監(jiān)控、流程優(yōu)化、流程管理等各個環(huán)節(jié)，塑造形成全新的流程管理能力。同時，將人工智能可信融入系統(tǒng)原生設(shè)計，在人工智能應(yīng)用系統(tǒng)建設(shè)過程中，將人工智能可信作為基礎(chǔ)能力及要求納入其設(shè)計范疇，以彈性適應(yīng)未來人工智能安全的問題及挑戰(zhàn)，以更加豐富的技術(shù)手段適配人工智能系統(tǒng)的不同發(fā)展階段、不同應(yīng)用要求、不同風(fēng)險強度，為人工智能的可信應(yīng)用保駕護航。

五是推動產(chǎn)業(yè)交流合作，共同打造可信產(chǎn)業(yè)生態(tài)朋友圈。加強國內(nèi)外溝通合作，共建人工智能產(chǎn)業(yè)國際可信機制，做好宣傳引導(dǎo)，增進社會公眾的可信人工智能意識。進一步發(fā)揮行業(yè)組織和高水平專業(yè)平臺作用，為可信人工智能企業(yè)和從業(yè)者提供技術(shù)交流、成果發(fā)布、資源對接的渠道，聚集行業(yè)各方力量共同打造可信人工智能生態(tài)圈。積極開展國際交流和技術(shù)合作，從人工智能系統(tǒng)測試和管控、危機溝通渠道等方面著手，主動參與國際人工智能治理，共建人工智能產(chǎn)業(yè)國際可信機制。加強對可信人工智能的宣傳，通過對可信人工智能理念、典型案例的宣傳和引導(dǎo)，增進社會公眾對可信人工智能的認(rèn)識了解，提高民眾對人工智能潛能、挑戰(zhàn)和局限性的認(rèn)識，為可信人工智能產(chǎn)業(yè)發(fā)展?fàn)I造良好的社會環(huán)境。

探索成功路徑和實踐

而事實上，近兩年業(yè)界在可信AI方面已經(jīng)進行了諸多路徑的探索和實踐。

立法方面，上海市于2021年12月、2022年9月和2022年11月先后發(fā)布《上海市智能網(wǎng)聯(lián)汽車測試與應(yīng)用管理辦法》、《上海市促進人工智能產(chǎn)業(yè)發(fā)展條例》和《上海市浦東新區(qū)促進無駕駛?cè)酥悄芫W(wǎng)聯(lián)汽車創(chuàng)新應(yīng)用規(guī)定》，強調(diào)了人工智能算法可信、倫理道德、治理與監(jiān)管等方面，并針對智能網(wǎng)聯(lián)汽車領(lǐng)域技術(shù)標(biāo)準(zhǔn)、數(shù)據(jù)安全與個人信息保護做了詳細(xì)規(guī)定。此外，《上海市促進人工智能產(chǎn)業(yè)發(fā)展條例》明確，上海市人民政府設(shè)立“上海市人工智能戰(zhàn)略咨詢專家委員會”，為產(chǎn)業(yè)發(fā)展中的重大戰(zhàn)略、重大決策提供咨詢意見，同時設(shè)立“人工智能倫理專家委員會”，負(fù)責(zé)制定倫理規(guī)范指南、推動參與國內(nèi)外人工智能領(lǐng)域倫理重大問題研討和規(guī)范制定。

標(biāo)準(zhǔn)方面，《關(guān)于推進本市新一代人工智能標(biāo)準(zhǔn)體系建設(shè)的指導(dǎo)意見》于2021年7月發(fā)布。測試評估方面，《意見》圍繞智能網(wǎng)聯(lián)汽車、醫(yī)療影像輔助診斷、視覺圖像身份識別、智能傳感器等賽道，加快構(gòu)建完善可信AI評測體系，同時針對測試評估建立共性標(biāo)準(zhǔn)；安全倫理方面，《意見》提出加強安全倫理標(biāo)準(zhǔn)對人工智能發(fā)展的引導(dǎo)和規(guī)范，提升安全保障能力，建立積極的治理規(guī)則，從安全與隱私保護規(guī)范和應(yīng)用場景安全規(guī)范兩大模塊強化標(biāo)準(zhǔn)研制，并建立安全風(fēng)險等級體系；與此同時，上海市人工智能標(biāo)準(zhǔn)化技術(shù)委員會于2021年7月揭牌成立，與相關(guān)行業(yè)主管部門共同推動上海在人工智能標(biāo)準(zhǔn)領(lǐng)域先試先行。其中，可信人工智能領(lǐng)域的標(biāo)準(zhǔn)包括《公共場所人臉識別分級分類應(yīng)用規(guī)范》、《人臉識別系統(tǒng)通用建設(shè)規(guī)范》、《人臉識別系統(tǒng)工程驗收規(guī)范》、《人工智能企業(yè)認(rèn)定與分級分類指南》、《數(shù)據(jù)交易：第四部分，數(shù)據(jù)產(chǎn)品可信交付技術(shù)要求與評估規(guī)范》、《人工智能標(biāo)準(zhǔn)化工作導(dǎo)則》共6項地方標(biāo)準(zhǔn)以及《神經(jīng)網(wǎng)絡(luò)分類模型穩(wěn)定性基本要求與測試方法》《隱私計算密碼應(yīng)用基本要求與測評規(guī)范》共2項團體標(biāo)準(zhǔn)，牽頭單位包括中國信通院華東分院及行業(yè)知名機構(gòu)和企業(yè)。

論壇方面，2021年，由中國信通院和京東探索研究院承辦的可信AI論壇，以“AI向善 全球共治”為主題，深入探討可信AI的認(rèn)知演進、理論研究與產(chǎn)業(yè)探索。論壇發(fā)布了《可信人工智能白皮書》、《促進可信人工智能發(fā)展倡議》、《開放金融數(shù)據(jù)共享中隱私計算的平衡之道》等多項成果，同時成立了上海可信AI測評中心和中國人工智能產(chǎn)業(yè)發(fā)展聯(lián)盟人工智能治理與可信委員會，深入開展技術(shù)研究、標(biāo)準(zhǔn)制定、評估測試、試點示范、成果發(fā)布、國際合作等工作。2022年，由中國信息通信研究院華東分院承辦的可信AI論壇，以“可信AI，共建共治”為主題，就可信AI政策標(biāo)準(zhǔn)、理論技術(shù)、應(yīng)用場景展開探討。論壇發(fā)布了《可信人工智能產(chǎn)業(yè)生態(tài)發(fā)展報告(2022年)》、 “螞蟻集團—蟻鑒AI安全檢測平臺”以及“星環(huán)科技T-DACM可信AI治理框架”等多項成果，同時成立可信人工智能聯(lián)合實驗室，該實驗室將圍繞AI應(yīng)用管理、AI算法模型、平臺系統(tǒng)與硬件產(chǎn)品等建立體系化可信評估規(guī)范，構(gòu)建人工智能算法與平臺安全測試評估的方法、技術(shù)、規(guī)范和工具集，引導(dǎo)企業(yè)參與可信人工智能的研究與發(fā)展。

實踐方面，在基礎(chǔ)能力方面，有孚云AI智算集群依托穩(wěn)定、安全的GPU資源，基于采用Kubernetes架構(gòu)，通過集中調(diào)度、管理和可定制化的模板服務(wù)，為用戶提供開箱即用的框架平臺和算法工具，應(yīng)用場景涉及身份識別、隱私保護、反欺詐、AI反制等方面；算法技術(shù)方面，業(yè)界廠商建立基于真實場景數(shù)據(jù)的算法測評體系，針對商業(yè)化算法場景以及全方位多數(shù)據(jù)集算法進行評測，持續(xù)推動算法測評的成熟與創(chuàng)新，應(yīng)用場景涉及醫(yī)療診斷數(shù)據(jù)集算法驗證與評測以及金融業(yè)算法安全性、可解釋性、精準(zhǔn)性與性能評價等；應(yīng)用場景方面，業(yè)界廠商推出基于安全多方計算進行人口實時數(shù)據(jù)統(tǒng)計，通過部署可信AI安全多方計算節(jié)點，基于場景開發(fā)人口數(shù)據(jù)統(tǒng)計計算模型規(guī)則，并保護用戶數(shù)據(jù)隱私。同時，還發(fā)布了智能網(wǎng)聯(lián)多方數(shù)據(jù)安全協(xié)同解決方案，向下接入主機廠、路側(cè)及第三方機構(gòu)數(shù)據(jù)，向上支撐交通、服務(wù)、運營等多種數(shù)據(jù)應(yīng)用場景，依托可信AI隱私計算實現(xiàn)智能網(wǎng)聯(lián)汽車數(shù)據(jù)安全共享。

生成海報

免責(zé)聲明：本網(wǎng)站內(nèi)容主要來自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿，凡在本網(wǎng)站出現(xiàn)的信息，均僅供參考。本網(wǎng)站將盡力確保所提供信息的準(zhǔn)確性及可靠性，但不保證有關(guān)資料的準(zhǔn)確性及可靠性，讀者在使用前請進一步核實，并對任何自主決定的行為負(fù)責(zé)。本網(wǎng)站對有關(guān)資料所引致的錯誤、不確或遺漏，概不負(fù)任何法律責(zé)任。任何單位或個人認(rèn)為本網(wǎng)站中的網(wǎng)頁或鏈接內(nèi)容可能涉嫌侵犯其知識產(chǎn)權(quán)或存在不實內(nèi)容時，應(yīng)及時向本網(wǎng)站提出書面權(quán)利通知或不實情況說明，并提供身份證明、權(quán)屬證明及詳細(xì)侵權(quán)或不實情況證明。本網(wǎng)站在收到上述法律文件后，將會依法盡快聯(lián)系相關(guān)文章源頭核實，溝通刪除相關(guān)內(nèi)容或斷開相關(guān)鏈接。