摘要

近年來，隨著海量數據的積累、計算能力的發展、機器學習方法與系統的持續創新與演進，諸如圖像識別、語音識別、自然語言翻譯等人工智能技術得到普遍部署和廣泛應用，人工智能正朝著歷史性時刻邁進。與此同時，AI對于傳統計算機安全領域的研究也產生了重大影響，除了利用AI來構建各種惡意檢測、攻擊識別系統外，黑客也可能利用AI達到更精準的攻擊。除此之外，在關鍵的AI應用場景上，AI自身的安全性變得前所未有的重要，極需要構建一個不會被外界干擾而影響判斷的健壯AI系統。可以說AI幫助了安全，安全也能幫助AI。

本文主要目的是探討AI自身的安全，確保AI模型和數據的完整性與保密性，使其在不同的業務場景下，不會輕易地被攻擊者影響而改變判斷結果或泄露數據。不同于傳統的系統安全漏洞，機器學習系統存在安全漏洞的根因是其工作原理極為復雜，缺乏可解釋性。各種AI系統安全問題（惡意機器學習）隨之產生，閃避攻擊、藥餌攻擊以及各種后門漏洞攻擊層出不窮。這些攻擊不但精準，而且對不同的機器學習模型有很強的可傳遞性，使得基于深度神經網絡（DNN）的一系列AI應用面臨較大的安全威脅。例如，攻擊者在訓練階段摻入惡意數據，影響AI模型推理能力；同樣也可以在判斷階段對要判斷的樣本加入少量噪音，刻意改變判斷結果；攻擊者還可能在模型中植入后門并實施高級攻擊；也能通過多次查詢竊取模型和數據信息。

為了應對AI安全的新挑戰，本文提出了將AI系統部署到業務場景中所需要的三個層次的防御手段：攻防安全，對已知攻擊設計有針對性的防御機制；模型安全，通過模型驗證等手段提升模型健壯性；架構安全，在部署AI的業務中設計不同的安全機制保證業務安全。

AI安全面臨五大挑戰

AI有巨大的潛能改變人類命運，但同樣存在巨大的安全風險。這種安全風險存在的根本原因是AI算法設計之初普遍未考慮相關的安全威脅，使得AI算法的判斷結果容易被惡意攻擊者影響，導致AI系統判斷失準。在工業、醫療、交通、監控等關鍵領域，安全危害尤為巨大；如果AI系統被惡意攻擊，輕則造成財產損失，重則威脅人身安全。

AI安全風險不僅僅存在于理論分析，并且真實的存在于現今各種AI應用中。例如攻擊者通過修改惡意文件繞開惡意文件檢測或惡意流量檢測等基于AI的檢測工具；加入簡單的噪音，致使家中的語音控制系統成功調用惡意應用；刻意修改終端回傳的數據或刻意與聊天機器人進行某些惡意對話，導致后端AI系統預測錯誤；在交通指示牌或其他車輛上貼上或涂上一些小標記，致使自動駕駛車輛的判斷錯誤。

應對上述AI安全風險，AI系統在設計上面臨五大安全挑戰：

• 軟硬件的安全：在軟件及硬件層面，包括應用、模型、平臺和芯片，編碼都可能存在漏洞或后門；攻擊者能夠利用這些漏洞或后門實施高級攻擊。在AI模型層面上，攻擊者同樣可能在模型中植入后門并實施高級攻擊；由于AI模型的不可解釋性，在模型中植入的惡意后門難以被檢測。
• 數據完整性：在數據層面，攻擊者能夠在訓練階段摻入惡意數據，影響AI模型推理能力；攻擊者同樣可以在判斷階段對要判斷的樣本加入少量噪音，刻意改變判斷結果。
• 模型保密性：在模型參數層面，服務提供者往往只希望提供模型查詢服務，而不希望曝露自己訓練的模型；但通過多次查詢，攻擊者能夠構建出一個相似的模型，進而獲得模型的相關信息。
• 模型魯棒性：訓練模型時的樣本往往覆蓋性不足，使得模型魯棒性不強；模型面對惡意樣本時，無法給出正確的判斷結果。
• 數據隱私：在用戶提供訓練數據的場景下，攻擊者能夠通過反復查詢訓練好的模型獲得用戶的隱私信息。

AI安全防御框架

圖1，AI安全防御架構

圖1描繪了AI系統部署到業務場景中所需要三個層次的防御手段：攻防安全、模型安全和架構安全。

攻防安全：針對已知攻擊，設計有針對性的防御機制保護AI系統安全。目前主流的幾種攻擊方法包括閃避攻擊、藥餌攻擊、后門攻擊和模型/數據竊取攻擊。針對這些攻擊對應的防御技術包括對抗訓練、網絡蒸餾、對抗樣本檢測、DNN模型驗證、訓練數據過濾、集成分析、模型剪枝、隱私聚合教師模型等防御技術。

模型安全：惡意機器學習（Adversarial ML）廣泛存在，閃避攻擊（Evasion）、藥餌攻擊（Poisoning）以及各種后門漏洞攻擊無往不利，攻擊不但精準、也有很強的可傳遞性（Transferability），使得AI模型在實用中造成誤判的危害極大。因此，除了針對那些已知攻擊手段所做的防御之外，也應增強AI模型本身的安全性，避免其它可能的攻擊方式造成的危害。關鍵技術包括模型可檢測性、模型可驗證性和模型可解釋性。

架構安全：在大力發展人工智能的同時，必須高度重視AI系統引入可能帶來的安全風險，加強前瞻預防與約束引導，最大限度降低風險，確保人工智能安全、可靠、可控發展。而在業務中使用AI模型，則需要結合具體業務自身特點和架構，分析判斷AI模型使用風險，綜合利用隔離、檢測、熔斷和冗余等安全機制設計AI安全架構與部署方案，增強業務產品健壯性。