[發明專利]對不可信的機器學習系統的主動防御

在審

• 申請號: 201880098320.1
• 申請日: 2018-08-23
• 公開（公告）號: CN112789634A
• 公開（公告）日: 2021-05-11
• 發明（設計）人: A·蓋達姆;A·葉爾馬克揚;P·喬葛蕾卡
• 申請（專利權）人: 維薩國際服務協會
• 主分類號: G06N20/10
• 分類號: G06N20/10;G06F21/55
• 代理公司: 上海專利商標事務所有限公司 31100
• 代理人: 徐倩;錢慰民

公開了一種用于在惡意計算機的機器學習模型中引起模型偏移的方法和系統。數據處理器可以確定惡意計算機使用具有邊界函數的機器學習模型來確定結果。然后，所述數據處理器可以生成意在使所述邊界函數偏移的轉換數據，接著將所述轉換數據提供給所述惡意計算機。所述數據處理器可以重復生成和提供所述轉換數據，進而使所述邊界函數隨時間偏移。

背景技術

隨著機器學習系統變得越來越穩健、高效和精確，機器學習已應用于越來越多的學術、工業和安全應用。具體地說，機器學習分類器已越來越多地用于需要謹慎決策的自動化復雜流程。

機器學習分類器是一種學習在屬于多種類別的輸入數據之間進行區分的機器學習模型。例如，機器學習分類器可以用于在真實新聞報道與虛假新聞報道、合法電子郵件與垃圾電子郵件、各種圖像(例如，在狗的圖像與貓的圖像之間)或字母數字字符之間進行區分。在訓練階段，機器學習分類器可以學習識別標記的訓練數據中的模式。之后，在產出階段，機器學習分類器可以使用這些識別的模式來產生對應于輸入數據的分類數據，例如將新聞報道(輸入數據)分類為虛假新聞(分類數據)。

惡意實體(例如，黑客)可以使用例如機器學習分類器的機器學習模型來執行惡意攻擊。例如，惡意實體可以使用機器學習分類器來對圖像或字母數字字符進行分類，以繞過全自動區分計算機和人類的圖靈測試(completely automated public Turing test totell computers and humans apart，CAPTCHA)系統。在CAPTCHA系統中，用戶可能需要選擇對應于主題的圖像(例如，狗的圖像)，或基于屏幕上顯示的字符正確地鍵入一串字母數字字符，以獲得對系統的訪問權。惡意機器學習分類器可以用于對圖像(例如，狗的圖像)進行分類，使得惡意機器學習分類器可以執行CAPTCHA并獲得對系統的訪問權。

目前，在發現惡意計算機的惡意動作之后，可以將所述惡意計算機列入黑名單，使得所述惡意計算機無法再嘗試CAPTCHA。然而，惡意計算機可以僅使用VPN等以使用新的IP地址，從而避免被列入黑名單。

本發明的實施例個別地和共同地解決此問題和其它問題。

發明內容

本發明的實施例涉及用于隨時間在惡意實體的機器學習模型中引起模型偏移的方法和系統。模型偏移可以指其中機器學習模型由于新訓練數據包括在訓練數據集中而隨時間改變的過程。例如，機器學習分類器中的模型偏移可以表現為機器學習分類器產生的分類的變化，例如圖像分類器將圖像分類為狗，但稍后卻將相同的圖像分類為貓。數據處理器可以生成意在于惡意機器學習模型中引起模型偏移的轉換數據。模型偏移可以防止惡意計算機使用惡意機器學習模型執行惡意攻擊。

一個實施例涉及一種方法，包括：a)由數據處理器確定惡意計算機使用具有邊界函數的機器學習模型來確定結果；b)由所述數據處理器生成意在使所述邊界函數偏移的轉換數據；c)由所述數據處理器將所述轉換數據提供給所述惡意計算機；以及d)由所述數據處理器重復步驟b)和c)，進而使所述邊界函數隨時間偏移。

另一實施例涉及一種數據處理器，包括：處理器；存儲器裝置；以及計算機可讀介質，其耦合到所述處理器，所述計算機可讀介質包括可由所述處理器執行以實施方法的代碼，所述方法包括：a)確定惡意計算機使用具有邊界函數的機器學習模型來確定結果；b)生成意在使所述邊界函數偏移的轉換數據；c)將所述轉換數據提供給所述惡意計算機；以及d)重復步驟b)和c)，進而使所述邊界函數隨時間偏移。

在描述本發明的具體實施例之前，可以詳細地描述一些術語。

術語

“服務器計算機”可以包括功能強大的計算機或計算機群集。例如，服務器計算機可以是大型主機、小型計算機群集或像單元一樣工作的一組服務器。在一個實例中，服務器計算機可以是耦合到網絡服務器的數據庫服務器。服務器計算機可包括一個或多個計算設備，并且可使用各種計算結構、布置和編譯中的任一種來服務來自一個或多個客戶端計算機的請求。