[發明專利]針對黑盒機器學習模型的規則確定

在審

• 申請號: 201811070584.4
• 申請日: 2018-09-13
• 公開（公告）號: CN109800885A
• 公開（公告）日: 2019-05-24
• 發明（設計）人: P·古普塔;S·沃瑪;P·阿加瓦爾;N·普里;B·克里希納默西
• 申請（專利權）人: 奧多比公司
• 主分類號: G06N20/00
• 分類號: G06N20/00
• 代理公司: 北京市金杜律師事務所 11256
• 代理人: 酆迅;辛鳴

本公開內容的各實施例涉及針對黑盒機器學習模型的規則確定。描述了針對黑盒機器學習模型(BBMLM)的規則確定。這些規則由解釋系統確定以描述BBMLM的操作以將對BBMLM的輸入與BBMLM的觀察到的輸出相關聯，并且不需要知道由BBMLM在操作中使用以進行這些關聯的邏輯。為了確定這些規則，解釋系統最初生成代理黑盒模型以僅基于指示輸入和觀察到的輸出的數據來模仿BBMLM的行為，因為被實際使用的邏輯對系統不可用。解釋系統通過使用遺傳算法組合基于代理黑盒模型的輸出而被標識的條件來生成描述BBMLM的操作的規則。這些規則被輸出作為if?then語句，if?then語句被配置有被形成作為條件的列表的if部分和具有關聯的觀察到的輸出的指示的then部分。

技術領域

本公開內容的各實施例涉及針對黑盒機器學習模型的規則確定。

背景技術

計算系統中的機器學習和人工智能(AI)使用正變得普遍。實際上，“智能”算法(涉及某種程度的機器學習或AI的算法)的實現方式存在于很多縱向行業中。這些算法例如存在于醫學、金融、成像、電子商務、音頻處理等中。從廣義上講，存在兩種類型的機器學習算法。這些算法的第一種類型基于相對簡單的公式，并且因此通常是可解釋的。該第一類型的示例包括線性回歸、邏輯回歸、決策樹等。這些算法的一個優點是它們的操作可以被可視化并且因此被人類解釋。舉例來說，針對線性回歸模型而被學習的權重使得分析人員能夠確定模型在做出決策時使用的不同數據屬性的相對重要性。因此可以容易地證明由根據該第一類型的算法配置的模型做出的決定，例如，分析人員可以通過指示確定的權重偏離某些屬性值的程度來解釋該決定，以使得這些模型能夠實現該決定。

與第一類型的算法相反的是基于能夠表示非線性函數的公式的第二類型。該第二類型的算法的示例包括神經網絡、隨機森林、梯度增強樹等。這些算法的一個優點是它們能夠在數據中對比第一類型的算法更復雜的模式建模，并且因此通常關于大多數數據集來實現比第一類型更高的準確度。然而，實現這種更高準確度水平的權衡是模型可解釋性。例如，神經網絡通常包括具有不同激活和輟學(dropout)的隱藏層，并且隨機森林可能具有數千棵樹，其中最終決策是組合由這些樹中的每個樹做出的各個預測的函數。這樣的模型可以被認為是“黑盒”，因為這些模型在操作期間用于產生輸出的邏輯在很大程度上是未知的。關于黑盒模型如何產生輸出的可解釋性的缺乏可能導致用戶不信任這樣的模型，并且使得與這樣的模型的輸出相關的未來規劃變得困難。這是因為，由于這些模型的邏輯未知，因此分析人員無法可靠地預測這樣的模型的輸出。由于缺乏可解釋性，某些類型的機器學習模型根本沒有被用于其他方面可能有用的應用。

發明內容

為了克服這些問題，在數字媒體環境中利用針對黑盒機器學習模型的規則確定。這些規則由解釋系統確定以描述黑盒機器學習模型的操作，以將模型的輸入與模型的觀察到的輸出相關聯，并且不需要知道模型在操作中使用以進行這些關聯的邏輯。為了確定這些規則，解釋系統最初獲取指示黑盒機器學習模型的輸入和觀察到的輸出的數據。解釋系統生成代理黑盒模型，以基于獲取的數據模仿來黑盒機器學習模型的行為。

此外，解釋系統利用由代理黑盒模型提供的概率來針對黑盒機器學習模型的觀察到的輸出生成條件。關于這些概率，代理黑盒模型針對給定輸入實例輸出黑盒機器學習模型將每個觀察到的輸出與輸入實例相關聯的概率。生成的條件各自是輸入實例的數據屬性的組合和值或值的范圍，例如，來自根據概率與觀察到的輸出相關聯的輸入實例。然后，解釋系統通過使用遺傳算法組合這些條件來生成描述黑盒機器學習模型的操作的規則。然后，規則被輸出作為if-then語句，if-then語句被配置有被形成為條件列表的if部分和具有相關聯的觀察到的輸出的指示的then部分。

本“發明內容”以簡化的形式介紹了一些概念，這些概念將在下面的“具體實施方式”中被進一步描述。因此，本“發明內容”并非旨在標識所要求保護的主題的必要特征，也并非旨在用于幫助確定所要求保護的主題的范圍。

附圖說明

參考附圖描述詳細描述。