[發明專利]面向黑盒模型的表征診斷與解釋、模型比較、訓練樣本收集的方法與系統

在審

• 申請號: 202111155124.3
• 申請日: 2021-09-29
• 公開（公告）號: CN114462291A
• 公開（公告）日: 2022-05-10
• 發明（設計）人: 張拳石
• 申請（專利權）人: 上海交通大學
• 主分類號: G06F30/27
• 分類號: G06F30/27;G06N3/04;G06N3/08;G06N20/00;G06F111/10
• 代理公司: 上海一平知識產權代理有限公司 31266
• 代理人: 徐迅;崔佳佳

本發明涉及機器學習技術領域，公開了一種面向黑盒模型的表征診斷、模型比較、訓練樣本收集的方法與系統，可實現自動解釋黑盒模型的內部邏輯，得到表示黑盒模型內部邏輯的“與或圖”模型，從而實現面向黑盒模型的表征診斷、模型比較、訓練樣本收集。其包括：提供某一黑盒模型；將樣本輸入黑盒模型，樣本包含一定維度的輸入單元；基于黑盒模型的中層輸出特征，對樣本的輸入單元間交互配合的作用進行建模，計算輸入單元形成間組合的交互強度，將黑盒模型表示為輸入單元間組合間的“與加關系”；優化交互計算中各輸入單元上的基準值，使得從黑盒模型得到的“與加關系”表達更加簡潔；基于上述關系建立表達該黑盒模型內部邏輯的“與或圖”模型。

技術領域

本發明涉及機器學習技術領域，特別涉及一種面向黑盒模型的表征診斷、模型比較、訓練樣本收集的方法與系統技術。

背景技術

目前，許多帶有黑盒屬性的模型已經在圖像、文本等各個領域中展現出強大的性能，但它的黑盒屬性仍然制約著它在許多敏感性領域中的廣泛應用。許多研究開始關注黑盒模型的可解釋性。但是，這些技術一方面缺乏客觀性，無法說明可解釋的程度，另一方面存在解釋過于復雜的問題。即現有的技術無法客觀簡潔的解釋黑盒模型的內部邏輯。

因此，客觀簡潔地解釋黑盒模型的內部邏輯、得到表示黑盒模型內部邏輯的層級圖是一個亟待解決的問題。

發明內容

本發明的目的在于提供一種面向黑盒模型的表征診斷、模型比較、訓練樣本收集的方法與系統，可實現自動表征黑盒模型的內部邏輯，得到表示黑盒模型內部邏輯的“與或圖”。

本發明公開了一種解釋黑盒模型的方法，包括以下步驟：

(1)選取模型；

選取所需要解釋，分析的黑盒模型，其中所述黑盒模型包括神經網絡等模型；

(2)獲取建模所需數據：

選取某一樣本輸入所述黑盒模型以此獲得基于所述輸入樣本得到的模型輸出樣本或中層輸出特征樣本，將所述輸入樣本與所述模型輸出樣本或中層輸出特征樣本作為建模時的數據，其中所述輸入樣本包含W個維度的輸入單元，其中W為≥5的正整數，在另一優選例中，W為10-10000，更佳地15-100；

(3)建立復雜“與加關系”

基于所述黑盒模型的中層輸出特征或模型輸出樣本，對所述輸入樣本的輸入單元間的交互配合作用進行建模，獲得所述輸入單元間組合，并計算所述輸入單元間組合的交互強度，然后根據所述交互強度將所述黑盒模型表示為輸入單元間組合間的“與加關系”；

(4)建立精簡“與加關系”

基于所述步驟(3)中的所述“與加關系”，通過優化交互計算中各輸入單元上的基準值，將所述“與加關系”中關聯性強的輸入單元間組合進一步結合，并將非重要輸入單元間組合剔除，從而將所述“與加關系”表達的更加簡潔、稀疏；

(5)建立“與或圖”模型

基于步驟(4)所述的精簡“與加關系”，建立表達該黑盒模型內部邏輯的“與或圖”模型。

在另一優選例中，所述步驟(c)進一步包括以下步驟：

所述黑盒模型表示為v，輸入包含n個輸入單元，表示為集合N＝{1，2，…，n}。具體地，輸入單元n的取值一般大于等于5。黑盒模型在該輸入上得到的輸出表示為v(N)。對于任意輸入單元的子集稱為輸入單元間組合。v(S)表示黑盒模型在給定某一輸入單元間組合S內所有輸入單元時的輸出。在一個黑盒模型中，樣本的輸入單元并不單獨起作用，而是存在互相交互配合起作用。因此，基于Harsanyi dividend指標對輸入單元間的交互配合作用進行量化，計算輸入單元間組合S內部的輸入單元之間交互配合對中層輸出特征或模型輸出的數值貢獻，記為I(S)，并將黑盒模型的輸出或中層輸出特征v(N)拆分為各輸入單元間組合S的交互作用大小之和，即