[發(fā)明專利]面向黑盒模型的表征診斷與解釋、模型比較、訓(xùn)練樣本收集的方法與系統(tǒng)

在審

• 申請(qǐng)?zhí)枺?/td>: 202111155124.3
• 申請(qǐng)日: 2021-09-29
• 公開（公告）號(hào): CN114462291A
• 公開（公告）日: 2022-05-10
• 發(fā)明（設(shè)計(jì)）人: 張拳石
• 申請(qǐng)（專利權(quán)）人: 上海交通大學(xué)
• 主分類號(hào): G06F30/27
• 分類號(hào): G06F30/27;G06N3/04;G06N3/08;G06N20/00;G06F111/10
• 代理公司: 上海一平知識(shí)產(chǎn)權(quán)代理有限公司 31266
• 代理人: 徐迅;崔佳佳

1.一種解釋黑盒模型的方法，其特征在于，所述方法包括以下步驟：

(1)選取模型；

選取所需要解釋的黑盒模型，其中所述黑盒模型包括神經(jīng)網(wǎng)絡(luò)；

(2)獲取建模所需數(shù)據(jù)：

選取某一樣本輸入所述黑盒模型以此獲得基于所述輸入樣本得到的中層特征輸出或黑盒模型輸出樣本，將所述輸入樣本與所述中層特征輸出或黑盒模型輸出樣本作為建模時(shí)的數(shù)據(jù)，其中所述輸入樣本包含W個(gè)維度的輸入單元，其中W為≥5的正整數(shù)，在另一優(yōu)選例中，W為10-10000，更佳地15-100；

(3)確定一級(jí)(primary)“與加關(guān)系”

基于所述黑盒模型的中層輸出特征或模型輸出樣本，對(duì)所述輸入樣本的輸入單元間的交互配合作用進(jìn)行建模，獲得由所述輸入單元組成的組合，并計(jì)算所述輸入單元間組合的交互強(qiáng)度，然后根據(jù)所述交互強(qiáng)度確定所述黑盒模型的輸入單元組成的組合間的一級(jí)“與加關(guān)系”；

(4)建立二級(jí)(secondary)“與加關(guān)系”

基于所述步驟(3)中的所述“與加關(guān)系”，通過優(yōu)化交互計(jì)算中各輸入單元上的基準(zhǔn)值，將所述“與加關(guān)系”中關(guān)聯(lián)性強(qiáng)的輸入單元間組合進(jìn)一步結(jié)合，并將非重要輸入單元間組合剔除，從而將所述“與加關(guān)系”表達(dá)的更加簡(jiǎn)潔、稀疏；

(5)建立“與或圖”模型

基于步驟(4)所述的二級(jí)“與加關(guān)系”，建立表達(dá)該黑盒模型內(nèi)部邏輯的“與或圖”模型。

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述步驟(3)包括：

通過Harsanyi dividend指標(biāo)對(duì)輸入單元間的交互配合作用進(jìn)行量化，計(jì)算輸入單元間組合S內(nèi)部的輸入單元之間交互配合對(duì)中層輸出特征或模型輸出的數(shù)值貢獻(xiàn)，記為I(S)，并將黑盒模型的輸出v(N)拆分為各輸入單元間組合S的交互作用大小之和，在所述拆分方法中，每個(gè)輸入單元間組合S內(nèi)部的交互作用當(dāng)且僅當(dāng)S內(nèi)所有輸入單元均存在時(shí)才觸發(fā)，使得輸入單元間組合S內(nèi)的輸入單元形成了“與”的關(guān)系，從而確定黑盒模型中輸入樣本上的輸出v(N)與輸入單元間的一級(jí)“與加關(guān)系”，即將黑盒模型中輸入樣本上的輸出v(N)表示為輸入單元間的“與加關(guān)系”。

3.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述步驟(4)包括：將所有輸入單元的基準(zhǔn)值構(gòu)成的向量記為b，其中每一維b_i表示輸入單元i的基準(zhǔn)值，通過懲罰只產(chǎn)生微小影響或干擾的輸入單元間組合S的交互強(qiáng)度|I(S)|，優(yōu)化輸入樣本N每一維輸入單元的基準(zhǔn)值b_i，使交互強(qiáng)度|I(S)|較小的輸入單元間組合S的交互強(qiáng)度|I(S)|趨于0，得到稀疏的輸入單元間交互，從而確定黑盒模型中輸入樣本上的輸出v(N)與輸入單元間的二級(jí)“與加關(guān)系”；

其中，所述稀疏的輸入單元間交互是指，大多數(shù)輸入單元間組合的交互強(qiáng)度|I(S)|較小(趨近于0)，對(duì)網(wǎng)絡(luò)輸出沒有影響；只有少量輸入單元間組合的交互強(qiáng)度|I(S)|較大，對(duì)網(wǎng)絡(luò)輸出有重大影響。

4.根據(jù)權(quán)利要求1所述的方法，其特征在于，在步驟(4)中，基于基準(zhǔn)值進(jìn)行輸入單元間組合分析，即指在交互計(jì)算中，計(jì)算某一輸入單元間組合S上黑盒模型的輸出v(S)時(shí)，需保留S中的輸入單元上原本的樣本輸入值，而將所有S的補(bǔ)集(N\S)中的輸入單元替換為其基準(zhǔn)值，來表示這些輸入單元“不存在”的狀態(tài)，隨后對(duì)該輸入單元間組合S進(jìn)行分析。

5.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述的“優(yōu)化交互計(jì)算中各輸入單元上的基準(zhǔn)值”包括：

通過懲罰只產(chǎn)生微小影響的輸入單元間組合的交互強(qiáng)度|I(S)|，保留對(duì)黑盒模型的輸出v(N)產(chǎn)生較大影響的輸入單元間組合的交互強(qiáng)度，從而對(duì)基準(zhǔn)值進(jìn)行優(yōu)化更新。

6.根據(jù)權(quán)利要求5所述的方法，其特征在于，所述步驟(4)包括：

首先，通過取樣本均值、隨機(jī)值、零值或任何一種其它方法生成初始基準(zhǔn)值；

其次，重復(fù)所述基準(zhǔn)值優(yōu)化步驟，直至最新計(jì)算的損失函數(shù)值下降并收斂；

其中，對(duì)于每次重復(fù)，根據(jù)優(yōu)化函數(shù)重新計(jì)算損失函數(shù)值，并基于損失函數(shù)值的梯度更新基準(zhǔn)值，以及基于更新得到的基準(zhǔn)值計(jì)算出各輸入單元間組合的交互強(qiáng)度值。