[發(fā)明專利]基于局部線性化的復(fù)雜機(jī)器學(xué)習(xí)模型解釋方法及裝置

在審

• 申請?zhí)枺?/td>: 201710620391.0
• 申請日: 2017-07-26
• 公開（公告）號: CN107392318A
• 公開（公告）日: 2017-11-24
• 發(fā)明（設(shè)計(jì)）人: 鄭樂;胡偉;李勇;王春明;徐遐齡
• 申請（專利權(quán)）人: 清華大學(xué);國家電網(wǎng)公司華中分部;國家電網(wǎng)公司
• 主分類號: G06N7/00
• 分類號: G06N7/00
• 代理公司: 北京清亦華知識產(chǎn)權(quán)代理事務(wù)所(普通合伙)11201
• 代理人: 張潤

技術(shù)領(lǐng)域

本發(fā)明涉及機(jī)器學(xué)習(xí)應(yīng)用與分析技術(shù)領(lǐng)域，特別涉及一種基于局部線性化的復(fù)雜機(jī)器學(xué)習(xí)模型解釋方法及裝置。

背景技術(shù)

機(jī)器學(xué)習(xí)領(lǐng)域開創(chuàng)之初，研究者們就開始探討機(jī)器學(xué)習(xí)算法的解釋(Interpretability/Comprehensibility)問題。這里所謂的“解釋”，是機(jī)器學(xué)習(xí)領(lǐng)域的含義，旨在提供輸入變量與模型輸出之間的定量關(guān)系(qualitative understanding)。研究者普遍認(rèn)為，模型的精度、復(fù)雜程度與可解釋性成相反的關(guān)系，即簡單模型的可解釋性強(qiáng)，但是精度較低；而復(fù)雜模型可以獲得較高的計(jì)算精度，但是難以直觀解釋。

目前，研究者更傾向于先使用復(fù)雜模型得出精度較高的模型，然后利用簡單模型對得到的高精度模型進(jìn)行解釋，即使用簡單模型去擬合復(fù)雜模型的輸出值。相關(guān)技術(shù)中訓(xùn)練決策樹模型作為神經(jīng)網(wǎng)絡(luò)模型的解釋，樹模型復(fù)雜度被用于表示該解釋模型的可解釋能力。相關(guān)技術(shù)中通過有效區(qū)間分析(Validity-Interval Analysis)來對神經(jīng)網(wǎng)絡(luò)模型進(jìn)行解釋，與決策樹模型的基本原理一致。相關(guān)技術(shù)中試使用一階邏輯表達(dá)(First-order Logic Formulate)和貝葉斯網(wǎng)絡(luò)(Bayesian Network)等兩種算法來解釋矩陣分解算法。總結(jié)來看，相關(guān)技術(shù)中的解釋方法在全體輸入空間中利用如線性模型、決策樹模型等簡單模型來解釋復(fù)雜模型，但是無法考慮輸入空間局部的特點(diǎn)，是相關(guān)技術(shù)中解釋方法最大的問題，有待改進(jìn)。

發(fā)明內(nèi)容

本發(fā)明旨在至少在一定程度上解決相關(guān)技術(shù)中的技術(shù)問題之一。

為此，本發(fā)明的一個(gè)目的在于提出一種基于局部線性化的復(fù)雜機(jī)器學(xué)習(xí)模型解釋方法，該方法不但可以有效尋找樣本空間不同區(qū)域的主導(dǎo)特征，而且更加直觀、便捷，可適用于多種機(jī)器學(xué)習(xí)模型的解釋。

本發(fā)明的另一個(gè)目的在于提出一種基于局部線性化的復(fù)雜機(jī)器學(xué)習(xí)模型解釋裝置。

為達(dá)到上述目的，本發(fā)明一方面實(shí)施例提出了一種基于局部線性化的復(fù)雜機(jī)器學(xué)習(xí)模型解釋方法，包括：采集樣本集中任意一點(diǎn)作為樣本點(diǎn)，并在所述樣本點(diǎn)周圍隨機(jī)采樣得到多個(gè)采樣點(diǎn)，且根據(jù)原機(jī)器學(xué)習(xí)模型得到所述多個(gè)采樣點(diǎn)的每個(gè)采樣點(diǎn)的機(jī)器學(xué)習(xí)模型預(yù)測結(jié)果；在表達(dá)空間中，獲取所述樣本點(diǎn)與所述每個(gè)采樣點(diǎn)間的歐拉距離，以作為所述每個(gè)采樣點(diǎn)的權(quán)重；根據(jù)所述每個(gè)采樣點(diǎn)的權(quán)重和線性模型得到待解釋的機(jī)器學(xué)習(xí)模型和解釋函數(shù)的擬合結(jié)果的差距，并得到所述解釋函數(shù)的復(fù)雜度，以獲取尋優(yōu)問題；優(yōu)化求解所述尋優(yōu)問題中使用正則化項(xiàng)懲罰因子的線性回歸問題，并得到解釋結(jié)果。

本發(fā)明實(shí)施例的基于局部線性化的復(fù)雜機(jī)器學(xué)習(xí)模型解釋方法，可以在每個(gè)數(shù)據(jù)點(diǎn)的鄰域內(nèi)對復(fù)雜機(jī)器學(xué)習(xí)模型進(jìn)行解釋，充分考慮樣本空間的局部特性，不但可以有效尋找樣本空間不同區(qū)域的主導(dǎo)特征，而且更加直觀、便捷，可適用于多種機(jī)器學(xué)習(xí)模型的解釋。

另外，根據(jù)本發(fā)明上述實(shí)施例的基于局部線性化的復(fù)雜機(jī)器學(xué)習(xí)模型解釋方法還可以具有以下附加的技術(shù)特征：

進(jìn)一步地，在本發(fā)明的一個(gè)實(shí)施例中，所述每個(gè)采樣點(diǎn)的權(quán)重為：

其中，x_i為所述樣本點(diǎn)，為所述多個(gè)采樣點(diǎn)，σ為所有距離的標(biāo)準(zhǔn)差。

進(jìn)一步地，在本發(fā)明的一個(gè)實(shí)施例中，所述擬合結(jié)果的差距為：

其中，f為所述待解釋的機(jī)器學(xué)習(xí)模型，g為所述解釋函數(shù)，Γ為所述擬合結(jié)果的差距；所述解釋函數(shù)的復(fù)雜度為：

其中，Ω為所述復(fù)雜度。

進(jìn)一步地，在本發(fā)明的一個(gè)實(shí)施例中，所述尋優(yōu)問題為：

可選地，在本發(fā)明的一個(gè)實(shí)施例中，通過SGD(Saccharomyces Genome Database，隨機(jī)梯度下降)算法求解所述線性回歸問題。

為達(dá)到上述目的，本發(fā)明另一方面實(shí)施例提出了一種基于局部線性化的復(fù)雜機(jī)器學(xué)習(xí)模型解釋裝置，包括：采集模塊，用于采集樣本集中任意一點(diǎn)作為樣本點(diǎn)，并在所述樣本點(diǎn)周圍隨機(jī)采樣得到多個(gè)采樣點(diǎn)，且根據(jù)原機(jī)器學(xué)習(xí)模型得到所述多個(gè)采樣點(diǎn)的每個(gè)采樣點(diǎn)的機(jī)器學(xué)習(xí)模型預(yù)測結(jié)果；第一獲取模塊，用于在表達(dá)空間中，獲取所述樣本點(diǎn)與所述每個(gè)采樣點(diǎn)間的歐拉距離，以作為所述每個(gè)采樣點(diǎn)的權(quán)重；第二獲取模塊，用于根據(jù)所述每個(gè)采樣點(diǎn)的權(quán)重和線性模型得到待解釋的機(jī)器學(xué)習(xí)模型和解釋函數(shù)的擬合結(jié)果的差距，并得到所述解釋函數(shù)的復(fù)雜度，以獲取尋優(yōu)問題；解釋模塊，用于優(yōu)化求解所述尋優(yōu)問題中使用正則化項(xiàng)懲罰因子的線性回歸問題，并得到解釋結(jié)果。