[發(fā)明專利]一種機(jī)器學(xué)習(xí)有監(jiān)督模型解釋方法、系統(tǒng)及設(shè)備

有效

• 申請(qǐng)?zhí)枺?/td>: 202011305758.8
• 申請(qǐng)日: 2020-11-20
• 公開(kāi)（公告）號(hào): CN112101574B
• 公開(kāi)（公告）日: 2021-03-02
• 發(fā)明（設(shè)計(jì)）人: 楊艾森;段函言;熊靖汶;陳文
• 申請(qǐng)（專利權(quán)）人: 成都數(shù)聯(lián)銘品科技有限公司
• 主分類號(hào): G06N20/00
• 分類號(hào): G06N20/00;G06K9/62
• 代理公司: 成都天嘉專利事務(wù)所(普通合伙) 51211
• 代理人: 康拯通

1.一種機(jī)器學(xué)習(xí)有監(jiān)督模型解釋方法，其特征在于，包括以下步驟：

步驟1，將包括若干數(shù)值和非數(shù)值型特征的數(shù)據(jù)輸入到訓(xùn)練好的、給定有監(jiān)督的機(jī)器學(xué)習(xí)模型中，并得到機(jī)器學(xué)習(xí)的輸出結(jié)果；

步驟2，對(duì)步驟1中得到的輸出結(jié)果相同的數(shù)據(jù)進(jìn)行層次聚類，將輸入的數(shù)據(jù)聚成若干個(gè)簇，每個(gè)簇中包含有若干樣本，樣本中均包含若干數(shù)值和非數(shù)值型特征，層次聚類的類別數(shù)量，按照設(shè)定的類別內(nèi)部數(shù)據(jù)的協(xié)方差要求、以及類別之間的協(xié)方差要求設(shè)置；

所述步驟2中，進(jìn)行層次聚類具體包括以下步驟：

首先，將數(shù)據(jù)中的每個(gè)樣本歸為一類，共得到n類，且每一類中僅包含一個(gè)樣本，類與類之間的距離就是它們所包含的樣本之間的距離；

然后，將距離最近的兩個(gè)類進(jìn)行合并成為一個(gè)新的類，記錄類別數(shù)量和對(duì)應(yīng)的Calinski-Harabasz值，并重新計(jì)算新的類與剩余的每一類之間的距離；

重復(fù)上述步驟直至所有的類被合并為一類；

步驟3，將步驟2中層次聚類聚成的每一簇中的各特征，剔除與典型特征值相差最大的非典型特征值，且剔除特征值個(gè)數(shù)不超過(guò)設(shè)定數(shù)量，并用空值填補(bǔ)被剔除的特征值；

所述步驟3中，剔除與典型特征值相差最大的非典型特征值，具體判斷方法為：

掃描全部特征并記錄特征值數(shù)據(jù)類型；

對(duì)非數(shù)值型特征值，定義占比不到5%的特征值為非典型的特征值，且占比越少即與典型特征值相差越大；

對(duì)數(shù)值型特征值，定義非典型的特征值為Z分?jǐn)?shù)絕對(duì)值超過(guò)3且占比不到5%的特征值，Z分?jǐn)?shù)絕對(duì)值越大與典型特征值相差越大；

步驟4，對(duì)經(jīng)過(guò)步驟3處理后的每一簇中的各特征，進(jìn)行特征值的聚類分箱，得到特征的主要分布區(qū)間作為對(duì)應(yīng)特征的特征值，并根據(jù)特征的主要分布區(qū)間進(jìn)行簇標(biāo)簽構(gòu)建；

所述步驟4中，進(jìn)行特征值的聚類分箱，具體的，包括以下步驟：

掃描全部特征的特征值，并對(duì)每個(gè)特征值設(shè)置一個(gè)可調(diào)整參數(shù)n；

若特征值范圍不超過(guò)n個(gè)值，則無(wú)需聚類，特征的主要分布區(qū)間為對(duì)應(yīng)特征值；

若該特征為非數(shù)值型特征且其特征值取值范圍超過(guò)了n個(gè)值，則在該特征所對(duì)應(yīng)的簇中取該特征值所對(duì)應(yīng)的特征數(shù)量最多的前h個(gè)特征聚類輸出結(jié)果一類，得到特征的主要分布區(qū)間為對(duì)應(yīng)的特征值，將簇中剩余特征合為一類，并標(biāo)記這類特征的主要分布區(qū)間為“其他”；

若該特征為數(shù)值型特征且特征值取值范圍超過(guò)了n個(gè)值，則采用聚類輸出結(jié)果不超過(guò)4類的聚類方法對(duì)該特征所對(duì)應(yīng)的簇進(jìn)行聚類，并計(jì)算特征值極大極小值構(gòu)成的主要分布區(qū)間；

步驟5，使用數(shù)學(xué)期望算法對(duì)步驟4中的每一簇計(jì)算各個(gè)特征值對(duì)所述輸出結(jié)果的影響；

步驟6，通過(guò)繪制數(shù)據(jù)及輸出結(jié)果的旭日?qǐng)D對(duì)分析結(jié)果進(jìn)行可視化展示，旭日?qǐng)D圈層總數(shù)量等于數(shù)據(jù)中特征總數(shù)量加一，旭日?qǐng)D最內(nèi)為第一圈層，其各扇環(huán)表示模型的輸出結(jié)果，每個(gè)扇環(huán)代表一簇結(jié)果；依據(jù)步驟5中計(jì)算的各個(gè)特征值對(duì)所述輸出結(jié)果的影響，按照各個(gè)特征值對(duì)所述輸出結(jié)果的影響的大小、對(duì)步驟2中的層次聚類聚成的每一簇由大到小進(jìn)行排序，并構(gòu)建用于表示數(shù)據(jù)不同特征的第二圈層到最外圈層，根據(jù)步驟4的聚類分箱結(jié)果得到每一簇對(duì)應(yīng)的小扇環(huán)并在扇環(huán)上標(biāo)記對(duì)應(yīng)的簇標(biāo)簽。

2.如權(quán)利要求1所述的一種機(jī)器學(xué)習(xí)有監(jiān)督模型解釋方法，其特征在于：所述步驟2中，層次聚類的類別數(shù)量取使Calinski-Harabasz值最大的結(jié)果。

3.如權(quán)利要求1所述的一種機(jī)器學(xué)習(xí)有監(jiān)督模型解釋方法，其特征在于，步驟2中，所述Calinski-Harabasz值為s（k），，其中m為訓(xùn)練集樣本數(shù)，k為類別數(shù)，是樣本類別之間的協(xié)方差矩陣，_k是類別內(nèi)部數(shù)據(jù)的方差矩陣，tr（）表示矩陣的跡。

4.如權(quán)利要求1所述的一種機(jī)器學(xué)習(xí)有監(jiān)督模型解釋方法，其特征在于：所述步驟3中，剔除特征值個(gè)數(shù)不超過(guò)設(shè)定數(shù)量，設(shè)定數(shù)量為剔除特征值個(gè)數(shù)不超過(guò)原始樣本的30%。

5.如權(quán)利要求1所述的一種機(jī)器學(xué)習(xí)有監(jiān)督模型解釋方法，其特征在于，所述Z分?jǐn)?shù)Z_i=（x_i-μ）/σ，式中，x_i是一個(gè)數(shù)據(jù)點(diǎn)，μ是所有點(diǎn)x_i的平均值，σ是所有點(diǎn)的x_i標(biāo)準(zhǔn)偏差。