[發(fā)明專利]神經(jīng)網(wǎng)絡(luò)到?jīng)Q策樹的轉(zhuǎn)換方法、存儲介質(zhì)及電子設(shè)備

在審

• 申請?zhí)枺?/td>: 202010778784.6
• 申請日: 2020-08-05
• 公開（公告）號: CN111898692A
• 公開（公告）日: 2020-11-06
• 發(fā)明（設(shè)計）人: 徐明偉;孟子立;王敏虎;白家松
• 申請（專利權(quán)）人: 清華大學(xué)
• 主分類號: G06K9/62
• 分類號: G06K9/62;G06N3/08;G06N3/04
• 代理公司: 北京聿宏知識產(chǎn)權(quán)代理有限公司 11372
• 代理人: 吳大建;金淼

1.一種神經(jīng)網(wǎng)絡(luò)到?jīng)Q策樹的轉(zhuǎn)換方法，其特征在于，所述方法包括：

步驟a：獲取局部視野網(wǎng)絡(luò)系統(tǒng)的強(qiáng)化學(xué)習(xí)決策環(huán)境和神經(jīng)網(wǎng)絡(luò)決策策略；

步驟b：向所述強(qiáng)化學(xué)習(xí)決策環(huán)境中輸入初始值并進(jìn)行觀測以得到觀測值和該觀測值對應(yīng)的值函數(shù)，并將該觀測值輸入至所述神經(jīng)網(wǎng)絡(luò)決策策略，以得到該觀測值對應(yīng)的輸出決策和q值向量；

步驟c：將所述輸出決策作為新的初始值，并返回執(zhí)行步驟b，直至得到設(shè)定數(shù)量的觀測值和與每個觀測值對應(yīng)的輸出決策、值函數(shù)以及q值向量，并將每一個觀測值和該觀測值對應(yīng)的決策、值函數(shù)以及q值向量作為一組數(shù)據(jù)以得到包括多組數(shù)據(jù)的數(shù)據(jù)集；

步驟d：利用決策樹算法對所述數(shù)據(jù)集進(jìn)行訓(xùn)練以得到目標(biāo)決策樹，以使所述目標(biāo)決策樹能夠?qū)Υ龥Q策觀測值進(jìn)行決策得到?jīng)Q策結(jié)果。

2.根據(jù)權(quán)利要求1所述的神經(jīng)網(wǎng)絡(luò)到?jīng)Q策樹的轉(zhuǎn)換方法，其特征在于，利用決策樹算法對所述數(shù)據(jù)集進(jìn)行訓(xùn)練以得到?jīng)Q策樹，包括：

對所述數(shù)據(jù)集進(jìn)行采樣，以得到采樣數(shù)據(jù)集；

對所述采樣數(shù)據(jù)集采用分類與回歸樹算法進(jìn)行訓(xùn)練，以得到初始決策樹；

對所述初始決策樹進(jìn)行剪枝處理以得到目標(biāo)決策樹。

3.根據(jù)權(quán)利要求2所述的神經(jīng)網(wǎng)絡(luò)到?jīng)Q策樹的轉(zhuǎn)換方法，其特征在于，對所述數(shù)據(jù)集進(jìn)行采樣，以得到采樣數(shù)據(jù)集，包括：

對所述數(shù)據(jù)集利用預(yù)設(shè)采樣概率計算式進(jìn)行采樣處理，以得到采樣數(shù)據(jù)集，其中，所述預(yù)設(shè)采樣概率計算式為表示只對括號中成立的情況進(jìn)行計算，且D為數(shù)據(jù)集，i為觀測值，o為輸出決策，p(i，o)為觀測值的采樣概率，v(i)為值函數(shù)，min_o′q(i，o′)為將觀測值輸入至強(qiáng)化學(xué)習(xí)決策環(huán)境中得到多個輸出可能值中最小的輸出可能值對應(yīng)的q值向量。

4.根據(jù)權(quán)利要求2所述的神經(jīng)網(wǎng)絡(luò)到?jīng)Q策樹的轉(zhuǎn)換方法，其特征在于，對所述初始決策樹進(jìn)行剪枝處理以得到目標(biāo)決策樹，包括：

計算所述初始決策樹中每個節(jié)點的代價復(fù)雜度，并根據(jù)每個所述節(jié)點的代價復(fù)雜度對各所述節(jié)點進(jìn)行排序；

根據(jù)各所述節(jié)點的排序順序?qū)λ龀跏紱Q策樹中的節(jié)點進(jìn)行修剪，以得到目標(biāo)決策樹。

5.根本權(quán)利要求4所述的神經(jīng)網(wǎng)絡(luò)到?jīng)Q策樹的轉(zhuǎn)換方法，其特征在于，計算所述初始決策樹中每個節(jié)點的代價復(fù)雜度，包括：

利用復(fù)雜度計算式計算所述初始決策樹中每個節(jié)點的代價復(fù)雜度，其中，所述復(fù)雜度計算式為：α(n)為節(jié)點n的代價復(fù)雜度，Δp為去除以節(jié)點n為根節(jié)點的子樹之后與未去除之前相比整體預(yù)測性能準(zhǔn)確率的損失，|T_n|為決策樹中以n為根節(jié)點的子樹的節(jié)點總數(shù)。

6.根據(jù)權(quán)利要求1所述的神經(jīng)網(wǎng)絡(luò)到?jīng)Q策樹的轉(zhuǎn)換方法，其特征在于，當(dāng)神經(jīng)網(wǎng)絡(luò)決策策略對應(yīng)的網(wǎng)絡(luò)模型為基于深度Q網(wǎng)絡(luò)訓(xùn)練得到的模型時，將所述觀測值輸入至所述神經(jīng)網(wǎng)絡(luò)決策策略，以得到該觀測值對應(yīng)的q值向量，包括：

獲取將所述觀測值輸入至所述神經(jīng)網(wǎng)絡(luò)決策策略得到的多個輸出可能值，計算每個所述輸出可能值對應(yīng)的貢獻(xiàn)度，將每個所述貢獻(xiàn)度進(jìn)行向量化處理后疊加得到與所述觀測值對應(yīng)的q值向量。

7.根據(jù)權(quán)利要求1所述的神經(jīng)網(wǎng)絡(luò)到?jīng)Q策樹的轉(zhuǎn)換方法，其特征在于，當(dāng)神經(jīng)網(wǎng)絡(luò)決策策略對應(yīng)的網(wǎng)絡(luò)模型為基于actor-critic機(jī)制設(shè)計的神經(jīng)網(wǎng)絡(luò)或基于PPO機(jī)制設(shè)計的網(wǎng)絡(luò)訓(xùn)練得到的模型時，將所述觀測值輸入至所述神經(jīng)網(wǎng)絡(luò)決策策略，得到該觀測值對應(yīng)的q值向量，包括：

獲取將所述觀測值輸入至所述神經(jīng)網(wǎng)絡(luò)決策策略得到的多個輸出可能值，并獲取所述神經(jīng)網(wǎng)絡(luò)決策策略選取每個輸出可能值作為輸出決策的概率值，并計算每個概率值的對數(shù)值以得到每個輸出可能值對應(yīng)的對數(shù)值，根據(jù)每個輸出可能值對應(yīng)的對數(shù)值進(jìn)行向量化處理后疊加以得到與所述觀測值對應(yīng)的q值向量。