[發(fā)明專利]在機器學習中對神經(jīng)網(wǎng)絡的拓撲的高效學習和使用

在審

• 申請?zhí)枺?/td>: 201810400549.8
• 申請日: 2018-04-28
• 公開（公告）號: CN108805283A
• 公開（公告）日: 2018-11-13
• 發(fā)明（設計）人: R·Y·耶海茲凱羅厄卡;G·科倫;S·尼斯莫;G·諾維克
• 申請（專利權）人: 英特爾公司
• 主分類號: G06N3/08
• 分類號: G06N3/08;G06T1/20
• 代理公司: 上海專利商標事務所有限公司 31100
• 代理人: 何焜;黃嵩泉

1.一種用于促進在機器學習中對神經(jīng)網(wǎng)絡拓撲的學習和應用的設備，所述設備包括：

檢測/觀察邏輯，所述檢測/觀察邏輯如由處理器促進或至少部分地結合到所述處理器中，用于監(jiān)測和檢測與在具有所述處理器的所述設備處的機器學習操作相關的神經(jīng)網(wǎng)絡；

生成模型邏輯，所述生成模型邏輯如由所述處理器促進或至少部分地結合到所述處理器中，用于基于所述神經(jīng)網(wǎng)絡中的一個或多個的一個或多個拓撲而生成遞歸生成模型；以及

判別模型邏輯，所述判別模型邏輯如由所述處理器促進或至少部分地結合到所述處理器中，用于將所述生成模型轉(zhuǎn)換成判別模型。

2.如權利要求1所述的設備，其中，所述生成模型是無監(jiān)督的并且基于無標簽數(shù)據(jù)，并且其中，所述判別模式是有監(jiān)督的并且基于深度標簽深度神經(jīng)網(wǎng)絡拓撲，其中，所述判別模型是從所述生成模型中學習到的。

3.如權利要求1所述的設備，其中，所述判別模型邏輯進一步用于將所述生成模型逆轉(zhuǎn)成多個逆模型，其中，在所述多個逆模型中的每一個中添加了雙向連接以連接具有公共父節(jié)點的潛變量，從而將所述多個逆模型合并成單個逆模型。

4.如權利要求3所述的設備，其中，所述判別模型邏輯進一步用于通過移除所述雙向連接并且向潛在葉添加充當子節(jié)點的類節(jié)點來將所述逆模型轉(zhuǎn)換成所述判別模型。

5.如權利要求1所述的設備，進一步包括：

中途放棄邏輯，所述中途放棄邏輯如由所述處理器促進或至少部分地結合到所述處理器中，用于對來自所述神經(jīng)網(wǎng)絡中的一個或多個的神經(jīng)元執(zhí)行方法中途放棄，其中，所述方法中途放棄是根據(jù)基于與所述神經(jīng)元相關的歷史統(tǒng)計數(shù)據(jù)的預測性來執(zhí)行的；

分解邏輯，所述分解邏輯如由所述處理器促進或至少部分地結合到所述處理器中，用于生成并行和順序執(zhí)行時間表以便采用所述神經(jīng)網(wǎng)絡中的所述一個或多個的子網(wǎng)絡精度級別進行存儲器共享；以及

實時學習/更新邏輯，所述實時學習/更新邏輯如由所述處理器促進或至少部分地結合到所述處理器中，用于基于與所述神經(jīng)網(wǎng)絡的網(wǎng)絡拓撲相關的當前可用數(shù)據(jù)和歷史可用數(shù)據(jù)中的至少一項來對所述神經(jīng)網(wǎng)絡的所述拓撲執(zhí)行實時學習和更新。

6.如權利要求1所述的設備，進一步包括：

結構學習邏輯，所述結構學習邏輯如由所述處理器促進或至少部分地結合到所述處理器中，用于促進端到端結構學習和子網(wǎng)絡結構學習中的至少一種；以及

訓練和特征邏輯，所述訓練和特征邏輯如由所述處理器促進或至少部分地結合到所述處理器中，用于促進通過訓練大訓練集來處理大規(guī)模數(shù)據(jù)、以及執(zhí)行特征套袋中的至少一種。

7.如權利要求1所述的設備，其中，所述處理器包括與應用處理器共同定位在公共半導體封裝體上的圖形處理器。

8.一種用于促進在機器學習中對神經(jīng)網(wǎng)絡拓撲的學習和應用的方法，所述方法包括：

監(jiān)測和檢測與在具有處理器的計算裝置處的機器學習操作相關的神經(jīng)網(wǎng)絡；

基于所述神經(jīng)網(wǎng)絡中的一個或多個的一個或多個拓撲而生成遞歸生成模型；以及

將所述生成模型轉(zhuǎn)換成判別模型。

9.如權利要求8所述的方法，其中，所述生成模型是無監(jiān)督的并且基于無標簽數(shù)據(jù)，并且其中，所述判別模式是有監(jiān)督的并且基于深度標簽深度神經(jīng)網(wǎng)絡拓撲，其中，所述判別模型是從所述生成模型中學習到的。

10.如權利要求8所述的方法，進一步包括：將所述生成模型逆轉(zhuǎn)成多個逆模型，其中，在所述多個逆模型中的每一個中添加了雙向連接以連接具有公共父節(jié)點的潛變量，從而將所述多個逆模型合并成單個逆模型。

11.如權利要求10所述的方法，進一步包括：通過移除所述雙向連接并且向潛在葉添加充當子節(jié)點的類節(jié)點來將所述逆模型轉(zhuǎn)換成所述判別模型。