[發(fā)明專利]基于神經(jīng)網(wǎng)絡(luò)的信息處理方法和裝置

在審

• 申請(qǐng)?zhí)枺?/td>: 201910926738.3
• 申請(qǐng)日: 2019-09-27
• 公開（公告）號(hào): CN110689117A
• 公開（公告）日: 2020-01-14
• 發(fā)明（設(shè)計(jì)）人: 徐新超;王海峰;吳華;劉占一
• 申請(qǐng)（專利權(quán)）人: 北京百度網(wǎng)訊科技有限公司
• 主分類號(hào): G06N3/04
• 分類號(hào): G06N3/04;G06N3/08
• 代理公司: 11204 北京英賽嘉華知識(shí)產(chǎn)權(quán)代理有限責(zé)任公司
• 代理人: 王達(dá)佐;馬曉亞

本公開涉及計(jì)算機(jī)數(shù)據(jù)處理領(lǐng)域。本公開的實(shí)施例公開了基于神經(jīng)網(wǎng)絡(luò)的信息處理方法和裝置、電子設(shè)備和計(jì)算機(jī)可讀介質(zhì)。該基于神經(jīng)網(wǎng)絡(luò)的信息處理方法包括：獲取輸入信息；基于輸入信息，采用元神經(jīng)網(wǎng)絡(luò)預(yù)測(cè)參數(shù)存儲(chǔ)器中的各參數(shù)的概率分布，其中，參數(shù)存儲(chǔ)器是預(yù)先基于主神經(jīng)網(wǎng)絡(luò)的全連接層構(gòu)建的；基于參數(shù)存儲(chǔ)器中的各參數(shù)的概率分布，確定主神經(jīng)網(wǎng)絡(luò)的全連接層關(guān)于輸入信息的參數(shù)組合模式；基于全連接層關(guān)于輸入信息的參數(shù)組合模式，更新主神經(jīng)網(wǎng)絡(luò)的全連接層，并基于更新全連接層之后的主神經(jīng)網(wǎng)絡(luò)對(duì)輸入信息進(jìn)行處理，得到所與輸入信息對(duì)應(yīng)的輸出信息。該方法實(shí)現(xiàn)了基于輸入信息的主神經(jīng)網(wǎng)絡(luò)的參數(shù)的自動(dòng)動(dòng)態(tài)調(diào)整。

技術(shù)領(lǐng)域

本公開的實(shí)施例涉及計(jì)算機(jī)技術(shù)領(lǐng)域，具體涉及計(jì)算機(jī)數(shù)據(jù)處理技術(shù)領(lǐng)域，尤其涉及基于神經(jīng)網(wǎng)絡(luò)的信息處理方法和裝置。

背景技術(shù)

復(fù)雜決策系統(tǒng)的目標(biāo)通常需要由多個(gè)策略來完成。神經(jīng)網(wǎng)絡(luò)可以用于對(duì)復(fù)雜決策系統(tǒng)建模來表達(dá)其中各子系統(tǒng)之間的非線性關(guān)系。但是，復(fù)雜決策系統(tǒng)通常包含多種不同的策略，如果只使用一個(gè)具有固定參數(shù)的神經(jīng)網(wǎng)絡(luò)建模，無法在同一個(gè)網(wǎng)絡(luò)中學(xué)習(xí)得到多種不同的參數(shù)組合方式。也即，復(fù)雜決策系統(tǒng)的輸入通常是變化的，使用同一個(gè)神經(jīng)網(wǎng)絡(luò)無法實(shí)現(xiàn)不同輸入的情況下的策略調(diào)整。

目前的方案是使用混合專家網(wǎng)絡(luò)(Mixture of Expert，MOE)，設(shè)置不同的專家網(wǎng)絡(luò)對(duì)不同的策略建模，然后使用同一個(gè)門控矩陣從不同的專家網(wǎng)絡(luò)中進(jìn)行選擇。

發(fā)明內(nèi)容

本公開的實(shí)施例提出了基于神經(jīng)網(wǎng)絡(luò)的信息處理方法和裝置、電子設(shè)備和計(jì)算機(jī)可讀介質(zhì)。

第一方面，本公開的實(shí)施例提供了一種基于神經(jīng)網(wǎng)絡(luò)的信息處理方法，包括：獲取輸入信息；基于輸入信息，采用元神經(jīng)網(wǎng)絡(luò)預(yù)測(cè)參數(shù)存儲(chǔ)器中的各參數(shù)的概率分布，其中，參數(shù)存儲(chǔ)器是預(yù)先基于主神經(jīng)網(wǎng)絡(luò)的全連接層構(gòu)建的；基于參數(shù)存儲(chǔ)器中的各參數(shù)的概率分布，確定主神經(jīng)網(wǎng)絡(luò)的全連接層關(guān)于輸入信息的參數(shù)組合模式；基于全連接層關(guān)于輸入信息的參數(shù)組合模式，更新主神經(jīng)網(wǎng)絡(luò)的全連接層，并基于更新全連接層之后的主神經(jīng)網(wǎng)絡(luò)對(duì)輸入信息進(jìn)行處理，得到所與輸入信息對(duì)應(yīng)的輸出信息。

在一些實(shí)施例中，上述方法還包括：利用主神經(jīng)網(wǎng)絡(luò)的特征提取層對(duì)輸入信息進(jìn)行特征提取，得到輸入信息的抽象表示；以及上述基于輸入信息，采用元神經(jīng)網(wǎng)絡(luò)預(yù)測(cè)參數(shù)存儲(chǔ)器中的各參數(shù)的概率分布，包括：基于輸入信息的抽象表示，采用元神經(jīng)網(wǎng)絡(luò)預(yù)測(cè)參數(shù)存儲(chǔ)器中的各參數(shù)的概率分布；上述基于更新全連接層之后的主神經(jīng)網(wǎng)絡(luò)對(duì)輸入信息進(jìn)行處理，包括：基于更新后的全連接層對(duì)輸入信息的抽象表示進(jìn)行處理。

在一些實(shí)施例中，上述基于輸入信息的抽象表示，采用元神經(jīng)網(wǎng)絡(luò)預(yù)測(cè)參數(shù)存儲(chǔ)器中的各參數(shù)的概率分布，包括：將輸入信息的抽象表示作為元神經(jīng)網(wǎng)絡(luò)的動(dòng)態(tài)參數(shù)，利用包含動(dòng)態(tài)參數(shù)的元神經(jīng)網(wǎng)絡(luò)預(yù)測(cè)參數(shù)存儲(chǔ)器中的各參數(shù)的概率分布。

在一些實(shí)施例中，上述基于參數(shù)存儲(chǔ)器中的各參數(shù)的概率分布，確定主神經(jīng)網(wǎng)絡(luò)的全連接層關(guān)于輸入信息的參數(shù)組合模式，包括：將概率分布中的概率值作為全連接層中的對(duì)應(yīng)參數(shù)所表征的權(quán)重系數(shù)，基于權(quán)重系數(shù)對(duì)主神經(jīng)網(wǎng)絡(luò)的全連接層的上一層的各節(jié)點(diǎn)進(jìn)行加權(quán)求和之后做非線性變換，得到主神經(jīng)網(wǎng)絡(luò)的全連接層關(guān)于輸入信息的參數(shù)組合模式。

在一些實(shí)施例中，上述主神經(jīng)網(wǎng)絡(luò)是基于與輸入信息同類型的樣本信息預(yù)先訓(xùn)練得到的。

第二方面，本公開的實(shí)施例提供了一種基于神經(jīng)網(wǎng)絡(luò)的信息處理裝置，包括：獲取單元，被配置為獲取輸入信息；預(yù)測(cè)單元，被配置為基于輸入信息，采用元神經(jīng)網(wǎng)絡(luò)預(yù)測(cè)參數(shù)存儲(chǔ)器中的各參數(shù)的概率分布，其中，參數(shù)存儲(chǔ)器是預(yù)先基于主神經(jīng)網(wǎng)絡(luò)的全連接層構(gòu)建的；確定單元，被配置為基于參數(shù)存儲(chǔ)器中的各參數(shù)的概率分布，確定主神經(jīng)網(wǎng)絡(luò)的全連接層關(guān)于輸入信息的參數(shù)組合模式；處理單元，被配置為基于全連接層關(guān)于輸入信息的參數(shù)組合模式，更新主神經(jīng)網(wǎng)絡(luò)的全連接層，并基于更新全連接層之后的主神經(jīng)網(wǎng)絡(luò)對(duì)輸入信息進(jìn)行處理，得到所與輸入信息對(duì)應(yīng)的輸出信息。