[發(fā)明專利]神經(jīng)網(wǎng)絡(luò)表示標(biāo)準(zhǔn)框架結(jié)構(gòu)

有效

• 申請?zhí)枺?/td>: 201810575097.7
• 申請日: 2018-06-06
• 公開（公告）號: CN108985448B
• 公開（公告）日: 2020-11-17
• 發(fā)明（設(shè)計）人: 田永鴻;陳光耀;史業(yè)民;王耀威
• 申請（專利權(quán)）人: 北京大學(xué)
• 主分類號: G06N3/063
• 分類號: G06N3/063;G06N3/04
• 代理公司: 北京辰權(quán)知識產(chǎn)權(quán)代理有限公司 11619
• 代理人: 劉廣達(dá)

1.一種神經(jīng)網(wǎng)絡(luò)表示標(biāo)準(zhǔn)框架結(jié)構(gòu)，包括：

可互操作表示模塊，通過對輸入的神經(jīng)網(wǎng)絡(luò)進(jìn)行轉(zhuǎn)換得到可互操作的表示格式，其包含對神經(jīng)網(wǎng)絡(luò)的語法定義、支持的運算操作定義和權(quán)重格式定義；

緊湊表示模塊，將可互操作表示的神經(jīng)網(wǎng)絡(luò)通過神經(jīng)網(wǎng)絡(luò)壓縮算法轉(zhuǎn)換為序列化格式的緊湊表示格式，其包含壓縮后的神經(jīng)網(wǎng)絡(luò)的語法定義、支持的運算操作定義和權(quán)重格式定義；

編解碼表示模塊，通過神經(jīng)網(wǎng)絡(luò)壓縮算法將緊湊表示格式的神經(jīng)網(wǎng)絡(luò)轉(zhuǎn)換為編解碼表示格式，其包含壓縮后的神經(jīng)網(wǎng)絡(luò)的語法定義、支持的運算操作定義和編解碼后權(quán)重格式定義；

封裝表示模塊，將安全信息和身份認(rèn)證信息和神經(jīng)網(wǎng)絡(luò)一起封裝，由此將神經(jīng)網(wǎng)絡(luò)轉(zhuǎn)換為模型。

2.如權(quán)利要求1所述的框架結(jié)構(gòu)，其特征在于：

所述可互操作表示模塊中的對神經(jīng)網(wǎng)絡(luò)的語法定義、支持的運算操作定義和權(quán)重格式定義分別包括：

語法定義包含模型結(jié)構(gòu)語法、貢獻(xiàn)者語法、計算圖語法、節(jié)點語法、節(jié)點屬性語法、數(shù)據(jù)類型語法、其他數(shù)據(jù)類型語法、張量語法以及張量大小語法；

支持的運算操作被劃分為元運算操作和復(fù)雜運算操作，其中，元運算包括基于張量的邏輯運算、算術(shù)運算、關(guān)系運算、位運算，復(fù)雜運算為元運算的組合運算；

權(quán)重格式定義包含數(shù)據(jù)通道的前后順序定義、數(shù)據(jù)存儲的精度定義。

3.如權(quán)利要求1所述的框架結(jié)構(gòu)，其特征在于：

所述緊湊表示模塊中的壓縮后的神經(jīng)網(wǎng)絡(luò)的語法定義、支持的運算操作定義和權(quán)重格式定義分別包括：

語法定義包含模型結(jié)構(gòu)語法、貢獻(xiàn)者語法、計算圖語法、節(jié)點語法、節(jié)點屬性語法、數(shù)據(jù)類型語法、其他數(shù)據(jù)類型語法、張量語法以及張量大小語法；

支持的運算操作被劃分為元運算操作和復(fù)雜運算操作，其中，元運算包括基于張量的邏輯運算、算術(shù)運算、關(guān)系運算、位運算，復(fù)雜運算為元運算的組合運算；

權(quán)重格式定義包含矩陣通道的前后順序定義、數(shù)據(jù)存儲的精度定義和支持的壓縮算法中特殊數(shù)據(jù)結(jié)構(gòu)的格式定義。

4.如權(quán)利要求1所述的框架結(jié)構(gòu)，其特征在于：所述編解碼表示模塊中的壓縮后的神經(jīng)網(wǎng)絡(luò)的語法定義、支持的運算操作定義和編解碼后權(quán)重格式定義分別包括：

語法定義包含模型結(jié)構(gòu)語法、貢獻(xiàn)者語法、計算圖語法、節(jié)點語法、節(jié)點屬性語法、數(shù)據(jù)類型語法、其他數(shù)據(jù)類型語法、張量語法以及張量大小語法；

支持的運算操作被劃分為元運算操作和復(fù)雜運算操作，其中，元運算包括基于張量的邏輯運算、算術(shù)運算、關(guān)系運算、位運算，復(fù)雜運算為元運算的組合運算；

編解碼后的權(quán)重格式定義包括神經(jīng)網(wǎng)絡(luò)權(quán)重壓縮形式的編碼表示格式和重構(gòu)神經(jīng)網(wǎng)絡(luò)權(quán)重的語法來描述解碼權(quán)重。

5.如權(quán)利要求1所述的框架結(jié)構(gòu)，其特征在于：所述標(biāo)準(zhǔn)框架包括以下神經(jīng)網(wǎng)絡(luò)：卷積神經(jīng)網(wǎng)絡(luò)、循環(huán)神經(jīng)網(wǎng)絡(luò)、生成對抗網(wǎng)絡(luò)或自動編碼器神經(jīng)網(wǎng)絡(luò)。

6.如權(quán)利要求2所述的框架結(jié)構(gòu)，其特征在于：所述可互操作的表示格式的定義滿足以下要求：

所述模型結(jié)構(gòu)語法對網(wǎng)絡(luò)結(jié)構(gòu)和權(quán)重是否加密分別提供選項，不定義具體的加密算法；

所述計算圖語法由一系列節(jié)點組成，節(jié)點語法包括節(jié)點名稱、節(jié)點描述、節(jié)點輸入、節(jié)點屬性、節(jié)點運算操作以及運算操作定義；

所述運算操作包含卷積神經(jīng)網(wǎng)絡(luò)、循環(huán)神經(jīng)網(wǎng)絡(luò)、生成對抗網(wǎng)絡(luò)、自動編碼器神經(jīng)網(wǎng)絡(luò)模型的基于張量的邏輯運算、算術(shù)運算、關(guān)系運算、位運算的元運算，或元運算組合成的復(fù)雜運算；

所述元運算操作包含操作名稱、輸入、輸出、支持?jǐn)?shù)據(jù)類型和屬性；

所述復(fù)雜運算操作包含操作名稱、輸入、輸出、支持?jǐn)?shù)據(jù)類型、屬性和基于元運算操作定義。