[發(fā)明專利]運(yùn)算方法、裝置及相關(guān)產(chǎn)品

有效

• 申請(qǐng)?zhí)枺?/td>: 201910363385.0
• 申請(qǐng)日: 2019-04-30
• 公開（公告）號(hào): CN111860796B
• 公開（公告）日: 2023-10-03
• 發(fā)明（設(shè)計(jì)）人: 請(qǐng)求不公布姓名
• 申請(qǐng)（專利權(quán)）人: 上海寒武紀(jì)信息科技有限公司
• 主分類號(hào): G06N3/063
• 分類號(hào): G06N3/063;G06N3/045
• 代理公司: 北京林達(dá)劉知識(shí)產(chǎn)權(quán)代理事務(wù)所(普通合伙) 11277
• 代理人: 劉新宇

本公開涉及一種運(yùn)算方法、裝置及相關(guān)產(chǎn)品。所述產(chǎn)品可以包括以下一個(gè)或多個(gè)組件：處理組件，存儲(chǔ)器，電源組件，多媒體組件，音頻組件，輸入/輸出(I/O)的接口，傳感器組件，以及通信組件。根據(jù)本公開的運(yùn)算方法、裝置或相關(guān)產(chǎn)品，可以提高神經(jīng)網(wǎng)絡(luò)的運(yùn)算效率以及準(zhǔn)確性。

技術(shù)領(lǐng)域

本公開涉及信息處理技術(shù)領(lǐng)域，尤其涉及一種運(yùn)算方法、裝置及相關(guān)產(chǎn)品。

背景技術(shù)

在人工智能技術(shù)領(lǐng)域，神經(jīng)網(wǎng)絡(luò)算法是最近非常流行的一種機(jī)器學(xué)習(xí)算法，在各種領(lǐng)域中都取得了非常好的效果，比如圖像識(shí)別，語音識(shí)別，自然語言處理等。隨著神經(jīng)網(wǎng)絡(luò)算法的發(fā)展，算法的復(fù)雜度也越來越高，為了提高識(shí)別度，模型的規(guī)模也在逐漸增大。

發(fā)明內(nèi)容

有鑒于此，本公開提出了一種神經(jīng)網(wǎng)絡(luò)模型的中間結(jié)果的比較方法及裝置。

根據(jù)本公開的一方面，提供了一種神經(jīng)網(wǎng)絡(luò)模型的中間結(jié)果的比較方法，所述方法包括：

針對(duì)神經(jīng)網(wǎng)絡(luò)模型的目標(biāo)層，獲取所述目標(biāo)層的第一中間結(jié)果和第二中間結(jié)果，

其中，所述第一中間結(jié)果為根據(jù)多個(gè)第一子模型在所述目標(biāo)層的輸出結(jié)果得到的，所述多個(gè)第一子模型為采用第一拆分方案對(duì)所述神經(jīng)網(wǎng)絡(luò)模型進(jìn)行拆分得到的，所述第二中間結(jié)果為根據(jù)多個(gè)第二子模型在所述目標(biāo)層的輸出結(jié)果得到的，所述多個(gè)第二子模型為采用第二拆分方案對(duì)所述神經(jīng)網(wǎng)絡(luò)模型進(jìn)行拆分得到的；

比較所述第一中間結(jié)果和所述第二中間結(jié)果的精度，得到所述第一拆分方案和所述第二拆分方案的精度差異。

在一種可能的實(shí)現(xiàn)方式中，針對(duì)神經(jīng)網(wǎng)絡(luò)模型的目標(biāo)層，獲取所述目標(biāo)層的第一中間結(jié)果和第二中間結(jié)果，包括：

針對(duì)神經(jīng)網(wǎng)絡(luò)模型的目標(biāo)層，獲取采用第一拆分方案對(duì)神經(jīng)網(wǎng)絡(luò)模型拆分后的多個(gè)第一子模型在所述目標(biāo)層的輸出結(jié)果、以及采用第二拆分方案對(duì)神經(jīng)網(wǎng)絡(luò)模型拆分后的多個(gè)第二子模型在所述目標(biāo)層的輸出結(jié)果；

根據(jù)所述第一拆分方案，和/或，與所述第一拆分方案對(duì)應(yīng)的數(shù)據(jù)擺放方案對(duì)所述多個(gè)第一子模型在所述目標(biāo)層的輸出結(jié)果進(jìn)行處理，得到所述神經(jīng)網(wǎng)絡(luò)模型在所述目標(biāo)層的第一中間結(jié)果；

根據(jù)所述第二拆分方案，和/或，與所述第二拆分方案對(duì)應(yīng)的數(shù)據(jù)擺放方案對(duì)所述多個(gè)第二子模型在所述目標(biāo)層的輸出結(jié)果進(jìn)行處理，得到所述神經(jīng)網(wǎng)絡(luò)模型在所述目標(biāo)層的第二中間結(jié)果。

在一種可能的實(shí)現(xiàn)方式中，根據(jù)所述第一拆分方案，和/或，與所述第一拆分方案對(duì)應(yīng)的數(shù)據(jù)擺放方案對(duì)所述多個(gè)第一子模型的輸出結(jié)果進(jìn)行處理，得到所述神經(jīng)網(wǎng)絡(luò)模型在所述目標(biāo)層的第一中間結(jié)果，包括：

根據(jù)所述第一拆分方案對(duì)所述多個(gè)第一子模型在所述目標(biāo)層的輸出結(jié)果進(jìn)行拼接，得到第一拼接結(jié)果；

根據(jù)與所述第一拆分方案對(duì)應(yīng)的數(shù)據(jù)擺放方案對(duì)所述第一拼接結(jié)果進(jìn)行數(shù)據(jù)轉(zhuǎn)置得到所述第一中間結(jié)果。

在一種可能的實(shí)現(xiàn)方式中，根據(jù)所述第一拆分方案，和/或，與所述第一拆分方案對(duì)應(yīng)的數(shù)據(jù)擺放方案對(duì)所述多個(gè)第一子模型的輸出結(jié)果進(jìn)行處理，得到所述神經(jīng)網(wǎng)絡(luò)模型在所述目標(biāo)層的第一中間結(jié)果，還包括：

若對(duì)所述多個(gè)第一子模型在所述目標(biāo)層的輸入數(shù)據(jù)進(jìn)行了數(shù)據(jù)補(bǔ)齊操作，則在對(duì)所述第一拼接結(jié)果進(jìn)行數(shù)據(jù)轉(zhuǎn)置之前，去除所述第一拼接結(jié)果的冗余數(shù)據(jù)，或者在得到所述第一拼接結(jié)果之前，去除多個(gè)第一子模型在所述目標(biāo)層的輸出結(jié)果的冗余數(shù)據(jù)。

在一種可能的實(shí)現(xiàn)方式中，根據(jù)所述第二拆分方案，和/或，與所述第二拆分方案對(duì)應(yīng)的數(shù)據(jù)擺放方案對(duì)所述多個(gè)第二子模型的輸出結(jié)果進(jìn)行處理，得到所述神經(jīng)網(wǎng)絡(luò)模型在所述目標(biāo)層的第二中間結(jié)果，包括：

根據(jù)所述第二拆分方案對(duì)所述多個(gè)第二子模型在所述目標(biāo)層的輸出結(jié)果進(jìn)行拼接，得到第二拼接結(jié)果；