[發(fā)明專利]具有可變輸出數(shù)據(jù)格式的深度神經(jīng)網(wǎng)絡(luò)的硬件實(shí)現(xiàn)

在審

• 申請?zhí)枺?/td>: 201811094183.2
• 申請日: 2018-09-19
• 公開（公告）號: CN109635916A
• 公開（公告）日: 2019-04-16
• 發(fā)明（設(shè)計(jì)）人: 克里斯·馬丁;大衛(wèi)·霍夫;保羅·布拉塞特;卡加泰·迪基奇;詹姆斯·因貝爾;克利福德·吉布森
• 申請（專利權(quán)）人: 暢想科技有限公司
• 主分類號: G06N3/04
• 分類號: G06N3/04;G06N3/063;G06N3/08
• 代理公司: 北京東方億思知識產(chǎn)權(quán)代理有限責(zé)任公司 11258
• 代理人: 林強(qiáng)

1.一種深度神經(jīng)網(wǎng)絡(luò)“DNN”的硬件實(shí)現(xiàn)中的方法(500)，所述硬件實(shí)現(xiàn)被配置成通過使用一個(gè)或多個(gè)硬件遍歷處理數(shù)據(jù)來實(shí)施所述DNN，所述方法(500)包括：

接收用于所述硬件實(shí)現(xiàn)的硬件遍歷的輸入數(shù)據(jù)集，所述輸入數(shù)據(jù)集表示用于所述DNN的特定層的輸入數(shù)據(jù)的至少一部分(502)；

接收指示所述硬件遍歷的期望輸出數(shù)據(jù)格式的信息(504)；

根據(jù)與所述硬件遍歷相關(guān)聯(lián)的所述DNN的一個(gè)或多個(gè)層來處理所述輸入數(shù)據(jù)集，以產(chǎn)生經(jīng)處理的數(shù)據(jù)，所述一個(gè)或多個(gè)層包括所述DNN的特定層(506)；以及

將所述經(jīng)處理的數(shù)據(jù)轉(zhuǎn)換成所述硬件遍歷的期望輸出數(shù)據(jù)格式，以產(chǎn)生所述硬件遍歷的輸出數(shù)據(jù)(508)。

2.一種深度神經(jīng)網(wǎng)絡(luò)“DNN”的硬件實(shí)現(xiàn)(200)，所述硬件實(shí)現(xiàn)被配置成通過使用一個(gè)或多個(gè)硬件遍歷處理數(shù)據(jù)來實(shí)施所述DNN，所述硬件實(shí)現(xiàn)包括：

輸入模塊(202)，被配置成接收用于所述硬件實(shí)現(xiàn)的硬件遍歷的輸入數(shù)據(jù)集，所述輸入數(shù)據(jù)集表示用于所述DNN的特定層的輸入數(shù)據(jù)的至少一部分；

解碼器(206)，被配置成接收指示所述硬件遍歷的期望輸出數(shù)據(jù)格式的信息；

處理模塊(204)，被配置成根據(jù)與所述硬件遍歷相關(guān)聯(lián)的所述DNN的一個(gè)或多個(gè)層來處理所述輸入數(shù)據(jù)集，以產(chǎn)生經(jīng)處理的數(shù)據(jù)，所述一個(gè)或多個(gè)層包括所述DNN的特定層；以及

輸出模塊(208)，被配置成將所述經(jīng)處理的數(shù)據(jù)轉(zhuǎn)換成所述硬件遍歷的期望輸出數(shù)據(jù)格式，以產(chǎn)生所述硬件遍歷的輸出數(shù)據(jù)。

3.根據(jù)權(quán)利要求2所述的硬件實(shí)現(xiàn)，其中：

所述輸入模塊還被配置成接收用于所述硬件實(shí)現(xiàn)的不同硬件遍歷的第二輸入數(shù)據(jù)集；

所述解碼器還被配置成接收指示所述不同硬件遍歷的期望輸出格式的信息，所述不同硬件遍歷的期望輸出格式不同于所述硬件遍歷的期望輸出數(shù)據(jù)格式；

所述處理模塊還被配置成根據(jù)所述DNN的一個(gè)或多個(gè)層來處理所述第二輸入數(shù)據(jù)集，以產(chǎn)生第二經(jīng)處理的數(shù)據(jù)；并且

所述輸出模塊還被配置成將所述第二經(jīng)處理的數(shù)據(jù)轉(zhuǎn)換成所述不同硬件遍歷的期望輸出數(shù)據(jù)格式，以產(chǎn)生第二輸出數(shù)據(jù)。

4.根據(jù)權(quán)利要求3所述的硬件實(shí)現(xiàn)，其中，所述第二輸入數(shù)據(jù)集包括用于所述DNN的特定層的輸入數(shù)據(jù)的一部分；或者其中，所述第二輸入數(shù)據(jù)集包括用于所述DNN的另一層的輸入數(shù)據(jù)的至少一部分。

5.根據(jù)權(quán)利要求4所述的硬件實(shí)現(xiàn)，其中，所述第二輸入數(shù)據(jù)集包括用于另一層的輸入數(shù)據(jù)的至少一部分，并且所述第二輸入數(shù)據(jù)集包括采用所述期望輸出數(shù)據(jù)格式的所述輸出數(shù)據(jù)的至少一部分。

6.根據(jù)權(quán)利要求2至5中任一項(xiàng)所述的硬件實(shí)現(xiàn)，其中，所述輸出模塊還被配置成將采用所述期望輸出數(shù)據(jù)格式的所述輸出數(shù)據(jù)存儲在存儲器中；并且所述輸入模塊還被配置成從存儲器中讀取采用所述期望輸出數(shù)據(jù)格式的所述輸出數(shù)據(jù)，作為用于另一硬件遍歷的輸入數(shù)據(jù)集。

7.根據(jù)權(quán)利要求2至5中任一項(xiàng)所述的硬件實(shí)現(xiàn)，其中，所述一個(gè)或多個(gè)層包括至少兩個(gè)層，并且所述處理模塊被配置成通過根據(jù)所述至少兩個(gè)層中的一個(gè)層使用第一輸入數(shù)據(jù)格式處理所述輸入數(shù)據(jù)集并且根據(jù)所述至少兩個(gè)層中的另一層使用第二輸入數(shù)據(jù)格式處理所述輸入數(shù)據(jù)集，而根據(jù)所述至少兩個(gè)層來處理所述數(shù)據(jù)集，其中，所述第一輸入數(shù)據(jù)格式和所述第二輸入數(shù)據(jù)格式獨(dú)立于所述硬件遍歷的所述期望輸出數(shù)據(jù)格式。

8.根據(jù)權(quán)利要求7所述的硬件實(shí)現(xiàn)，其中，所述第一輸入數(shù)據(jù)格式和所述第二輸入數(shù)據(jù)格式中的每一個(gè)是由指數(shù)和整數(shù)位寬度限定的定點(diǎn)格式，并且所述第一數(shù)據(jù)格式的指數(shù)不同于所述第二數(shù)據(jù)格式的指數(shù)。

9.根據(jù)權(quán)利要求7所述的硬件實(shí)現(xiàn)，其中，所述處理模塊被配置成通過使用定點(diǎn)到定點(diǎn)轉(zhuǎn)換器將針對所述至少兩個(gè)層中的一個(gè)層的輸入數(shù)據(jù)轉(zhuǎn)換成第一輸入數(shù)據(jù)格式，而根據(jù)所述至少兩個(gè)層中的一個(gè)層使用所述第一輸入數(shù)據(jù)格式來處理所述輸入數(shù)據(jù)。