[發(fā)明專利]一種深度學(xué)習(xí)網(wǎng)絡(luò)的優(yōu)化方法及裝置

有效

• 申請?zhí)枺?/td>: 202011051308.0
• 申請日: 2020-09-29
• 公開（公告）號: CN112116081B
• 公開（公告）日: 2023-09-08
• 發(fā)明（設(shè)計）人: 鄭劉坡
• 申請（專利權(quán)）人: 杭州海康威視數(shù)字技術(shù)股份有限公司
• 主分類號: G06N3/045
• 分類號: G06N3/045;G06N3/082
• 代理公司: 北京柏杉松知識產(chǎn)權(quán)代理事務(wù)所(普通合伙) 11413
• 代理人: 孫翠賢;高鶯然

1.一種深度學(xué)習(xí)網(wǎng)絡(luò)的優(yōu)化方法，其特征在于，所述方法包括：

獲取目標(biāo)網(wǎng)絡(luò)的拓撲排序信息；其中，所述目標(biāo)網(wǎng)絡(luò)為待優(yōu)化的深度學(xué)習(xí)網(wǎng)絡(luò)，所述拓撲排序信息用于表征所述目標(biāo)網(wǎng)絡(luò)所包括的各個網(wǎng)絡(luò)層以及各個網(wǎng)絡(luò)層之間的數(shù)據(jù)傳輸關(guān)系；

根據(jù)所述各個網(wǎng)絡(luò)層中的第一個網(wǎng)絡(luò)層的計算特征和所述目標(biāo)網(wǎng)絡(luò)的輸入數(shù)據(jù)，確定所述第一個網(wǎng)絡(luò)層的輸出數(shù)據(jù)的第一數(shù)據(jù)量；并根據(jù)所述第一數(shù)據(jù)量確定所述第一個網(wǎng)絡(luò)層的內(nèi)存模式；其中，所述第一個網(wǎng)絡(luò)層基于所述數(shù)據(jù)傳輸關(guān)系確定的；

針對所述各個網(wǎng)絡(luò)層中除所述第一個網(wǎng)絡(luò)層之外的每個網(wǎng)絡(luò)層，根據(jù)該網(wǎng)絡(luò)層的計算特征和該網(wǎng)絡(luò)層的上一網(wǎng)絡(luò)層的輸出數(shù)據(jù)，確定該網(wǎng)絡(luò)層的輸出數(shù)據(jù)的第二數(shù)據(jù)量；并根據(jù)所述第二數(shù)據(jù)量、該網(wǎng)絡(luò)層的計算特征、所述上一網(wǎng)絡(luò)層的計算特征和所述上一網(wǎng)絡(luò)層的內(nèi)存模式，確定該網(wǎng)絡(luò)層的融合模式和內(nèi)存模式；其中，任一網(wǎng)絡(luò)層的內(nèi)存模式用于表征該網(wǎng)絡(luò)層的輸入數(shù)據(jù)和輸出數(shù)據(jù)的存儲模式；

按照所述各個網(wǎng)絡(luò)層中除所述第一個網(wǎng)絡(luò)層之外的每個網(wǎng)絡(luò)層的融合模式，以及所述各個網(wǎng)絡(luò)層中每個網(wǎng)絡(luò)層的內(nèi)存模式，更改所述目標(biāo)網(wǎng)絡(luò)的初始模型文件，得到優(yōu)化后的目標(biāo)網(wǎng)絡(luò)。

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述根據(jù)所述第一數(shù)據(jù)量確定所述第一個網(wǎng)絡(luò)層的內(nèi)存模式的步驟，包括：

根據(jù)所述第一數(shù)據(jù)量、用于讀寫所述輸入數(shù)據(jù)的目標(biāo)存儲器和所述目標(biāo)網(wǎng)絡(luò)環(huán)境中的第二存儲器的總內(nèi)存，確定所述第一個網(wǎng)絡(luò)層的內(nèi)存模式；

其中，所述目標(biāo)存儲器為第一存儲器、所述第二存儲器和第三存儲器中的任一存儲器，所述第一存儲器的數(shù)據(jù)讀寫速度最快，所述第二存儲器的數(shù)據(jù)讀寫速度居中，所述第三存儲器的數(shù)據(jù)讀寫速度最慢。

3.根據(jù)權(quán)利要求2所述的方法，其特征在于，該網(wǎng)絡(luò)層為具有一個輸入數(shù)據(jù)和一個輸出數(shù)據(jù)的第一類網(wǎng)絡(luò)層；

所述根據(jù)所述第二數(shù)據(jù)量、該網(wǎng)絡(luò)層的計算特征、所述上一網(wǎng)絡(luò)層的計算特征和所述上一網(wǎng)絡(luò)層的內(nèi)存模式，確定該網(wǎng)絡(luò)層的融合模式和該網(wǎng)絡(luò)層的內(nèi)存模式的步驟，包括：

根據(jù)該網(wǎng)絡(luò)層的計算特征和所述上一網(wǎng)絡(luò)層的計算特征，判斷該網(wǎng)絡(luò)層和所述上一網(wǎng)絡(luò)層的數(shù)據(jù)處理過程是否能在同一網(wǎng)絡(luò)層中執(zhí)行；

如果是，確定該網(wǎng)絡(luò)層的融合模式為第一融合模式，并確定該網(wǎng)絡(luò)層的內(nèi)存模式為第一內(nèi)存模式；其中，所述第一融合模式表征在所述目標(biāo)網(wǎng)絡(luò)的運行過程中該網(wǎng)絡(luò)層和所述上一網(wǎng)絡(luò)層合并為同一層；所述第一內(nèi)存模式表征該網(wǎng)絡(luò)層的輸入數(shù)據(jù)存儲在所述第一存儲器，以及該網(wǎng)絡(luò)層的輸出數(shù)據(jù)存儲在所述第二存儲器或所述第三存儲器；

如果否，根據(jù)所述第二數(shù)據(jù)量、所述上一網(wǎng)絡(luò)層的內(nèi)存模式和所述第二存儲器的總內(nèi)存，確定該網(wǎng)絡(luò)層的內(nèi)存模式，并根據(jù)該網(wǎng)絡(luò)層的內(nèi)存模式，確定該網(wǎng)絡(luò)層的融合模式。

4.根據(jù)權(quán)利要求3所述的方法，其特征在于，所述上一網(wǎng)絡(luò)層的內(nèi)存模式表征所述上一網(wǎng)絡(luò)層的輸出數(shù)據(jù)存儲在所述第二存儲器；

所述根據(jù)所述第二數(shù)據(jù)量、所述上一網(wǎng)絡(luò)層的內(nèi)存模式和所述第二存儲器的總內(nèi)存，確定該網(wǎng)絡(luò)層的內(nèi)存模式的步驟，包括：

根據(jù)所述第二數(shù)據(jù)量、所述上一網(wǎng)絡(luò)層的內(nèi)存模式、所述上一網(wǎng)絡(luò)層的輸出數(shù)據(jù)的數(shù)據(jù)量、所述上一網(wǎng)絡(luò)層的輸出數(shù)據(jù)在所述第二存儲器中的存儲地址和所述第二存儲器的總內(nèi)存，確定該網(wǎng)絡(luò)層的內(nèi)存模式。