[發(fā)明專利]識別圖像的方法和設(shè)備以及訓(xùn)練神經(jīng)網(wǎng)絡(luò)的方法和設(shè)備

在審

• 申請?zhí)枺?/td>: 202011086791.6
• 申請日: 2020-10-12
• 公開（公告）號: CN112651485A
• 公開（公告）日: 2021-04-13
• 發(fā)明（設(shè)計(jì)）人: 河相源;金利燮;崔勝圭;申載康
• 申請（專利權(quán)）人: 三星電子株式會社;韓國科學(xué)技術(shù)院
• 主分類號: G06N3/04
• 分類號: G06N3/04;G06N3/08;G06K9/00
• 代理公司: 北京銘碩知識產(chǎn)權(quán)代理有限公司 11286
• 代理人: 黃曉燕;王兆賡

公開識別圖像的方法和設(shè)備以及訓(xùn)練神經(jīng)網(wǎng)絡(luò)的方法和設(shè)備。所述方法包括：獲得待識別的圖像數(shù)據(jù)作為神經(jīng)網(wǎng)絡(luò)的輸入數(shù)據(jù)；針對神經(jīng)網(wǎng)絡(luò)內(nèi)的至少一個(gè)層中的當(dāng)前層，通過對當(dāng)前層的輸入數(shù)據(jù)執(zhí)行當(dāng)前層的操作來產(chǎn)生當(dāng)前層的輸出數(shù)據(jù)；基于當(dāng)前層的每個(gè)輸出通道的局部最大值，通過對全局恢復(fù)數(shù)據(jù)進(jìn)行初次量化來獲得局部量化數(shù)據(jù)；將局部量化數(shù)據(jù)存儲在存儲器中；基于與當(dāng)前層對應(yīng)的全局最大值，通過對局部恢復(fù)數(shù)據(jù)進(jìn)行二次量化來獲得全局量化數(shù)據(jù)；將全局量化數(shù)據(jù)作為下一層的輸入數(shù)據(jù)提供給下一層，以執(zhí)行下一層的操作；以及基于神經(jīng)網(wǎng)絡(luò)的最終層的操作產(chǎn)生的輸出數(shù)據(jù)，輸出圖像識別結(jié)果。

本申請要求于2019年10月11日在韓國知識產(chǎn)權(quán)局提交的第10-2019-0126298號韓國專利申請的權(quán)益，所述韓國專利申請的公開通過引用完整地包含于此。

技術(shù)領(lǐng)域

本公開涉及識別圖像的方法和設(shè)備以及訓(xùn)練用于識別圖像的神經(jīng)網(wǎng)絡(luò)的方法和設(shè)備。

背景技術(shù)

神經(jīng)網(wǎng)絡(luò)被廣泛地用于圖像識別技術(shù)。神經(jīng)網(wǎng)絡(luò)是基于使用生物大腦作為模型的計(jì)算架構(gòu)的計(jì)算系統(tǒng)。根據(jù)神經(jīng)網(wǎng)絡(luò)技術(shù)的最新發(fā)展，在各種類型的電子系統(tǒng)中通過使用神經(jīng)網(wǎng)絡(luò)設(shè)備來分析輸入圖像數(shù)據(jù)，并提取有效信息。

神經(jīng)網(wǎng)絡(luò)設(shè)備對復(fù)雜的輸入圖像數(shù)據(jù)執(zhí)行大的計(jì)算量。因此，需要高效地處理網(wǎng)絡(luò)操作的技術(shù)，以允許神經(jīng)網(wǎng)絡(luò)設(shè)備分析輸入圖像數(shù)據(jù)并實(shí)時(shí)提取信息。特別地，低功率和高性能嵌入式系統(tǒng)(諸如，智能電話)具有有限的資源，因此，需要用于在減少處理復(fù)雜的輸入圖像數(shù)據(jù)所需的資源的數(shù)量的同時(shí)最小化各種處理操作中的準(zhǔn)確度損失的技術(shù)。

發(fā)明內(nèi)容

本公開的各種實(shí)施例提供一種用于量化神經(jīng)網(wǎng)絡(luò)的數(shù)據(jù)的方法和設(shè)備。還提供一種計(jì)算機(jī)可讀記錄介質(zhì)，所述計(jì)算機(jī)可讀記錄介質(zhì)上記錄有用于在計(jì)算機(jī)上執(zhí)行以上方法的程序。

另外的方面將部分地在下面的描述中闡述，并且部分地從描述中將是清楚的，或者可通過公開的所呈現(xiàn)的實(shí)施例的實(shí)踐而得知。

根據(jù)本公開的一個(gè)方面，一種識別圖像的方法包括：獲得待識別的圖像數(shù)據(jù)作為神經(jīng)網(wǎng)絡(luò)的輸入數(shù)據(jù)；針對神經(jīng)網(wǎng)絡(luò)內(nèi)的至少一個(gè)層中的當(dāng)前層，通過對當(dāng)前層的輸入數(shù)據(jù)執(zhí)行當(dāng)前層的操作來產(chǎn)生當(dāng)前層的輸出數(shù)據(jù)，其中，當(dāng)前層的輸出數(shù)據(jù)包括多個(gè)輸出通道；基于當(dāng)前層的每個(gè)輸出通道的局部最大值，通過對全局恢復(fù)數(shù)據(jù)進(jìn)行初次量化來獲得局部量化數(shù)據(jù)，全局恢復(fù)數(shù)據(jù)基于與前一層對應(yīng)的全局最大值從由當(dāng)前層的操作產(chǎn)生的輸出數(shù)據(jù)而恢復(fù)；將局部量化數(shù)據(jù)存儲在存儲器中；基于與當(dāng)前層對應(yīng)的全局最大值，通過對局部恢復(fù)數(shù)據(jù)進(jìn)行二次量化來獲得全局量化數(shù)據(jù)，局部恢復(fù)數(shù)據(jù)基于每個(gè)輸出通道的局部最大值從局部量化數(shù)據(jù)而恢復(fù)；將全局量化數(shù)據(jù)作為下一層的輸入數(shù)據(jù)提供給下一層，以執(zhí)行下一層的操作；以及基于神經(jīng)網(wǎng)絡(luò)的最終層的操作產(chǎn)生的輸出數(shù)據(jù)，輸出圖像識別結(jié)果。

獲得局部量化數(shù)據(jù)的步驟包括：通過基于與前一層對應(yīng)的全局最大值，針對每個(gè)輸出通道恢復(fù)由當(dāng)前層的操作產(chǎn)生的輸出數(shù)據(jù)，來獲得全局恢復(fù)數(shù)據(jù)，與前一層對應(yīng)的全局最大值基于通過恢復(fù)由前一層的操作產(chǎn)生的輸出數(shù)據(jù)獲得的數(shù)據(jù)而生成。

獲得局部量化數(shù)據(jù)的步驟包括：通過基于作為每個(gè)輸出通道的全局恢復(fù)數(shù)據(jù)的最大值的局部最大值，對每個(gè)輸出通道的全局恢復(fù)數(shù)據(jù)進(jìn)行初次量化，來獲得局部量化數(shù)據(jù)，使得每個(gè)輸出通道的全局恢復(fù)數(shù)據(jù)的最大值被量化為相同值。

獲得全局量化數(shù)據(jù)的步驟包括：通過基于作為每個(gè)輸出通道的全局恢復(fù)數(shù)據(jù)的最大值的局部最大值，恢復(fù)每個(gè)輸出通道的局部量化數(shù)據(jù)來獲得局部恢復(fù)數(shù)據(jù)，使得局部量化數(shù)據(jù)被恢復(fù)為初次量化之前的數(shù)據(jù)。

獲得全局量化數(shù)據(jù)的步驟包括：通過基于作為局部恢復(fù)數(shù)據(jù)的最大值的全局最大值，對每個(gè)輸出通道的局部恢復(fù)數(shù)據(jù)進(jìn)行二次量化來獲得全局量化數(shù)據(jù)，使得局部恢復(fù)數(shù)據(jù)被量化到相同的尺度。

獲得局部量化數(shù)據(jù)的步驟還包括：基于與前一層對應(yīng)的全局最大值恢復(fù)由當(dāng)前層的操作產(chǎn)生的輸出數(shù)據(jù)；以及通過對恢復(fù)的數(shù)據(jù)執(zhí)行池化操作、排列歸一化或使用激活函數(shù)的激活，來獲得全局恢復(fù)數(shù)據(jù)。