[發(fā)明專利]降低神經(jīng)網(wǎng)絡(luò)CPU峰值利用率的方法、裝置、設(shè)備和介質(zhì)

在審

• 申請(qǐng)?zhí)枺?/td>: 202310236898.1
• 申請(qǐng)日: 2023-03-13
• 公開（公告）號(hào): CN116466815A
• 公開（公告）日: 2023-07-21
• 發(fā)明（設(shè)計(jì)）人: 司玉景;李全忠
• 申請(qǐng)（專利權(quán)）人: 普強(qiáng)時(shí)代（珠海橫琴）信息技術(shù)有限公司
• 主分類號(hào): G06F1/3234
• 分類號(hào): G06F1/3234;G06F9/50;G06N3/048
• 代理公司: 北京千壹知識(shí)產(chǎn)權(quán)代理事務(wù)所(普通合伙) 11940
• 代理人: 王玉玲

本發(fā)明公開了一種降低神經(jīng)網(wǎng)絡(luò)CPU峰值利用率的方法、裝置、設(shè)備和介質(zhì)，涉及計(jì)算機(jī)技術(shù)領(lǐng)域，包括：判斷特征向量序列的類型，若為關(guān)鍵幀，則將其輸入至神經(jīng)網(wǎng)絡(luò)，將神經(jīng)網(wǎng)絡(luò)前向計(jì)算的運(yùn)算過程按照第一預(yù)設(shè)比例分配給關(guān)鍵幀，獲得神經(jīng)網(wǎng)絡(luò)的中間隱藏層的輸出；若為過渡幀，則將第一中間隱藏層的輸出作為后續(xù)中間隱藏層的輸入，將神經(jīng)網(wǎng)絡(luò)前向計(jì)算的運(yùn)算過程按照第二預(yù)設(shè)比例分配給所述過渡幀，以獲得后續(xù)中間隱藏層的輸出；重復(fù)上述過程，直至得到神經(jīng)網(wǎng)絡(luò)最終輸出結(jié)果；重復(fù)上述步驟，直至所有的特征向量序列處理完畢。本發(fā)明降低了神經(jīng)網(wǎng)絡(luò)計(jì)算中的CPU峰值計(jì)算量，從而降低了神經(jīng)網(wǎng)絡(luò)的CPU峰值利用率和峰值功耗。

技術(shù)領(lǐng)域

本發(fā)明涉及計(jì)算機(jī)技術(shù)領(lǐng)域，特別涉及一種降低神經(jīng)網(wǎng)絡(luò)CPU峰值利用率的方法、裝置、設(shè)備和介質(zhì)。

背景技術(shù)

近年來(lái)，隨著計(jì)算機(jī)硬件的不斷提升以及算法的不斷完善，神經(jīng)網(wǎng)絡(luò)在模式識(shí)別領(lǐng)域，例如，語(yǔ)音識(shí)別、語(yǔ)音喚醒、人臉識(shí)別、機(jī)器翻譯等領(lǐng)域，取得了重大的突破。一般而言，神經(jīng)網(wǎng)絡(luò)的性能會(huì)隨著訓(xùn)練數(shù)據(jù)量和參數(shù)規(guī)模的增大而不斷提高。但是，對(duì)于嵌入式系統(tǒng)，例如智能硬件，由于其內(nèi)存和計(jì)算能力均有限，神經(jīng)網(wǎng)絡(luò)的參數(shù)規(guī)模常常會(huì)限制在一定的范圍之內(nèi)，以保證神經(jīng)網(wǎng)絡(luò)運(yùn)行時(shí)的CPU利用率是可控的，以保證整個(gè)系統(tǒng)的穩(wěn)定性。

CPU利用率可分為兩種，一種是CPU平均使用率，即在一定時(shí)間范圍內(nèi)的CPU使用量除以時(shí)間長(zhǎng)度，另一種是CPU峰值使用率，即在一定時(shí)間范圍內(nèi)的CPU最大的使用率。現(xiàn)有技術(shù)中，降低神經(jīng)網(wǎng)絡(luò)的功耗大致分為兩種，一種是神經(jīng)網(wǎng)絡(luò)自身的，例如可通過減少神經(jīng)網(wǎng)絡(luò)的參數(shù)量、利用平臺(tái)的加速指令優(yōu)化計(jì)算等方式來(lái)實(shí)現(xiàn)；另一種是利用神經(jīng)網(wǎng)絡(luò)輸入是連續(xù)的這一特性，可以只計(jì)算關(guān)鍵幀，而過渡幀可以直接使用關(guān)鍵幀的神經(jīng)網(wǎng)絡(luò)輸出，這樣過渡幀不進(jìn)行神經(jīng)網(wǎng)絡(luò)計(jì)算從而降低了CPU的平均利用率，例如在先申請(qǐng)CN108764469A公開的跳幀機(jī)制就是降低的CPU的平均利用率。

然而，上述在先申請(qǐng)并未降低CPU峰值使用率，CPU峰值使用率對(duì)系統(tǒng)的穩(wěn)定性至關(guān)重要，如果控制的不好，可能會(huì)造成系統(tǒng)其他模塊的卡頓甚至崩潰。

發(fā)明內(nèi)容

鑒于現(xiàn)有技術(shù)中的上述缺陷或不足，本發(fā)明提供了一種降低神經(jīng)網(wǎng)絡(luò)CPU峰值利用率的方法、裝置、設(shè)備和介質(zhì)，通過將關(guān)鍵幀的神經(jīng)網(wǎng)絡(luò)前向計(jì)算過程，按照一定比例分配給過渡幀，這樣整個(gè)神經(jīng)網(wǎng)絡(luò)的計(jì)算不再集中在關(guān)鍵幀上，而是按照一定比例分布在關(guān)鍵幀和過渡幀中，降低了神經(jīng)網(wǎng)絡(luò)計(jì)算中的CPU峰值計(jì)算量，從而降低了神經(jīng)網(wǎng)絡(luò)的CPU峰值利用率和峰值功耗，提高了整個(gè)系統(tǒng)的穩(wěn)定性。同時(shí)在相同的系統(tǒng)算力下，提高了神經(jīng)網(wǎng)絡(luò)的參數(shù)量，從而提高了系統(tǒng)性能。

本發(fā)明的一個(gè)方面，提供了一種降低神經(jīng)網(wǎng)絡(luò)CPU峰值利用率的方法，包括如下步驟：

判斷步驟，根據(jù)待輸入至神經(jīng)網(wǎng)絡(luò)中的特征向量序列的輸入順序，判斷該特征向量序列的類型，所述特征向量序列的類型包括關(guān)鍵幀和過渡幀；

關(guān)鍵幀處理步驟，若待輸入至神經(jīng)網(wǎng)絡(luò)中的特征向量序列為關(guān)鍵幀，則將該關(guān)鍵幀輸入至神經(jīng)網(wǎng)絡(luò)，將神經(jīng)網(wǎng)絡(luò)前向計(jì)算的運(yùn)算過程按照第一預(yù)設(shè)比例分配給所述關(guān)鍵幀，從而獲得神經(jīng)網(wǎng)絡(luò)的第一中間隱藏層的輸出；

過渡幀處理步驟，若待輸入至神經(jīng)網(wǎng)絡(luò)中的特征向量序列為所述關(guān)鍵幀之后的過渡幀，則將所述第一中間隱藏層的輸出作為后續(xù)中間隱藏層的輸入，將神經(jīng)網(wǎng)絡(luò)前向計(jì)算的運(yùn)算過程按照第二預(yù)設(shè)比例分配給所述過渡幀，以獲得所述后續(xù)中間隱藏層的輸出；重復(fù)上述過程，直至所述過渡幀的計(jì)算過程包含神經(jīng)網(wǎng)絡(luò)輸出層，得到神經(jīng)網(wǎng)絡(luò)最終輸出結(jié)果；

重復(fù)所述關(guān)鍵幀處理步驟和過渡幀處理步驟，直至所有的特征向量序列處理完畢。

進(jìn)一步的，所述第一預(yù)設(shè)比例和所述第二預(yù)設(shè)比例根據(jù)神經(jīng)網(wǎng)絡(luò)前向計(jì)算的運(yùn)算量平均分配。

進(jìn)一步的，將輸入層到隱藏層的運(yùn)算分配給所述關(guān)鍵幀，將隱藏層到輸出層的運(yùn)算分配給所述過渡層。