[發(fā)明專利]一種數(shù)據(jù)處理方法及裝置

有效

• 申請?zhí)枺?/td>: 202010151570.6
• 申請日: 2020-03-06
• 公開（公告）號: CN113361703B
• 公開（公告）日: 2023-09-05
• 發(fā)明（設(shè)計）人: 屠震元;葉挺群
• 申請（專利權(quán)）人: 杭州海康威視數(shù)字技術(shù)股份有限公司
• 主分類號: G06N3/08
• 分類號: G06N3/08;G06N3/0464
• 代理公司: 北京柏杉松知識產(chǎn)權(quán)代理事務(wù)所(普通合伙) 11413
• 代理人: 孟維娜;丁蕓

本申請實施例提供了一種數(shù)據(jù)處理方法、裝置及電子設(shè)備，應(yīng)用于包括融合層的深度學(xué)習(xí)網(wǎng)絡(luò)，每一融合層分別與深度學(xué)習(xí)框架中的卷積層一一對應(yīng)，每一卷積層對應(yīng)的融合層為：通過預(yù)設(shè)參數(shù)融合方式和預(yù)設(shè)規(guī)則融合方式、將待融合層融合至該卷積層得到的網(wǎng)絡(luò)層；方法包括：每一融合層獲得與該融合層連接的上一融合層對待處理數(shù)據(jù)進行數(shù)據(jù)處理的結(jié)果和待處理數(shù)據(jù)；根據(jù)融合層的參數(shù)和融合層對應(yīng)的數(shù)據(jù)處理規(guī)則，對所獲得的結(jié)果和待處理數(shù)據(jù)進行數(shù)據(jù)處理。采用本申請實施例提供的方案處理數(shù)據(jù)，可以減少數(shù)據(jù)處理過程中對內(nèi)存或顯存的訪問次數(shù)，提高數(shù)據(jù)處理的速度和效率。

技術(shù)領(lǐng)域

本申請涉及計算機技術(shù)領(lǐng)域，特別是涉及一種數(shù)據(jù)處理方法及裝置。

背景技術(shù)

隨著計算機技術(shù)的發(fā)展，深度學(xué)習(xí)網(wǎng)絡(luò)被越來越廣泛地用來進行處理數(shù)據(jù)。基于卷積神經(jīng)網(wǎng)絡(luò)框架(Convolutional?Architecture?for?Fast?Feature?Embedding，簡稱Caffe)的深度學(xué)習(xí)網(wǎng)絡(luò)是常用的一種深度學(xué)習(xí)網(wǎng)絡(luò)。Caffe包括卷積層和非卷積層，Eltwise層為Caffe的一個非卷積層，其功能是對各卷積(Convolutional，簡稱Conv)層的運算結(jié)果進行求和、點積、取最大值等處理。

應(yīng)用基于Caffe的深度學(xué)習(xí)網(wǎng)絡(luò)進行數(shù)據(jù)處理時，各Conv層對待處理數(shù)據(jù)分別進行卷積計算，Eltwise層獲得各卷積層計算得到的卷積計算結(jié)果，并按照Eltwise層對應(yīng)的數(shù)據(jù)處理規(guī)則對各卷積計算結(jié)果進行數(shù)據(jù)處理。

然而，上述數(shù)據(jù)處理過程中，各Conv層在計算出各卷積計算結(jié)果后，需要將各卷積計算結(jié)果分別存入內(nèi)存或顯存，Eltwise層需要從內(nèi)存或顯存中讀取各卷積計算結(jié)果，并在對各卷積計算結(jié)果進行數(shù)據(jù)處理后將處理結(jié)果存入內(nèi)存或顯存。可見，上述數(shù)據(jù)處理過程需要頻繁地對內(nèi)存或顯存進行訪問，使得數(shù)據(jù)處理速度較慢、效率低。

發(fā)明內(nèi)容

本申請實施例的目的在于提供一種數(shù)據(jù)處理方法及裝置，以減少數(shù)據(jù)處理過程中對內(nèi)存或顯存的訪問次數(shù)，提高數(shù)據(jù)處理的速度和效率。具體技術(shù)方案如下：

第一方面，本申請實施例提供了一種數(shù)據(jù)處理方法，應(yīng)用于深度學(xué)習(xí)網(wǎng)絡(luò)，所述深度學(xué)習(xí)網(wǎng)絡(luò)包括融合層，每一融合層分別與深度學(xué)習(xí)框架中的卷積層一一對應(yīng)，每一卷積層對應(yīng)的融合層為：通過預(yù)設(shè)參數(shù)融合方式和預(yù)設(shè)規(guī)則融合方式、將待融合層融合至該卷積層得到的網(wǎng)絡(luò)層，所述預(yù)設(shè)參數(shù)融合方式包括：基于卷積層對應(yīng)的待融合參數(shù)修正卷積層的參數(shù)得到融合層的參數(shù)，所述預(yù)設(shè)規(guī)則融合方式包括：基于卷積層對應(yīng)的待融合規(guī)則修正卷積層對應(yīng)的數(shù)據(jù)處理規(guī)則得到融合層對應(yīng)的數(shù)據(jù)處理規(guī)則，所述待融合層包括：所述深度學(xué)習(xí)框架中用于對各卷積層的卷積運算結(jié)果進行運算的非卷積層；所述方法包括：

每一融合層獲得與該融合層連接的上一融合層對待處理數(shù)據(jù)進行數(shù)據(jù)處理的結(jié)果和所述待處理數(shù)據(jù)；

根據(jù)融合層的參數(shù)和融合層對應(yīng)的數(shù)據(jù)處理規(guī)則，對所獲得的結(jié)果和所述待處理數(shù)據(jù)進行數(shù)據(jù)處理。

可選的，所述深度學(xué)習(xí)框架為卷積神經(jīng)網(wǎng)絡(luò)框架Caffe；所述待融合層為Eltwise層。

可選的，基于卷積層對應(yīng)的待融合規(guī)則修正卷積層對應(yīng)的數(shù)據(jù)處理規(guī)則，得到的融合層對應(yīng)的數(shù)據(jù)處理規(guī)則為：滿足以下表達式的規(guī)則：

Y＝alpha2*conv(x)+alpha1*z+bias

其中，Y表示融合層對所述待處理數(shù)據(jù)進行數(shù)據(jù)處理的結(jié)果，z表示與融合層連接的上一融合層對所述待處理數(shù)據(jù)進行數(shù)據(jù)處理的結(jié)果，alpha2表示卷積層的卷積計算縮放系數(shù)，conv()表示卷積層的卷積計算公式，x表示所述待處理數(shù)據(jù)，alpha1表示所述z的縮放系數(shù)，bias表示融合層的偏置值。

可選的，在所述根據(jù)融合層的參數(shù)和融合層對應(yīng)的數(shù)據(jù)處理規(guī)則，對所獲得的結(jié)果和所述待處理數(shù)據(jù)進行數(shù)據(jù)處理之前，所述方法還包括：