[發(fā)明專利]一種基于輕量級深度學(xué)習(xí)網(wǎng)絡(luò)的文物分類方法

在審

• 申請?zhí)枺?/td>: 202111167627.2
• 申請日: 2021-10-07
• 公開（公告）號: CN113920363A
• 公開（公告）日: 2022-01-11
• 發(fā)明（設(shè)計）人: 張紹澤;任磊;汪霖;邢天璋
• 申請（專利權(quán)）人: 中國電子科技集團公司第二十研究所
• 主分類號: G06V10/764
• 分類號: G06V10/764;G06K9/62;G06N3/04
• 代理公司: 西北工業(yè)大學(xué)專利中心 61204
• 代理人: 顧潮琪

1.一種基于輕量級深度學(xué)習(xí)網(wǎng)絡(luò)的文物分類方法，其特征在于，包括以下步驟：

S1，構(gòu)建面向文物圖像分類的原始圖像數(shù)據(jù)集；

S2，使用粗粒度聚類神經(jīng)網(wǎng)絡(luò)模型將原始數(shù)據(jù)集劃分成k個小數(shù)據(jù)集；利用所構(gòu)建的原始圖像數(shù)據(jù)集對粗粒度聚類模型進行監(jiān)督訓(xùn)練；

S3，分別訓(xùn)練與k個小數(shù)據(jù)集相對應(yīng)的分類器，獲得k個分類器；將原始圖像數(shù)據(jù)集作為分類器的輸入，根據(jù)分類器輸出特征得到文物圖像中文物類別的判別結(jié)果；

S4，利用能量預(yù)測模型來預(yù)測深度學(xué)習(xí)模型能否成功部署于資源有限的設(shè)備上，其中，代表整個神經(jīng)網(wǎng)絡(luò)的計算量，和分別表示第j個卷積層的輸入通道數(shù)和輸出通道數(shù)，第j個卷積層的輸入特征圖大小為K為卷積核大小，n為整個神經(jīng)網(wǎng)絡(luò)的卷積層數(shù)，R表示與計算量相關(guān)的能量消耗，α為計算量和能量消耗的轉(zhuǎn)換因子；將R值與資源有限設(shè)備的最大能耗進行比較，若設(shè)備最大能耗大于R則轉(zhuǎn)至步驟S5，否則轉(zhuǎn)至步驟S2，調(diào)整超參數(shù)α以及監(jiān)督訓(xùn)練中標(biāo)準(zhǔn)卷積和深度可分離卷積輸入輸出通道維數(shù)；

步驟S5：將模型部署到資源有限的設(shè)備上進行推理。

2.根據(jù)權(quán)利要求1所述的基于輕量級深度學(xué)習(xí)網(wǎng)絡(luò)的文物分類方法，其特征在于，所述的原始圖像數(shù)據(jù)集利用故宮博物館公開藏品DPM數(shù)據(jù)集和美國紐約大都會博物館公開藏品MET數(shù)據(jù)集構(gòu)建。

3.根據(jù)權(quán)利要求1所述的基于輕量級深度學(xué)習(xí)網(wǎng)絡(luò)的文物分類方法，其特征在于，所述的步驟S2利用機器學(xué)習(xí)技術(shù)將整個數(shù)據(jù)集進行聚類，得到k個簇，將其作為粗粒度聚類神經(jīng)網(wǎng)絡(luò)的偽標(biāo)簽；利用所構(gòu)建的原始圖像數(shù)據(jù)集對粗粒度聚類模型進行監(jiān)督訓(xùn)練，將文物圖像數(shù)據(jù)集劃分為k個小數(shù)據(jù)集，訓(xùn)練中文物圖像的真實標(biāo)簽為粗粒度聚類神經(jīng)網(wǎng)絡(luò)的偽標(biāo)簽；將粗粒度聚類神經(jīng)網(wǎng)絡(luò)獲得的特征圖輸入到softmax分類器，從而將文物圖像數(shù)據(jù)集劃分為k個小數(shù)據(jù)集；所述的監(jiān)督訓(xùn)練采用自定義神經(jīng)網(wǎng)絡(luò)模塊，操作步驟如下：

S221，采用1×1卷積核對輸入文物圖像的通道維數(shù)進行增強，獲得特征圖A1；

S222，對特征圖A1進行批量歸一化和非線性激活函數(shù)操作，獲得特征圖A2；

S223，將特征圖A2進行兩種方式特征提取，其中，執(zhí)行標(biāo)準(zhǔn)卷積獲得特征圖A3，采用深度可分離卷積獲得特征圖A4；

S224，對特征圖A3和特征圖A4均進行批量歸一化和非線性激活函數(shù)運算，并對其輸出的2個特征圖進行融合，獲得融合特征圖A5；

S225，采用1×1卷積核來降低融合特征圖A5的維數(shù)，獲得特征圖A6；

S226，將特征圖A6作為softmax分類器1的輸入，得到k個小數(shù)據(jù)集對應(yīng)的k維概率向量v_A＝(v_A,1,v_A,2,…,v_A,k)^T，其中v_A,i以表示文物圖像A屬于第i個小數(shù)據(jù)集的概率，i＝1,2,…,k，判斷文物圖像A屬于第I個小數(shù)據(jù)集，

4.根據(jù)權(quán)利要求1所述的基于輕量級深度學(xué)習(xí)網(wǎng)絡(luò)的文物分類方法，其特征在于，所述分類器的神經(jīng)網(wǎng)絡(luò)模塊操作步驟如下：

S31，采用1×1卷積核對輸入文物圖像的通道維數(shù)進行增強，獲得特征圖B1；

S32，對特征圖B1進行批量歸一化和非線性激活函數(shù)操作，獲得特征圖B2；

S33，將特征圖B2進行兩種方式進行特征提取，其中，執(zhí)行標(biāo)準(zhǔn)卷積獲得特征圖B3，采用深度可分離卷積獲得特征圖B4；

S34，對特征圖B3和特征圖B4均進行批量歸一化和非線性激活函數(shù)運算，并對其輸出的2個特征圖進行融合，獲得融合特征圖B5；

S35，采用1×1卷積核來降低融合特征圖B5的維數(shù)，獲得特征圖B6；

S36，將特征圖B6作為softmax分類器2的輸入，得到該小數(shù)據(jù)集對應(yīng)m種文物圖像類別的m維概率向量v_B＝(v_B,1,v_B,2,…,v_B,m)^T，其中v_B,m以表示文物圖像A屬于第j種文物圖像類別的概率，j＝1,2,…,m，判斷文物圖像A屬于第J種文物圖像類別，

5.根據(jù)權(quán)利要求1所述的基于輕量級深度學(xué)習(xí)網(wǎng)絡(luò)的文物分類方法，其特征在于，所述的超參數(shù)α，其比值限定在{0.125,0.25,0.5,0.75}。