[發(fā)明專利]一種基于雙注意力機制的卷積神經網絡的中藥種類識別方法

在審

• 申請?zhí)枺?/td>: 202210538035.5
• 申請日: 2022-05-18
• 公開（公告）號: CN114723745A
• 公開（公告）日: 2022-07-08
• 發(fā)明（設計）人: 張琪凱
• 申請（專利權）人: 南京工業(yè)大學;紹興蘭紅智能科技有限公司
• 主分類號: G06T7/00
• 分類號: G06T7/00;G06T7/11;G06T5/00;G06N3/08;G06N3/04
• 代理公司: 紹興市寅越專利代理事務所(普通合伙) 33285
• 代理人: 潘敏

1.一種基于雙注意力機制的卷積神經網絡的中藥種類識別方法，其特征在于，包括以下步驟：

(1)中藥樣本圖像采集：選取若干種已知中藥種類的中藥樣本，對各種類的中藥進行圖像采集，將任一樣本平鋪，通過手機拍攝獲取該樣本中藥的圖像n張；

(2)中藥樣本圖像處理：對任一樣本的n張圖像分別進行圖像分割和數(shù)據(jù)增強處理，獲取該樣本中藥的圖像庫；

(3)訓練中藥的類型品級識別模型：對各種已知中藥種類的中藥樣本分別執(zhí)行步驟(1)-步驟(2)的操作，獲得相應樣本的圖像庫，將各樣本中藥種類標簽與對應的圖像庫輸入基于雙注意力機制的卷積神經網絡模型進行訓練；

(4)中藥圖像識別：將待識別中藥平鋪，通過手機拍攝獲取待識別的中藥圖像，輸入至中藥的類型品級識別模型，獲取中藥類型品級的識別結果。

2.根據(jù)權利要求1所述的一種基于雙注意力機制的卷積神經網絡的中藥種類識別方法，其特征在于，在步驟(1)中，手機拍攝時，將中藥區(qū)域在手機屏幕居中，占據(jù)屏幕大小的3/4。

3.根據(jù)權利要求1所述的一種基于雙注意力機制的卷積神經網絡的中藥種類識別方法，其特征在于，在步驟(2)中，所述圖像分割的方法為：

將原始圖像轉化為灰度圖像，然后采用高斯濾波對灰度圖像進行去噪；對去燥后的灰度圖像二值化處理以獲得中藥區(qū)域的邊界，根據(jù)邊界對原始圖像進行裁剪，獲取邊界內的最大正方形作為裁剪的中藥圖像；以預設窗口和步長對裁剪的中藥圖像進行分割，獲得該中藥樣本分割后的若干張圖像數(shù)據(jù)。

4.根據(jù)權利要求3所述的一種基于雙注意力機制的卷積神經網絡的中藥種類識別方法，其特征在于，所述窗口尺寸為400*400或600*600中的任一種。

5.根據(jù)權利要求3所述的一種基于雙注意力機制的卷積神經網絡的中藥種類識別方法，其特征在于，所述步長為窗口邊長的1/3-2/3，將分割后的圖像部分重疊。

6.根據(jù)權利要求1所述的一種基于雙注意力機制的卷積神經網絡的中藥種類識別方法，其特征在于，在步驟(2)中，所述數(shù)據(jù)增強是對分割后的圖像數(shù)據(jù)進行翻轉、旋轉、縮放、加噪處理和亮度調節(jié)中的一種或多種操作。

7.根據(jù)權利要求1所述的一種基于雙注意力機制的卷積神經網絡的中藥種類識別方法，其特征在于，在步驟(3)中，所述卷積神經網絡模型進行訓練的方法為：

(31)通過特征提取網絡提取中藥圖像特征層X_k，共G組，k∈G；

(32)然后對中藥圖像特征通過雙注意力機制對卷積后的中藥圖像特征進行處理，對于每一組子特征層X_k,k∈G，都將通過兩種注意力機制生成不同的權重系數(shù)，子特征層將被劃分為兩部分X_k1,X_k2∈R^C/2G×H×W，一部分用于學習通道注意力特征，另一部分用于學習空間注意力特征；

(33)將步驟(31)獲取的中藥圖像特征和步驟(32)獲取的中藥圖像特征對應相乘進行融合并與中藥類別相對應；

(34)將步驟(33)獲取的細化中藥圖像特征反饋給神經網絡進一步學習，以更新神經網絡參數(shù)，重復步驟(31)-(34)，直到神經網絡的參數(shù)趨于穩(wěn)定，完成訓練。

8.根據(jù)權利要求7所述的一種基于雙注意力機制的卷積神經網絡的中藥種類識別方法，其特征在于，在步驟(31)中，所述特征提取網絡使用ResNet-50。