[發明專利]基于深度殘差網絡的中藥飲片識別方法及系統

在審

• 申請號: 202110503467.8
• 申請日: 2021-05-10
• 公開（公告）號: CN113361564A
• 公開（公告）日: 2021-09-07
• 發明（設計）人: 宣琦;朱振強;朱城超;劉壯壯;鄭俊杰;翔云;邱君瀚
• 申請（專利權）人: 浙江工業大學
• 主分類號: G06K9/62
• 分類號: G06K9/62;G06N3/08
• 代理公司: 杭州天正專利事務所有限公司 33201
• 代理人: 王兵

1.基于深度殘差網絡的中藥飲片識別方法，其特征在于，包括以下步驟：

S1：數據采集：使用攝像頭和圖像網站采集常見的中藥飲片圖片，按照名稱分類保存；

S2：數據處理：對采集的原圖進行去重和篩選，并統一大小；

S3：模型訓練：將調整好的圖片作為模型數據集訓練中藥飲片分類網絡；

S4：數據識別：用訓練好的中藥飲片分類網絡對中藥飲片圖片進行識別。

2.如權利要求1所述的基于深度殘差網絡的中藥飲片識別方法，其特征在于：所述步驟S2具體包括：

S2.1：使用均值哈希算法，去除同一類別下重復的圖片；

S2.2：去除質量差的圖片，質量差的圖片包括：內容和名稱不符、模糊、分辨率過小等片；

S2.3：編寫圖像大小的調整程序，將所有圖像統一調整為224×224大小；

S2.4：編寫程序將所有圖片順序打亂，并將一部分圖像作為訓練集，余下的作為驗證集。

3.如權利要求1所述的基于深度殘差網絡的中藥飲片識別方法，其特征在于：所述步驟S3具體包括：

S3.1：所用的網絡模型基于ResNet50，但在每個block增加了由兩層全連接組成的通道注意力機制網絡，即先使用全局平均池化進行降維Squeeze操作，再使用升維Excitation操作生成相應通道的權重，最后將該權重應用于原來的每個特征通道，學習到不同通道的重要性；

S3.2：Squeeze操作具體包括，順著空間維度進行特征壓縮，將每個二維的特征通道變成一個實數，這個實數某種程度上具有全局的感受野，并且輸出的維度和輸入的特征通道數相匹配，如公式所示：

其中u_c表示u的第c個通道，z_c表示u_c全局平均池化的結果，H和W分別表示u_c的高度和寬度；

S3.3：Excitation操作結合sigmiod函數通過參數w為每個特征通道生成權重，w被學習用來顯式地建模特征通道間的相關性，如公式所示：

X_c＝F_scale(u_c,s_c)＝u_c·sigmoid(w_c) (2)；

其中Xc表示u_c結合了特征權重的結果，s_c表示權重w_c經過sigmiod函數處理的歸一化權重；

S3.4：所用網絡訓練的損失函數如下：

K是種類數量，y是標簽，即如果預測的類別是i，則y＝1，否則等于0，p是神經網絡的輸出，也就是指類別是i的概率。

4.如權利要求1所述的基于深度殘差網絡的中藥飲片識別方法，其特征在于：所述步驟S4具體包括：

S4.1：將中藥飲片圖片轉換成224×224大小，傳入訓練好的中藥飲片識別模型，經過模型預測置信度最高的結果，識別出中藥飲片名稱；

S4.2：在百度百科調取此飲片的詳細信息，并把信息展示給使用者。

5.實施權利要求1所述的基于深度殘差網絡的中藥飲片識別方法的系統，其特征在于：包括依次連接的數據獲取模塊，數據處理模塊，網絡訓練模塊和數據識別模塊；

所述數據獲取模塊，在常見的圖像搜索引擎中，獲取常見的中藥飲片，并按照中藥飲片的名稱自動分類保存圖像數據，同時使用攝像頭對現場采集的中藥飲片分類保存；

所述數據處理模塊，在已經獲取的圖像數據中去除重復和質量不佳的數據，并調整所有圖片的大小；

所述網絡訓練模塊所用的網絡模型基于ResNet50，但在每個block增加了由兩層全連接組成的通道注意力機制網絡，即先使用全局平均池化進行降維Squeeze操作，再使用升維Excitation操作生成相應通道的權重，最后將該權重應用于原來的每個特征通道，學習到不同通道的重要性，將數據劃分為訓練集和驗證集，分批輸入到網絡模型中，對模型進行訓練，多次迭代后直到模型訓練達到穩定，保存模型；

所述數據識別模塊，對需要識別的中藥飲片圖片輸入到訓練好的網絡模型中，得到識別出的中藥飲片名稱，并調取該飲片的百度百科信息，供使用者參考。