[發明專利]一種基于USFaster R-CNN的甲狀腺超聲圖像結節自動定位識別方法

在審

• 申請號: 201910594057.1
• 申請日: 2019-07-03
• 公開（公告）號: CN110490892A
• 公開（公告）日: 2019-11-22
• 發明（設計）人: 蔡慶玲;孫瑋;梁偉霞;何鴻奇;林進可
• 申請（專利權）人: 中山大學
• 主分類號: G06T7/136
• 分類號: G06T7/136
• 代理公司: 44104 廣州知友專利商標代理有限公司
• 代理人: 李海波<國際申請>=<國際公布>=<進入

1.一種基于USFaster R-CNN的甲狀腺超聲圖像結節自動定位識別方法，其特征在于，包括以下步驟：

(1)首先對甲狀腺超聲圖像進行預處理，截取出待處理區域，去除超聲圖像中與甲狀腺圖像無關信息，用圖像標注工具labelImg，根據診斷醫生的標記以及診斷報告框出超聲圖像中的甲狀腺結節，并進行結節種類的標注，制作成xml文件作為訓練集的ground true標簽，然后去除圖像中的診斷醫生的人工標注，以免影響對網絡的訓練效果，最后將超聲圖像以及對應的xml文件分成訓練集，驗證集和測試集；

(2)用大型數據集ImageNet數據集預先訓練已經搭建好的USFaster R-CNN深度神經網絡，得到訓練好的網絡參數，然后在用甲狀腺超聲圖像訓練集訓練網絡時將預先訓練好的網絡參數遷移到USFaster R-CNN網絡中，這樣使得網絡收斂得更快并且具有更強的泛化能力；

(3)當初步訓練好網絡模型后使用驗證集對訓練的超參數進行微調和優化，使模型達到最好的識別和定位效果；

(4)將待識別與定位的甲狀腺超聲圖像，即測試集，讀取到USFaster R-CNN網絡，實現甲狀腺結節的自動定位與識別。

2.根據權利要求1所述的一種基于USFaster R-CNN的甲狀腺超聲圖像結節自動定位識別方法，其特征在于，步驟(1)中所述去除圖像中的診斷醫生的人工標記，使用閾值分割將圖像二值化，計算二值圖像的所有四連通區域并排序，其中像素點大于閾值的連通區域即是需要找的人工標記區域，然后采用雙線性插值算法將連通區域進行插值，達到去除人工標記的目的。

3.根據權利要求2所述的一種基于USFaster R-CNN的甲狀腺超聲圖像結節自動定位識別方法，其特征在于，所述閾值為10～20。

4.根據權利要求1所述的一種基于USFaster R-CNN的甲狀腺超聲圖像結節自動定位識別方法，其特征在于，步驟(2)中所述USFaster R-CNN深度神經網絡，包括底層卷積特征提取網絡，候選框生成網絡，特征圖池化層、分類和候選框回歸網絡。

5.根據權利要求4所述的一種基于USFaster R-CNN的甲狀腺超聲圖像結節自動定位識別方法，其特征在于，所述底層卷積特征提取網絡的結構為：采用4個卷積層，每個卷積層后都跟隨1層最大池化層，前三個卷積層各有2層卷積，第四個卷積層有3層卷積，同時設計一個特征拼接層，首先將第三層的兩層卷積疊加起來，再通過一個1*1的卷積層升維的輸出與第四層卷積的結果拼接后輸出作為特征提取網絡的總輸出，得到帶有甲狀腺超聲圖像信息的特征圖。

6.根據權利要求4所述的一種基于USFaster R-CNN的甲狀腺超聲圖像結節自動定位識別方法，其特征在于，所述候選框生成網絡在超聲圖像上生成的候選框數量為(W/8*H/8)*9，其中W，H分別為超聲圖像的寬和高，候選框的尺寸的邊長為64,128和256，三種比例分別為1:1,1:2和2:1。

7.根據權利要求4所述的一種基于USFaster R-CNN的甲狀腺超聲圖像結節自動定位識別方法，其特征在于，所述特征圖池化層、分類和候選框回歸網絡之間加入一個1*1*128的卷積層，在降低參數的同時可以增加網絡的非線性，提高擬合效果。

8.根據權利要求1所述的一種基于USFaster R-CNN的甲狀腺超聲圖像結節自動定位識別方法，其特征在于，步驟(3)中所述的超參數是：學習率為0.0001～0.01，迭代次數為2000～50000次。

9.根據權利要求1所述的一種基于USFaster R-CNN的甲狀腺超聲圖像結節自動定位識別方法，其特征在于，步驟(4)中，IOU>0.5時，同時分類結果與ground true標簽一致，則認為實現定位與識別正確。