[發明專利]腸鏡圖像病變識別方法、裝置、電子設備及存儲介質

有效

• 申請號: 202211465954.0
• 申請日: 2022-11-22
• 公開（公告）號: CN115731189B
• 公開（公告）日: 2023-06-23
• 發明（設計）人: 田亮;趙昱森;趙衍博;劉京;陳棟;郭聰
• 申請（專利權）人: 河北師范大學
• 主分類號: G06T7/00
• 分類號: G06T7/00;G06V10/40;G06V10/764;G06V10/774;G06V10/80;G06V10/82;G06N3/04;G06N3/08
• 代理公司: 河北國維致遠知識產權代理有限公司 13137
• 代理人: 秦春芳

1.一種腸鏡圖像病變識別方法，其特征在于，包括：

采用DINO算法對初始ViT網絡進行預訓練，得到訓練后的ViT網絡；

通過腸鏡檢測器獲取原始圖像，基于所述訓練后的ViT網絡對所述原始圖像進行特征提取，得到注意力圖；

將所述注意力圖和所述原始圖像進行特征融合，得到待識別圖像；

基于RetinaNet網絡對所述待識別圖像進行息肉和憩室識別，根據識別結果在所述原始圖像上進行分類標注和目標框標注，以使顯示器顯示帶有分類標注和目標框標注的原始圖像；

其中，所述初始ViT網絡包括同構的student網絡和teacher網絡；所述采用DINO算法對初始ViT網絡進行預訓練，得到訓練后的ViT網絡，包括：

步驟1：對訓練集中的訓練圖片進行數據增強處理，得到第一圖片和第二圖片；所述第一圖片和所述第二圖片為進行不同數據增強處理后得到的圖片；

步驟2：將所述第一圖片分別輸入所述student網絡和所述teacher網絡，得到第一輸出；將所述第二圖片分別輸入所述student網絡和所述teacher網絡，得到第二輸出；

步驟3：根據所述第一輸出和所述第二輸出計算損失值；

步驟4：根據所述損失值更新所述student網絡的網絡參數；

步驟5：基于更新后的student網絡的網絡參數和所述teacher網絡的網絡參數，采用指數滑動平均法更新所述teacher網絡的網絡參數；

步驟6：判斷網絡參數更新后的初始ViT網絡是否收斂，若是，則訓練結束，將網絡參數更新后的teacher網絡作為訓練后的ViT網絡；若否，則將網絡參數更新后的初始ViT網絡作為新的初始ViT網絡，并重復步驟1至步驟6，直至網絡參數更新后的新的初始ViT網絡收斂。

2.根據權利要求1所述的腸鏡圖像病變識別方法，其特征在于，所述基于所述訓練后的ViT網絡對所述原始圖像進行特征提取，得到注意力圖，包括：

對所述原始圖像進行圖像分塊處理，得到維度為1的token?embedding序列；

基于所述訓練后的ViT網絡對所述token?embedding序列進行多頭注意力計算，得到多個子注意力圖；

根據預設指示信息確定所述多個子注意力圖中的預設數量的候選子注意力圖；

對所述預設數量的候選子注意力圖進行拼接處理，得到注意力圖。

3.根據權利要求1所述的腸鏡圖像病變識別方法，其特征在于，所述將所述注意力圖和所述原始圖像進行特征融合，得到待識別圖像，包括：

將所述注意力圖對應的矩陣和所述原始圖像對應的矩陣進行對位相加，得到待識別圖像。

4.根據權利要求1所述的腸鏡圖像病變識別方法，其特征在于，所述RetinaNet網絡包括骨干網絡、特征金字塔網絡和預測頭；

所述基于RetinaNet網絡對所述待識別圖像進行息肉和憩室識別，包括：

基于所述骨干網絡對所述待識別圖像進行多尺度特征提取，得到多尺度特征；

基于所述特征金字塔網絡對所述多尺度特征進行特征融合，得到融合后的特征；

基于所述預測頭，根據所述融合后的特征對所述待識別圖像進行息肉和憩室識別，得到所述待識別圖像對應的分類標簽和目標框的位置與大小。

5.根據權利要求4所述的腸鏡圖像病變識別方法，其特征在于，所述根據識別結果在所述原始圖像上進行分類標注和目標框標注，包括：

根據所述分類標簽在所述原始圖像上進行分類標注；

根據所述目標框的位置和大小在所述原始圖像上進行目標框標注。