[發明專利]基于VIT網絡的胃鏡圖片多標簽分類系統

在審

• 申請號: 202110640686.0
• 申請日: 2021-06-09
• 公開（公告）號: CN113096131A
• 公開（公告）日: 2021-07-09
• 發明（設計）人: 戴捷;李亮
• 申請（專利權）人: 紫東信息科技（蘇州）有限公司
• 主分類號: G06T7/00
• 分類號: G06T7/00;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 北京金訊知識產權代理事務所(特殊普通合伙) 11554
• 代理人: 黃劍飛

1.一種基于VIT網絡的胃鏡圖片多標簽分類系統，其包括：

樣本處理模塊，用于對樣本圖片預處理，得到處理后的樣本圖片；

模型構建模塊，用于構建基于VIT網絡的預設網絡模型，所述基于VIT網絡的預設網絡模型包括主干部分和分支部分，主干部分由多層VIT網絡和一個主干分類器構成，分支部分通過在主干部分除去最后一層的每個VIT層的輸出位置添加一個分支分類器構成，所述主干分類器和分支分類器可進行多標簽分類；

模型訓練模塊，用于將所述處理后的樣本圖片輸入所述預設網絡模型并利用預設的誤差函數進行訓練，得到分類模型；

分類模塊，用于設置分類模型的輸出閾值，得到設置后的分類模型，所述輸出閾值控制分類結果的提前輸出，所述設置后的分類模型用于對輸入的胃鏡圖片進行多標簽分類。

2.根據權利要求1所述的系統，其中所述的主干分類器和分支分類器分別由卷積層、池化層、VIT層和全連接層中的一種或多種構成，全連接層的個數和分類的總類別數一致。

3.根據權利要求1所述的系統，其中所述輸出閾值控制分類結果的提前輸出輸包括：當數據經過分支分類器時計算所有分類標簽的分類結果，并計算分類結果的不確定性程度值，當所有分類標簽的分類結果的不確定性程度值低于輸出閾值時就輸出分類結果并停止執行，否則繼續執行下層VIT網絡和分支分類器。

4.根據權利要求1所述的系統，其中胃鏡樣本圖片預處理方法包括：縮放裁剪處理、隨機水平翻轉處理，標準化處理之一或其任意組合。

5.根據權利要求2所述的系統，其中主干分類器和分支分類器進行多標簽分類的方法分別包括：

利用卷積層和池化層提取胃鏡樣本圖片特征；

復制樣本圖片特征為C份，其中C為總類別個數；

利用VIT層捕捉胃鏡樣本圖片中疾病類別之間的依賴關系并輸出C個類別特征；

利用全連接層的C個全連接操作分別解碼類別特征，輸出胃鏡樣本圖片的C個類別預測。

6.根據權利要求1所述的系統，其中所述預設的誤差函數包括訓練主干部分的誤差函數和訓練分支部分的誤差函數。

7.根據利要求6所述的系統，其中所述訓練主干部分的誤差函數為交叉熵函數，所述訓練分支部分的誤差函數為：

其中，和為第i個分支分類器的分類結果，為主干分類器的分類結果，j為訓練次數，為散度函數，L為所有分類器的個數。

8.根據權利要求1所述的系統，其中所述VIT網絡中，每層網絡包括用于獲取序列特征的多頭注意力層、用于非線性變換的前饋傳播層和兩個用于歸一化的加和標準化層；在每一層的多頭注意力層和前饋傳播層之前分別構建加和標準化層，前饋傳播層位于多頭注意力層之后，每一層VIT網絡的輸出直接作為下一層VIT網絡的輸入。

9.根據權利要求3所述的系統，其中所述分類結果不確定性程度值通過下述公式得出：

其中，N為分類器總數，為第i個分支分類器的分類結果。