[發明專利]基于深度學習的膠囊內窺鏡影像識別方法、設備及介質

有效

• 申請號: 202110010379.4
• 申請日: 2021-01-06
• 公開（公告）號: CN112348125B
• 公開（公告）日: 2021-04-02
• 發明（設計）人: 張行;張皓;袁文金;張楚康;劉慧;黃志威
• 申請（專利權）人: 安翰科技（武漢）股份有限公司
• 主分類號: G06K9/62
• 分類號: G06K9/62;G06N3/04
• 代理公司: 蘇州威世朋知識產權代理事務所(普通合伙) 32235
• 代理人: 蘇婷婷

1.一種基于深度學習的膠囊內窺鏡影像識別方法，其特征在于，所述方法包括：

通過膠囊內窺鏡按照時間生成順序收集N幅原始圖像；

采用滑動窗口分割方法將N幅原始圖像分割為大小相同的M組原始圖像序列；

解析N幅原始圖像或解析M組RGB圖像序列形成M組光流圖像；

每一所述RGB圖像序列由RGB格式的圖像數據構成，每一所述光流圖像序列由通過計算相鄰RGB圖像的光流場所形成的圖像數據構成；

將所述RGB圖像序列和所述光流圖像序列分別輸入到3D卷積神經網絡模型以輸出識別結果；所述識別結果為預設參數出現的概率值；

所述3D卷積神經網絡模型包括：RGB支路和光流支路；自處理流程的先后順序排布，所述3D卷積神經網絡模型包括：7*7*7的3D卷積層，3*3*3的3D池化層，至少1個協同時空特征結構，3D池化層，全連接層;

其中，將所述RGB圖像序列和所述光流圖像序列分別輸入到3D卷積神經網絡模型以輸出識別結果，包括：

將RGB圖像序列輸入RGB支路進行計算以輸出第一分類概率；

將光流圖像序列輸入光流支路進行計算以輸出第二分類概率；

對所述第一分類概率和所述第二分類概率進行融合形成所述識別結果；

；

，

;

其中,分別表示構建3D卷積神經網絡模型過程中，驗證集分別在RGB支路和光流支路的識別精度;

第一協同時空卷積層處理數據的流程包括：

將其入口輸入特征圖分解為三個視圖，分別以、和表示，

配置三個視圖的輸出特征分別以、和表示，則：

其中，為的輸入數據，為輸入特征圖的尺寸，為輸入特征圖的通道數，表示三維卷積，表示卷積濾波核；

對三組輸入數據進行加權求和得到第一協同時空卷積層的輸出：

其中，為尺寸的系數，且使用softmax進行歸一化，為輸出的通道數，數字3表示三個視圖。

2.根據權利要求1所述的基于深度學習的膠囊內窺鏡影像識別方法，其特征在于，采用滑動窗口分割方法將N幅原始圖像分割為大小相同的M組原始圖像序列，包括：

依據時間生成順序為N幅原始圖像進行編號，其依次為1，2，……N；

以預設窗口大小K，預設滑動步長S依次分割N幅圖像，將其劃分為M組原始圖像序列，其中，。

3.根據權利要求1所述的基于深度學習的膠囊內窺鏡影像識別方法，其特征在于，3D卷積神經網絡模型的訓練方式包括：

將預訓練的2D識別模型中尺寸為的2D卷積核參數復制N遍;所述的2D識別模型通過有病灶標簽的圖像訓練獲得，其輸入為單幀圖像，且只能對單幀圖像進行識別；

將復制后的各核參數分別除以N，使得每一位置的核參數為原來的1/3;

將新的核參數重新組合形成尺寸為的卷積核參數，以構成3D卷積神經網絡模型中3D卷積核的初始化參數；

利用隨機梯度下降法訓練參數初始化后的3D卷積神經網絡模型，迭代更新模型的參數，直到滿足迭代停止條件，形成用于輸出識別結果的所述3D卷積神經網絡模型。

4.根據權利要求1所述的基于深度學習的膠囊內窺鏡影像識別方法，其特征在于，所述協同時空特征結構的數量為P個，P∈（4，16）；

自輸入至輸出的處理流程的先后順序排布，所述協同時空特征結構包括：第一協同時空卷積層，第一歸一化層，激活層；以及與第一協同時空卷積層，第一歸一化層，激活層并行執行、且從所述協同時空特征結構輸入到輸出的快連接。

5.根據權利要求4所述的基于深度學習的膠囊內窺鏡影像識別方法，其特征在于，自輸入至輸出的處理流程的先后順序排布，所述協同時空特征結構還包括：處于激活層之后的第二協同時空卷積層，第二歸一化層。

6.一種電子設備，包括存儲器和處理器，所述存儲器存儲有可在所述處理器上運行的計算機程序，其特征在于，所述處理器執行所述程序時實現權利要求1-5任意一項所述基于深度學習的膠囊內窺鏡影像識別方法中的步驟。

7.一種計算機可讀存儲介質，其上存儲有計算機程序，其特征在于，所述計算機程序被處理器執行時實現權利要求1-5任意一項所述基于深度學習的膠囊內窺鏡影像識別方法中的步驟。