[發明專利]基于視頻摘要技術的膠囊內鏡關鍵病灶圖像檢測方法

在審

• 申請號: 202110610259.8
• 申請日: 2021-06-01
• 公開（公告）號: CN113379693A
• 公開（公告）日: 2021-09-10
• 發明（設計）人: 王新琪;溫濤;孫簫宇;于丹;來關軍
• 申請（專利權）人: 大連東軟教育科技集團有限公司
• 主分類號: G06T7/00
• 分類號: G06T7/00;G06T7/73;G06K9/00;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 大連東方專利代理有限責任公司 21212
• 代理人: 姜玉蓉;李洪福

1.一種基于視頻摘要技術的膠囊內鏡關鍵病灶圖像檢測方法，其特征在于包括：

對膠囊拍攝到的視頻圖像進行分幀處理保存每一幀圖像，并按拍攝時間順序組成圖像序列；

將視頻分幀后的圖像序列輸入至卷積神經網絡模型中從而獲得每一張圖像具有語義信息的特征向量；

采用視頻摘要技術自動獲取視頻中具有代表性的內鏡圖像，將該內鏡圖像定義為關鍵幀，計算幀間特征向量的相似性來識別突變幀，根據突變幀將視頻劃分為若干個緩變區間，根據突變幀與參考強干擾圖像相似度，濾除視頻中強干擾區間，從而得到過濾后的緩變區間；在各緩變區間中選擇有效的關鍵幀，最終組成關鍵幀序列；

采用深度學習目標檢測方法對關鍵幀序列進行病灶檢測與識別，并保存關鍵幀序列中所有檢出有病灶的圖像極其對應的病變檢測信息；

根據病變檢測信息獲取病變關鍵幀圖像的檢測信息，對病變關鍵幀圖像進行排序并顯示關鍵病變圖像。

2.根據權利要求1所述的方法，其特征在于：識別突變幀從而劃分視頻的緩變區間包括：

突變幀初始化：將輸入圖像序列中的第一幀圖像記為第一段緩變區間的突變幀，記為

獲取相鄰幀間變化：計算第t幀與t-1幀特征向量之間的余弦距離，記為D(f_t-1,f_t)；

獲取區間積累變化：計算第t幀與前一個突變幀特征向量之間的余弦距離，記為

結合上述兩種變化對應的特征相似度結果計算距離的加權和，得到該幀與第Ci段緩變區間圖像的相似度：

S(f_t)＝1-[α×D(f_t-1,f_t)+(1-α)×D(f_Ci,f_t)]

判斷當前幀是否與前一幀或前一段圖像幀具有明顯的畫面變化，將發生明顯變化的圖像幀記為突變幀，根據設定的相似度閾值判斷該幀是否為突變幀：當相似度大于第一閾值則該幀為突變幀，即新一段緩變區間的開始，記為第i+1段緩變區間的第一幀：當相似度小于第一閾值，則該幀不是突變幀，即在當前緩變區間中增加一幀，記為當前緩變區間i的第j+1張圖：表達式如下：

其中α為當前幀于前一幀的相似度在相似度度量所占比重，th為突變幀相似度判斷閾值，若當前幀為突變幀，將其特征向量記為f_C(i+1)。

3.根據權利要求2所述的方法，其特征在于：濾除視頻中強干擾區間時首先判斷突變幀圖像是否為強干擾圖像，由此推斷該幀所在的緩變區間是否為強干擾區間，具體采用如下方式：

從分幀后的圖像中選取干擾程度強的圖像，查詢圖像對應的特征向量作為強干擾參考特征向量，記為f_occluded；

計算關鍵幀圖像提取的特征向量與強干擾參考特征向量之間的余弦相似度：

D(f_C(i+1),f_occluded)

如果余弦相似度大于第二閾值則為強干擾圖像，則將該張突變幀圖像所在的緩變區間定義為強干擾區間。

4.根據權利要求3所述的方法，其特征在于：所述第二閾值小于第一閾值。

5.根據權利要求3所述的方法，其特征在于：獲取關鍵幀序列時：在一個緩變區間中，每隔10幀選擇一幀組成關鍵幀序列，設第i段緩變區間內共n幀，則緩變區間中的圖像序列表示為則第i段緩變區間中抽取的關鍵幀序列為：

式中[·]表示取整運算，返回不超過括號內計算結果的最大整數。

6.根據權利要求1所述的方法，其特征在于：對病變關鍵幀圖像進行排序時：

假設第i張病變關鍵幀圖像為Iⁱ，圖像內病灶總數為K，將第k個病灶記為病灶類型記為模型置信度

讀取病變圖像的病灶類型，將病變圖像分成不同類型病灶構成的子集；

對于各類型病灶組內的病變圖像，依據檢測信息計算代表性得分，返回各病灶類型的排序前m％的病變圖像，依據各關鍵病灶圖像的代表性性得分從大到小排列病變圖像，則第i張病灶圖像代表性得分記為C(Iⁱ),其計算方式如下：

式中P_th為預測概率閾值，當預測概率越高且預測概率大于閾值，病灶個數越多，該病灶圖像的代表性得分越高，排序越靠前。