[發(fā)明專利]基于視頻摘要技術(shù)的膠囊內(nèi)鏡關(guān)鍵病灶圖像檢測(cè)方法

在審

• 申請(qǐng)?zhí)枺?/td>: 202110610259.8
• 申請(qǐng)日: 2021-06-01
• 公開（公告）號(hào): CN113379693A
• 公開（公告）日: 2021-09-10
• 發(fā)明（設(shè)計(jì)）人: 王新琪;溫濤;孫簫宇;于丹;來(lái)關(guān)軍
• 申請(qǐng)（專利權(quán)）人: 大連東軟教育科技集團(tuán)有限公司
• 主分類號(hào): G06T7/00
• 分類號(hào): G06T7/00;G06T7/73;G06K9/00;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 大連東方專利代理有限責(zé)任公司 21212
• 代理人: 姜玉蓉;李洪福

本發(fā)明公開了一種基于視頻摘要技術(shù)的膠囊內(nèi)鏡關(guān)鍵病灶圖像檢測(cè)方法，包括：對(duì)膠囊拍攝到的視頻圖像進(jìn)行分幀處理保存每一幀圖像，并按拍攝時(shí)間順序組成圖像序列；將視頻分幀后的圖像序列輸入至預(yù)訓(xùn)練的特征提取模型中從而獲得每一張圖像具有語(yǔ)義信息的特征向量；通過(guò)計(jì)算幀間特征向量的相似性識(shí)別突變幀，根據(jù)突變幀將視頻劃分為若干個(gè)緩變區(qū)間，根據(jù)畫面變化幀與參考強(qiáng)干擾圖像相似度，濾除視頻中強(qiáng)干擾區(qū)間，從而得到過(guò)濾后的緩變區(qū)間，在各緩變區(qū)間中選擇關(guān)鍵幀，最終組成關(guān)鍵幀序列；采用深度學(xué)習(xí)目標(biāo)檢測(cè)技術(shù)對(duì)關(guān)鍵幀序列進(jìn)行病灶檢測(cè)與識(shí)別，并保存關(guān)鍵幀序列中所有檢出有病灶的圖像極其對(duì)應(yīng)的病變檢測(cè)信息；根據(jù)病變檢測(cè)信息獲取病變關(guān)鍵幀圖像的檢測(cè)信息，對(duì)病變關(guān)鍵幀圖像進(jìn)行排序并顯示關(guān)鍵病變圖像。

技術(shù)領(lǐng)域

本發(fā)明涉及圖像處理領(lǐng)域，尤其涉及一種基于視頻摘要技術(shù)的膠囊內(nèi)鏡關(guān)鍵病灶圖像檢測(cè)方法。

背景技術(shù)

無(wú)線膠囊內(nèi)鏡是近年來(lái)引進(jìn)的胃腸道檢查新技術(shù)，該技術(shù)檢查過(guò)程無(wú)痛，且不存在檢測(cè)盲區(qū)。膠囊通過(guò)口腔進(jìn)入腸胃，隨著腸胃自然蠕動(dòng)，膠囊攝像頭捕捉胃腸道內(nèi)的彩色圖像，通過(guò)無(wú)線傳輸給數(shù)據(jù)記錄裝置。然而，閱片醫(yī)生需要從患者龐大的內(nèi)鏡圖像中尋找出血點(diǎn)、息肉、潰瘍、糜爛等病理特征，對(duì)一位患者視頻的檢查常常需要花費(fèi)2-3小時(shí)時(shí)間，診斷效率較低。對(duì)于多個(gè)病例的連續(xù)檢查過(guò)程冗長(zhǎng)枯燥，極大地降低了臨床醫(yī)生的使用意愿，而且視覺疲勞易引起漏檢。人工判讀的低效率，影響了膠囊內(nèi)鏡的大規(guī)模使用，在一定程度上制約了臨床上的普及和發(fā)展。因此尋找一種快速篩選機(jī)制，使得醫(yī)生在不必瀏覽全部視頻的前提下，自動(dòng)提取攜帶醫(yī)生感興趣信息的視頻圖像供醫(yī)生進(jìn)一步診斷，對(duì)于減輕醫(yī)生的診斷負(fù)擔(dān)，提高醫(yī)生的診斷效率是十分重要的。

深度學(xué)習(xí)在圖像識(shí)別等領(lǐng)域取得了成功，深度學(xué)習(xí)技術(shù)逐漸應(yīng)用于醫(yī)學(xué)圖像領(lǐng)域?；谏疃葘W(xué)習(xí)的目標(biāo)檢測(cè)算法目前發(fā)展較為成熟，如yolo、faster-rcnn等模型，現(xiàn)有技術(shù)將深度學(xué)習(xí)的目標(biāo)檢測(cè)算法應(yīng)用于多樣性強(qiáng)的病灶檢測(cè)問(wèn)題中。但是，一方面，膠囊內(nèi)鏡視頻時(shí)長(zhǎng)大約在8小時(shí)左右，膠囊在腸道內(nèi)的運(yùn)動(dòng)緩慢且非勻速，有可能長(zhǎng)時(shí)間停留在一個(gè)位置，連續(xù)拍攝的圖像重復(fù)性高，且沒有增加新的信息量。現(xiàn)有病灶檢測(cè)技術(shù)對(duì)視頻的每一幀都進(jìn)行了檢測(cè)，檢測(cè)的方法效率低，會(huì)包含連續(xù)幀呈現(xiàn)的同一個(gè)病灶圖像，檢測(cè)結(jié)果冗余。另一方面，小腸部位的影像相比于胃部，具有更復(fù)雜的環(huán)境，如食物殘?jiān)?、渾濁腸液、殘?jiān)馀莸龋貏e是與殘?jiān)卣飨嗨频恼衬儯自斐刹≡畹恼`檢；

對(duì)于視頻摘要生成的現(xiàn)有技術(shù)來(lái)說(shuō)，有一類方法是利用聚類算法進(jìn)行視頻關(guān)鍵幀選取，將聚類中心的圖像作為視頻關(guān)鍵幀。由于腸道內(nèi)采集圖像相似度高，此類方法的缺陷在于會(huì)將時(shí)間相隔較遠(yuǎn)，不同部位的圖像聚集在一起，使得摘要中丟失了處于腸道不同部位的關(guān)鍵信息幀，不能全面地展現(xiàn)患者的腸道病情。有改進(jìn)方法是先將視頻劃分成若干個(gè)等間隔的區(qū)間，再對(duì)區(qū)間內(nèi)的圖像幀進(jìn)行聚類。但是，由于膠囊在腸道內(nèi)是非勻速運(yùn)動(dòng)，實(shí)際情況下的視頻關(guān)鍵幀間隔不是均勻分布的，因此區(qū)間間隔參數(shù)難以人工設(shè)定，不適用于實(shí)際應(yīng)用。另一類方法是根據(jù)膠囊內(nèi)鏡圖像特征進(jìn)行幀間差測(cè)定，根據(jù)相鄰幀之間特征的相似度判定圖像為關(guān)鍵幀或非關(guān)鍵幀。在特征提取技術(shù)上，現(xiàn)有方法主要通過(guò)設(shè)計(jì)膠囊內(nèi)鏡圖像的一種普適特征。對(duì)于胃腸道內(nèi)鏡影像，常用特征主要包括顏色直方圖、梯度、形狀特征、紋理特征等。此類方法的缺陷在于，由于拍攝視角和距離的不同，以及患者之間腸道環(huán)境的多樣性，因此，僅通過(guò)低級(jí)圖像特征進(jìn)行圖像全局表示的魯棒性較差。

發(fā)明內(nèi)容

根據(jù)現(xiàn)有技術(shù)存在的問(wèn)題，本發(fā)明公開了一種基于視頻摘要技術(shù)的膠囊內(nèi)鏡關(guān)鍵病灶圖像檢測(cè)方法，具體包括如下步驟：

對(duì)膠囊拍攝到的視頻圖像進(jìn)行分幀處理保存每一幀圖像，并按拍攝時(shí)間順序組成圖像序列；

將視頻分幀后的圖像序列輸入至卷積神經(jīng)網(wǎng)絡(luò)模型中從而獲得每一張圖像具有語(yǔ)義信息的特征向量；