[發(fā)明專利]內(nèi)窺鏡圖像處理方法、裝置、電子設(shè)備及存儲(chǔ)介質(zhì)

在審

• 申請?zhí)枺?/td>: 202010076394.4
• 申請日: 2020-01-23
• 公開（公告）號: CN111311557A
• 公開（公告）日: 2020-06-19
• 發(fā)明（設(shè)計(jì)）人: 章子健;尚鴻;孫鐘前
• 申請（專利權(quán)）人: 騰訊科技（深圳）有限公司
• 主分類號: G06T7/00
• 分類號: G06T7/00;G06T3/40;H04N21/44
• 代理公司: 北京派特恩知識產(chǎn)權(quán)代理有限公司 11270
• 代理人: 劉暉銘;張穎玲

本發(fā)明提供了一種內(nèi)窺鏡圖像處理方法、裝置、電子設(shè)備及存儲(chǔ)介質(zhì)，方法包括：獲取內(nèi)窺鏡視頻流，其中，所述內(nèi)窺鏡視頻流攜帶原始內(nèi)窺鏡圖像；通過第一線程對相應(yīng)視頻幀中的原始內(nèi)窺鏡圖像進(jìn)行檢測，將所述原始內(nèi)窺鏡圖像的檢測結(jié)果傳輸至集成器；通過集成器根據(jù)所述原始內(nèi)窺鏡圖像的檢測結(jié)果，形成控制指令；響應(yīng)于所述控制指令，通過第二線程對所述第二線程中的輸出結(jié)果進(jìn)行調(diào)整。本發(fā)明可以實(shí)現(xiàn)通過并行的第一線程與第二線程，控制輸出結(jié)果與內(nèi)窺鏡視頻流的使用環(huán)境相匹配，提升對內(nèi)窺鏡圖像處理的實(shí)時(shí)精確率、提高實(shí)時(shí)召回率。

技術(shù)領(lǐng)域

本發(fā)明涉及醫(yī)療圖像處理技術(shù)，尤其涉及基于人工智能技術(shù)的內(nèi)窺鏡圖像處理方法、裝置、電子設(shè)備及存儲(chǔ)介質(zhì)。

背景技術(shù)

基于深度學(xué)習(xí)所進(jìn)行的各類別識別，一直以來都是各應(yīng)用場景下解決大量數(shù)據(jù)分的重要工具。例如，在圖像、自然語言處理等應(yīng)用場景中，對大量數(shù)據(jù)所實(shí)現(xiàn)的大規(guī)模分類和識別，以此來快速準(zhǔn)確的獲得相關(guān)的分類預(yù)測結(jié)果，加速所在應(yīng)用場景的功能實(shí)現(xiàn)。

其中，醫(yī)療影像的各種圖像在不斷產(chǎn)生，例如，隨著內(nèi)窺鏡在消化道內(nèi)的不斷拍攝而不斷產(chǎn)生，進(jìn)而成為大量數(shù)據(jù)，亟待需要借助于分類預(yù)測的執(zhí)行實(shí)現(xiàn)大規(guī)模分類和識別。

但是，現(xiàn)有實(shí)時(shí)視頻流(如結(jié)腸內(nèi)窺鏡視頻流)目標(biāo)檢測解決方案通常集成一個(gè)準(zhǔn)確度較高的目標(biāo)檢測模型(如Retina Net、FasterRCNN、YOLO等各類目標(biāo)檢測算法)，均為將視頻流中的圖像幀依次輸入到模型進(jìn)行目標(biāo)檢測。但是由于模型的處理速度有限，模型處理速度并不能夠與實(shí)時(shí)視頻流速度匹配(大部分檢測模型并不能跟上實(shí)時(shí)視頻的幀率)，影響了模型的輸出效果。

發(fā)明內(nèi)容

有鑒于此，本發(fā)明實(shí)施例提供一種內(nèi)窺鏡圖像處理方法、裝置、電子設(shè)備及存儲(chǔ)介質(zhì)，能夠?qū)崿F(xiàn)通過并行的第一線程和第二線程對原始內(nèi)窺鏡圖像進(jìn)行處理，使得所輸出結(jié)果與內(nèi)窺鏡視頻流的使用環(huán)境相匹配。

本發(fā)明實(shí)施例的技術(shù)方案是這樣實(shí)現(xiàn)的：

本發(fā)明實(shí)施例提供了一種內(nèi)窺鏡圖像處理方法，所述方法包括：

獲取內(nèi)窺鏡視頻流，其中，所述內(nèi)窺鏡視頻流攜帶原始內(nèi)窺鏡圖像；

通過第一線程對相應(yīng)視頻幀中的原始內(nèi)窺鏡圖像進(jìn)行檢測，將所述原始內(nèi)窺鏡圖像的檢測結(jié)果傳輸至集成器；

通過集成器根據(jù)所述原始內(nèi)窺鏡圖像的檢測結(jié)果，形成控制指令；

響應(yīng)于所述控制指令，通過第二線程對所述第二線程中的輸出結(jié)果進(jìn)行調(diào)整，以實(shí)現(xiàn)所述輸出結(jié)果與所述內(nèi)窺鏡視頻流的使用環(huán)境相匹配，其中，所述第一線程與所述第二線程為并行線程。

本發(fā)明實(shí)施例還提供了一種內(nèi)窺鏡圖像處理方法，所述方法包括：

內(nèi)窺鏡圖像處理裝置獲取內(nèi)窺鏡發(fā)送的內(nèi)窺鏡視頻流，其中，所述內(nèi)窺鏡視頻流攜帶原始內(nèi)窺鏡圖像，用于對目標(biāo)對象的相應(yīng)病灶進(jìn)行窺測；

所述內(nèi)窺鏡圖像處理裝置通過第一線程對相應(yīng)視頻幀中的原始內(nèi)窺鏡圖像進(jìn)行檢測，將所述原始內(nèi)窺鏡圖像的檢測結(jié)果傳輸至集成器；

所述內(nèi)窺鏡圖像處理裝置通過集成器根據(jù)所述原始內(nèi)窺鏡圖像的檢測結(jié)果，形成控制指令；

所述內(nèi)窺鏡圖像處理裝置響應(yīng)于所述控制指令，通過第二線程對所述第二線程中的輸出結(jié)果進(jìn)行調(diào)整，以實(shí)現(xiàn)所述輸出結(jié)果與所述內(nèi)窺鏡視頻流的使用環(huán)境相匹配，其中，所述第一線程與所述第二線程為并行線程；

所述內(nèi)窺鏡圖像處理裝置根據(jù)所述第二線程中經(jīng)過調(diào)整的輸出結(jié)果，向與所述目標(biāo)對象相接觸的醫(yī)療設(shè)備發(fā)送相應(yīng)的目標(biāo)內(nèi)窺鏡圖像幀，并由所述醫(yī)療設(shè)備輸出相應(yīng)的目標(biāo)內(nèi)窺鏡圖像幀。

本發(fā)明實(shí)施例還提供了一種內(nèi)窺鏡圖像處理裝置，所述裝置包括：