[發明專利]一種深度學習的兒童超聲心動圖標準切面識別方法及裝置

在審

• 申請號: 202010625258.6
• 申請日: 2020-07-02
• 公開（公告）號: CN111915562A
• 公開（公告）日: 2020-11-10
• 發明（設計）人: 趙列賓;張玉奇;王成;王蘊衡;馬驍杰;吳蘭萍;洪雯靜;陳麗君;董斌;王漢松;李昂;俞益洲
• 申請（專利權）人: 杭州深睿博聯科技有限公司;北京深睿博聯科技有限責任公司;上海深睿博聯醫療科技有限公司
• 主分類號: G06T7/00
• 分類號: G06T7/00;G06K9/32;G06K9/62;G06N3/04
• 代理公司: 北京天方智力知識產權代理事務所(普通合伙) 11719
• 代理人: 白凱園

本發明提供了一種深度學習的兒童超聲心動圖標準切面識別方法及裝置，其中方法包括：獲取超聲心動圖，對超聲心動圖進行預處理，得到多幀超聲心動圖圖像；提取對多幀超聲心動圖圖像的感興趣區域；利用經典的殘差網絡ResNet對感興趣區域像進行特征提取，得到感興趣區域的切面特征；將感興趣區域的切面特征按照預設類別進行分類，得到分類結果；對分類結果進行平滑后處理，得到處理后的分類結果；生成并顯示超聲心動圖對應的特征熱力圖。不僅大大縮短心彩超醫生操作時間、加快醫生診斷速度，更能有效減少人為觀察引起的誤診。

技術領域

本發明涉及計算機領域，尤其涉及一種深度學習的兒童超聲心動圖標準切面識別方法及裝置。

背景技術

超聲心動圖對先天性心臟病的診斷正確率與操作醫生技術水平密切相關，一名優秀的心彩超醫生，不僅具備高水平的操作技巧、圖像識別和解讀能力，更要對先心病各病種具有整體理解力。由于技術水平要求高、人才培養周期長，我國人口基數大，兒科醫生緊缺；兒童心血管疾病的超聲診斷存在就醫難、就醫貴、就醫效果差的惡劣狀態；在經濟不發達的邊遠地區這一矛盾更為突出。因此能夠快速自動識別出超聲心動圖中標準切面的需求逐漸提升。

深度學習方法已經廣泛地應用于計算機視覺領域。其中依靠深度學習網絡提取醫學圖像特征并分類達到了很好的效果。在心臟超聲領域，Ali Madani等人嘗試使用修改的VGG網絡對成人的12個超聲心動圖和3個靜態切面進行分類(Ali.Madani,Ramy A.,et al.:Fast and accurate view classification of echocardiograms using deeplearning.In:Proc.nature.(2018))，但僅限于灰度圖像，并沒有對彩超進行處理。另外論文中的標準切面并不全面，無法在實際應用中達到實時檢測的效果。此外兒童心臟結構和成人存在差異，需要設計新的超聲切面分類方式才能達到實時自動檢測的效果。

現有超聲切面的分類針對于成人超聲圖像，采用改進后的VGG網絡。主要存在三點問題。一是切面分類并不完善，沒有考慮彩色超聲圖像。二是成人超聲標準切面不能完全適用于兒童。三是原有模型輸入和VGG模型比較簡單，提取圖像特征的能不強，沒有實現實時切面檢測的結果。

發明內容

本發明旨在提供一種克服上述問題或者至少部分地解決上述問題的深度學習的兒童超聲心動圖標準切面識別方法及裝置。

為達到上述目的，本發明的技術方案具體是這樣實現的：

本發明的一個方面提供了一種深度學習的兒童超聲心動圖標準切面識別方法，包括：獲取超聲心動圖，對超聲心動圖進行預處理，得到多幀超聲心動圖圖像；提取對多幀超聲心動圖圖像的感興趣區域；利用經典的殘差網絡ResNet對感興趣區域像進行特征提取，得到感興趣區域的切面特征；將感興趣區域的切面特征按照預設類別進行分類，得到分類結果；對分類結果進行平滑后處理，得到處理后的分類結果；生成并顯示超聲心動圖對應的特征熱力圖。

其中，預設類別包括：27種類別的切面；27種類別的切面包括：連續波頻譜、主動脈血流頻譜、肺動脈血流頻譜、二尖瓣血流頻譜、三尖瓣血流頻譜、降主動脈血流頻譜、其他血流頻譜、主動脈M型、左心室短軸M型、其他M型、劍突下房間隔額狀切面、劍突下房間隔矢狀切面、劍突下四腔心切面、劍突下左室短軸切面、劍突下右室流出道切面、胸骨旁左室長軸切面、胸骨旁主動脈短軸切面、胸骨旁肺動脈切面、胸骨旁左室短軸切面、低位胸骨旁四腔心切面、低位胸骨旁五腔心切面、心尖四腔心切面、心尖五腔心切面、胸骨上窩主動脈弓切面、雙幅、其他標準切面和非標準切面。

其中，對分類結果進行平滑后處理，得到處理后的分類結果包括：將當前幀的預測結果與前N幀預測結果相結合，采用多數投票算法對當前幀預測結果進行矯正，得到處理后的分類結果。

其中，N＝4。

其中，方法還包括：對熱力圖與分類結果進行比對。