[發明專利]一種基于Mask RCNN網絡的骨肉瘤和骨軟骨瘤預測方法

在審

• 申請號: 202110253569.9
• 申請日: 2021-03-09
• 公開（公告）號: CN113052799A
• 公開（公告）日: 2021-06-29
• 發明（設計）人: 夏國慶;潘君;王敏;吳桓;冉天飛
• 申請（專利權）人: 重慶大學
• 主分類號: G06T7/00
• 分類號: G06T7/00;G06T7/62;G06T7/11;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 暫無信息
• 代理人: 暫無信息

本發明涉及一種基于Mask RCNN網絡的骨肉瘤和骨軟骨瘤的預測方法，該方法包括以下步驟：(1)基于患者群的X線平片，采集骨肉瘤和骨軟骨瘤的原始數據；(2)將dicom格式的原始數據轉換為JPG格式，對轉換后的圖像利用標注軟件labelme進行手動標注，形成數據集。標注分為骨肉瘤和骨軟骨瘤兩種。(3)用COCO公開數據集及標注后的數據集，訓練基于Mask RCNN的實例分割模型。(4)將預測模型生成的分割掩碼輸出給去重疊模塊，后者的作用是用來有效消除預測結果中有預測重疊的區域。(5)經過去重疊模塊之后，再輸出給去異類模塊，后者的作用緩解預測結果中同時有兩種腫瘤出現的現象。(6)將經過兩次后處理篩選模塊的分割掩碼輸出給投影面積計算模塊，后者的作用計算出識別區域的實際投影面積。本發明通過人工智能，識別X線平片上的骨肉瘤和骨軟骨瘤，并計算其實際投影面積。成本低，易學，且具有較高的自動化程度和準確性。

技術領域

本發明屬于計算機視覺深度學習和醫學圖像處理領域，涉及圖像識別和實例分割技術，特別涉及一種基于Mask RCNN網絡的骨肉瘤和骨軟骨瘤檢測系統方法。

背景技術

隨著經濟飛速發展，人們生活水平不斷提高，科學技術不斷進步，醫療健康已經成為全社會的熱點問題。

現代醫療系統中，相比于大量的就診病人，放射科醫生數量少，這樣造成他們的工作量大，診斷周期長；且放射科醫生要面對全科的醫學圖像，需要的知識面寬，有難度。在高強度和難度的圖像診斷工作中，人工難免會出現錯誤，這時可能會耽誤病人的治療，甚至是進行錯誤地治療。因此，人工醫學診斷存在耗時、耗力、可能出現錯誤等問題。針對這一現狀，發明一種具有可接受正確率、低成本、效率高、易推廣的智能診斷方法在一定程度上代替人工工作，將會節約很多的人力、物力和財力。

近年來，隨著計算機視覺深度學習的不斷進步，基于卷積神經網絡的深度學習技術得到極大的發展。其中，何凱明團隊在2015年提出的目標檢測模型Faster RCNN在物體檢測中已達到非常好的性能，Mask R-CNN在此基礎上更進一步：得到像素級別的檢測結果。對每一個目標物體，不僅給出其邊界框，并且對邊界框內的各個像素是否屬于該物體進行標記。

在Mask RCNN中，Mask網絡的加入，使Mask RCNN不僅能處理物體檢測問題，還能處理語義分割問題。Mask RCNN將Roi Pooling層替換成了RoiAlign,并添加并列的FCN層(mask層)，同時添加特征提取網絡改為了ResNet50+FPN，以強化提取特征的能力。

發明內容

針對現有技術中的以上缺陷或改進需求，本發明提供的一種基于Mask RCNN網絡的骨肉瘤和骨軟骨瘤預測方法，解決現有放射科醫生診斷費時費力的問題。其目的在于，通過采集患者群的骨軟骨瘤和骨肉瘤的X線平片醫學圖像形成數據集，利用Mask RCNN模型進行病癥特征識別，然后通過去重疊模塊、異類模塊提高識別結果的準確率，最后通過投影面積計算模塊，得到識別區域的實際平鋪面積。

為了達到上述發明目的，本發明采用的技術方案為：一種基于Mask RCNN網絡的骨肉瘤和骨軟骨瘤檢測系統方法，具體步驟如下：

步驟(1)：構建用于檢測骨肉瘤和骨軟骨瘤的深度神經網絡模型，包括實例分割模塊、去重疊模塊、去異類模塊和投影面積計算模塊。

其中，實例分割模塊基于Mask RCNN,用于識別骨肉瘤和骨軟骨瘤的語義掩碼，給出識別腫瘤類別(骨肉瘤或骨軟骨瘤)、識別區域和置信度；

去重疊模塊是根據語義掩碼的預測結果，判斷有重疊區域的像素是否超過了設置的閥值，如果是，則保留識別區域較大的語義掩碼，去重疊模塊能夠有效消除對同一目標有多個預測區域的現象。

去異類模塊是根據語義掩碼中的預測置信度，將置信度低的語義掩碼剔除，能有效緩解預測結果中有同時兩種腫瘤出現的現象。

投影面積計算模塊用于根據預測的語義掩碼，計算識別區域的平鋪面積。