[發(fā)明專利]一種基于Mask RCNN網(wǎng)絡(luò)的骨肉瘤和骨軟骨瘤預(yù)測方法

在審

• 申請?zhí)枺?/td>: 202110253569.9
• 申請日: 2021-03-09
• 公開（公告）號: CN113052799A
• 公開（公告）日: 2021-06-29
• 發(fā)明（設(shè)計）人: 夏國慶;潘君;王敏;吳桓;冉天飛
• 申請（專利權(quán)）人: 重慶大學(xué)
• 主分類號: G06T7/00
• 分類號: G06T7/00;G06T7/62;G06T7/11;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 暫無信息
• 代理人: 暫無信息

1.一種基于Mask RCNN網(wǎng)絡(luò)的骨肉瘤和骨軟骨瘤預(yù)測方法，具體步驟如下，其特征在于，

步驟(1)：構(gòu)建用于檢測骨肉瘤和骨軟骨瘤的深度神經(jīng)網(wǎng)絡(luò)模型，包括實例分割模塊、去重疊模塊、去異類模塊和投影面積計算模塊。

其中，實例分割模塊是基于Mask RCNN構(gòu)建的用于識別骨肉瘤和骨軟骨瘤的語義掩碼；

去重疊模塊是根據(jù)語義掩碼的預(yù)測結(jié)果，判斷有重疊區(qū)域的像素是否超過了設(shè)置的閥值，如果是，則保留識別區(qū)域較大的語義掩碼；

去異類模塊是根據(jù)語義掩碼中的預(yù)測置信度，將置信度低的語義掩碼剔除；

投影面積計算模塊用于根據(jù)預(yù)測的語義掩碼，計算識別區(qū)域的平鋪面積。

步驟(2)：對基于Mask RCNN的實例分割模塊進(jìn)行訓(xùn)練，包括:

步驟(2.1)、采集患者群的骨軟骨瘤和骨肉瘤的X線平片醫(yī)學(xué)圖像，形成原始數(shù)據(jù)集；

步驟(2.2)、將醫(yī)學(xué)圖像的dicom格式原始數(shù)據(jù)轉(zhuǎn)換為JPG格式，用標(biāo)注軟件labelme在圖像上分別標(biāo)注骨肉瘤和骨軟骨瘤標(biāo)簽，獲得包括原始圖像和其對應(yīng)標(biāo)簽的json文件。將數(shù)據(jù)集隨機(jī)分為訓(xùn)練集、驗證集和測試集，比例為7:1:2；

步驟(2.3)、利用深度學(xué)習(xí)中的遷移學(xué)習(xí)思想，用COCO公開數(shù)據(jù)集的權(quán)重，對Mask RCNN初始化。使用訓(xùn)練集進(jìn)行訓(xùn)練，訓(xùn)練過程中，每個epoch使用驗證集進(jìn)行驗證。如果驗證曲線收斂，則進(jìn)入步驟(3)；否則，返回步驟(2.1)，擴(kuò)大原始數(shù)據(jù)庫，并重新做標(biāo)簽，重復(fù)訓(xùn)練及驗證過程；

步驟(3)：使用測試集測試Mask RCNN模型的預(yù)測效果。

2.如權(quán)利要求1所述的基于Mask RCNN網(wǎng)絡(luò)的骨肉瘤和骨軟骨瘤的預(yù)測方法，其特征在于，步驟(1)中，為了賦予模型多角度X線平片的普適性，降低模型的損失值，在模型的數(shù)據(jù)集中包含了不同視角的圖片數(shù)據(jù)。

3.如權(quán)利要求1所述的基于Mask RCNN網(wǎng)絡(luò)的骨肉瘤和骨軟骨瘤預(yù)測方法，其特征在于，步驟(2)中，制作原始數(shù)據(jù)的標(biāo)簽時，標(biāo)注種類分為兩種，分別是骨肉瘤、骨軟骨瘤。

4.如權(quán)利要求1所述的基于Mask RCNN網(wǎng)絡(luò)的骨肉瘤和骨軟骨瘤預(yù)測方法，其特征在于，步驟(2.3)中，Mask RCNN模型采用ResNet-50網(wǎng)絡(luò)+特征金字塔網(wǎng)絡(luò)作為特征提取器，用于從原始圖片中提取圖像的低級特征和高級特征。通過這個過程，它允許每一級的特征都可以和高級、低級特征互相結(jié)合；這些特征輸入?yún)^(qū)域建議網(wǎng)絡(luò)，生成建議區(qū)域。之后將建議區(qū)域?qū)R池化，識別出語義掩碼。

5.如權(quán)利要求4所述的基于Mask RCNN網(wǎng)絡(luò)的骨肉瘤和骨軟骨瘤預(yù)測方法，其特征在于，區(qū)域建議網(wǎng)絡(luò)中使用了錨點，可以將不同尺寸的輸入調(diào)整成為相同尺寸的輸出,使得任意大小的特征圖都能夠轉(zhuǎn)換成固定大小的特征向量。

6.如權(quán)利要求1所述的基于Mask RCNN網(wǎng)絡(luò)的骨肉瘤和骨軟骨瘤預(yù)測方法，其特征在于，步驟(2.3中)Mask RCNN網(wǎng)絡(luò)的損失函數(shù)L如下：

L＝Lcls+Lbox+Lmask

其中，Lcls、Lbox、Lmask分別表示分類、回歸、語義預(yù)測的損失函數(shù)。其數(shù)值為損失值。

7.如權(quán)利要求1所述的基于Mask RCNN網(wǎng)絡(luò)的骨肉瘤和骨軟骨瘤預(yù)測方法，其特征在于，包括X線平片裝置和處理器，以及按照權(quán)利要求1～6任意一項所述的圖像智能預(yù)測方法進(jìn)行訓(xùn)練及驗證后獲得的，用于檢測骨肉瘤和骨軟骨瘤的深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)模型程序模塊；所述處理器調(diào)用所述深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)模型程序模塊對所述X線平片裝置預(yù)測的圖像進(jìn)行分析，從而識別病人是否患有骨肉瘤或骨軟骨瘤。