[發(fā)明專利]基于Mask RCNN實例分割的SEM圖像分子篩粒徑統(tǒng)計方法和系統(tǒng)

在審

• 申請?zhí)枺?/td>: 202110070200.4
• 申請日: 2021-01-19
• 公開（公告）號: CN112651989A
• 公開（公告）日: 2021-04-13
• 發(fā)明（設計）人: 杜文莉;錢鋒;彭鑫;鐘偉民;楊明磊
• 申請（專利權(quán)）人: 華東理工大學
• 主分類號: G06T7/194
• 分類號: G06T7/194;G06T7/11;G06K9/32;G06K9/34;G06K9/46;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 上海專利商標事務所有限公司 31100
• 代理人: 施浩

1.一種基于Mask RCNN實例分割的SEM圖像分子篩粒徑統(tǒng)計方法，其特征在于，方法包括：

步驟一：獲取掃描電子顯微鏡圖像，即SEM圖像，以及相應的操作文件，構(gòu)建相應的SEM圖像樣本庫；

步驟二：對步驟一構(gòu)建的SEM圖像樣本庫中的原始圖像進行實例分割標注，構(gòu)建SEM圖像實例分割數(shù)據(jù)集；

步驟三：構(gòu)建Mask RCNN實例分割模型；

步驟四：利用步驟二得到的SEM圖像實例分割數(shù)據(jù)集對步驟三構(gòu)建的Mask RCNN實例分割模型進行訓練及參數(shù)調(diào)整；

步驟五：利用步驟四訓練后的Mask RCNN實例分割模型完成對SEM圖像樣本的分子篩實例分割；

步驟六：根據(jù)步驟五得到的SEM圖像分子篩實例分割的結(jié)果計算SEM圖像中分子篩粒徑大小，從而實現(xiàn)對分子篩粒徑的統(tǒng)計。

2.根據(jù)權(quán)利要求1所述的基于Mask RCNN實例分割的SEM圖像分子篩粒徑統(tǒng)計方法，其特征在于，步驟一進一步包括：

先將SEM圖像以及相應的操作文件按照實驗批次整理到相應文件夾下，再對整理結(jié)果做簡單篩選，包括剔除圖像信息缺失或操作文件信息缺失的樣本；

其中SEM圖像及相應的操作文件產(chǎn)生于對相關(guān)分子篩的掃描電子顯微鏡操作過程，SEM圖像以灰度圖像為主但不限于灰度圖像，操作文件中具有相應的比例尺信息。

3.根據(jù)權(quán)利要求1所述的基于Mask RCNN實例分割的SEM圖像分子篩粒徑統(tǒng)計方法，其特征在于，步驟二進一步包括：

首先，在步驟一所構(gòu)建的SEM圖像樣本庫中，隨機選取用于構(gòu)建有標簽的樣本，將所有樣本分為訓練集和測試集；

然后，對SEM圖像中的分子篩采用多邊形的方式標注其輪廓，在標注過程中對SEM中分子篩進行分類；

最后，完成實例分割標注的標簽存儲為json文件且以圖片為基準，將所有圖片的json文件統(tǒng)一轉(zhuǎn)化成為COCO數(shù)據(jù)集格式的json文件并與對應的SEM圖像對應歸置。

4.根據(jù)權(quán)利要求1所述的基于Mask RCNN實例分割的SEM圖像分子篩粒徑統(tǒng)計方法，其特征在于，步驟三構(gòu)建的模型中設置的多分支神經(jīng)網(wǎng)絡包括帶有特征金字塔網(wǎng)絡的ResNet101特征提取網(wǎng)絡、區(qū)域提議網(wǎng)絡、感興趣區(qū)域?qū)印⒎诸惻c邊框分支、掩碼分支，特征金字塔網(wǎng)絡用于提高實例分割網(wǎng)絡的整體分割精度。

5.根據(jù)權(quán)利要求4所述的基于Mask RCNN實例分割的SEM圖像分子篩粒徑統(tǒng)計方法，其特征在于，主干特征提取網(wǎng)絡采用ResNet101和特征金字塔網(wǎng)絡相結(jié)合的形式，設置輸出通道n維；其中ResNet101表示隱藏層數(shù)為101的殘差神經(jīng)網(wǎng)絡且去掉全連接層，特征金字塔網(wǎng)絡在ResNet101特征提取網(wǎng)絡的各個階段特征的基礎(chǔ)上引入由高層特征下采樣而得到的強語義信息，使得ResNet101網(wǎng)絡的各個階段特征在保留相應分辨率的基礎(chǔ)上兼具有較強的語義信息；

區(qū)域提議網(wǎng)絡與主干網(wǎng)絡共享特征提取網(wǎng)絡，添加全連接網(wǎng)絡推斷候選區(qū)域位置信息和前景背景分類，并采用非最大抑制去除重疊的區(qū)域提議；

感興趣區(qū)域?qū)硬捎肦OI Align從主干特征提取網(wǎng)絡和區(qū)域提議網(wǎng)絡獲取候選區(qū)域特征并向分類與邊框分支輸出7×7的采樣特征，向掩碼分支輸出14×14的采樣特征；

分類與邊框分支由卷積神經(jīng)網(wǎng)絡實現(xiàn)，利用卷積神經(jīng)網(wǎng)絡對經(jīng)過ROIAlign處理后的候選區(qū)域進行分子篩類別分類與邊框回歸；

掩碼分支由全卷積神經(jīng)網(wǎng)絡實現(xiàn)，利用全卷積神經(jīng)網(wǎng)絡對經(jīng)過ROI Align處理后的候選區(qū)域進行掩碼回歸；

在圖像預處理過程中將圖像進行統(tǒng)一放縮。