[發(fā)明專利]基于強化學(xué)習(xí)和深度神經(jīng)網(wǎng)絡(luò)的病理圖像自動標(biāo)注方法

有效

• 申請?zhí)枺?/td>: 201910915086.3
• 申請日: 2019-09-26
• 公開（公告）號: CN110659692B
• 公開（公告）日: 2023-04-18
• 發(fā)明（設(shè)計）人: 楊夢寧;郭喬楠;王壯壯;陳海玲;呂楊帆
• 申請（專利權(quán)）人: 重慶大學(xué);中國人民解放軍陸軍軍醫(yī)大學(xué)第二附屬醫(yī)院
• 主分類號: G06V10/762
• 分類號: G06V10/762;G06V10/774;G06V10/82;G06N3/0464;G06N3/08;G06T7/11;G16H30/20
• 代理公司: 重慶晟軒知識產(chǎn)權(quán)代理事務(wù)所(普通合伙) 50238
• 代理人: 王海鳳

1.基于強化學(xué)習(xí)和深度神經(jīng)網(wǎng)絡(luò)的病理圖像自動標(biāo)注方法，其特征在于，包括以下步驟：

步驟S1：采用預(yù)設(shè)規(guī)則對染色標(biāo)準(zhǔn)化的原始病理圖像進(jìn)行多尺度超像素劃分，并標(biāo)記所述超像素的上皮概率閾值；

所述超像素劃分采用SILC算法，其具體步驟如下：

初始化種子點：按照設(shè)定的超像素個數(shù)，在所述原始病理圖像內(nèi)均勻的分配初始種子點；

在所述初始種子點的n*n鄰域內(nèi)重新選擇二次種子點；

在每個二次種子點周圍的鄰域內(nèi)為每個像素點分配類標(biāo)簽；

距離度量：對于每個搜索到的像素點，分別計算它和該二次種子點的距離；

迭代優(yōu)化；

增強連通性；

其中，距離度量包括顏色距離和空間距離，距離計算方法如下：

d_c代表顏色距離，d_s代表空間距離，N_s是類內(nèi)最大空間距離，定義為N_s＝S＝sqrt(N/K)，適用于每個聚類；

最大的顏色距離N_c既隨圖片不同而不同，也隨聚類不同而不同，取一個固定常數(shù)m代替，最終的距離度量D′如下：

步驟S2：采用預(yù)設(shè)方法構(gòu)建所述超像素分類訓(xùn)練集，構(gòu)成測試圖像，具體步驟如下：獲取所述超像素的外接矩形；

計算所述超像素外接矩形的幾何中心，具體步驟如下：

對超像素的二值圖像進(jìn)行拓?fù)浞治觯_定邊界的圍繞關(guān)系，找到最外邊界即為超像素的輪廓；

根據(jù)cv2.boundingRect(c)函數(shù)，c為所述超像素的輪廓，得到矩形的左上點和右下點，確定超像素的外接矩形；

其中，計算所述超像素外接矩形的幾何中心還包括以下步驟：

在超像素外接矩形內(nèi)，截取規(guī)定尺寸的超像素塊，并計算所需超像素塊的左上角坐標(biāo)(x_，y_)；

x_＝x-round[(roi_size-x_len)/2]；

y_＝y(tǒng)-round[(roi_size-y_len)/2]；

其中，roi_size是我們預(yù)先規(guī)定的超像素尺寸，為128*128，x、y為超像素外接矩形的左上角坐標(biāo)，x_len和y_len分別為超像素外接矩形的邊長；

以所述超像素的幾何中心向四周取方塊，遇到邊界則反方向取，具體步驟如下：

如果x_+roi_size和y_+roi_size沒有超過圖像邊界，直接以超像素中心向橫豎各取roi_size大小的像素；

如果x_+roi_size或y_+roi_size有超過圖像邊界的，直接從邊界處向回取roi_size大小的像素；

如果x_或y_本身有超過圖像邊界的，直接從起始邊界處向橫豎取roi_size大小的像素；

其中，所有超像素尺寸相同，90％的超像素作為訓(xùn)練集，10％的超像素作為驗證集；

步驟S3：采用基于機(jī)器學(xué)習(xí)方法訓(xùn)練步驟S1與步驟S2標(biāo)記后的所述超像素得到學(xué)習(xí)模型，所述學(xué)習(xí)模型對所述測試圖像中的超像素進(jìn)行分類，并由病理醫(yī)生對分類結(jié)果給予獎勵和懲罰，將獎勵和懲罰結(jié)果反饋給所述學(xué)習(xí)模型，所述學(xué)習(xí)模型通過獎懲機(jī)制重新做出調(diào)整，循環(huán)直至所述學(xué)習(xí)模型達(dá)到最優(yōu)，獲得所述原始病理圖像中組織區(qū)域的標(biāo)注信息；

步驟S3采用基于機(jī)器學(xué)習(xí)方法訓(xùn)練步驟S1與步驟S2標(biāo)記后的所述超像素得到學(xué)習(xí)模型還包括以下步驟：

卷積過程：采用一個可訓(xùn)練的濾波器f_x去卷積一個輸入圖像，第一階段得到是輸入圖像，后面階段得到是卷積特征map，然后再加一個偏置b_x，得到卷積層C_x；

子采樣過程：鄰域四個像素求和得到一個總像素，然后通過標(biāo)量W加權(quán)，再增加偏置b，然后再通過一個sigmoid激活函數(shù)，產(chǎn)生一個縮小四倍的特征映射圖S_x+1；

其中，卷積層C_x計算公式為：C_x＝f_x(W,input)+b_x；

特征映射圖S_x+1計算公式為：S_x+1＝sigmoid[W·(x_i,j+x_i+1,j+x_i,j+1+x_i+1,j+1)+b]；

步驟S4：采用預(yù)先制定的方法構(gòu)建端到端標(biāo)注模型的訓(xùn)練集；

步驟S5：采用基于深度神經(jīng)網(wǎng)絡(luò)的端到端學(xué)習(xí)，自動對組織區(qū)域標(biāo)注分割；

步驟S6：構(gòu)建標(biāo)注模型，具體包括：確定mean-IOU作為目標(biāo)函數(shù)；

求解所述目標(biāo)函數(shù)，得到使目標(biāo)函數(shù)值最小的標(biāo)注模型；

其中，所述目標(biāo)函數(shù)的計算公式為：

IoU為產(chǎn)生的候選框與原標(biāo)記框的交疊率；

步驟S7：使用預(yù)先配置好的真實數(shù)據(jù)對構(gòu)建的所述標(biāo)注模型進(jìn)行測試。