[發(fā)明專利]一種基于染色體三等分特征點(diǎn)定位的交叉染色體圖像實(shí)例分割方法

有效

• 申請?zhí)枺?/td>: 202011275495.0
• 申請日: 2020-11-16
• 公開（公告）號: CN112365482B
• 公開（公告）日: 2022-05-03
• 發(fā)明（設(shè)計）人: 崔玉峰
• 申請（專利權(quán)）人: 上海北昂醫(yī)藥科技股份有限公司
• 主分類號: G06T7/00
• 分類號: G06T7/00;G06T7/10;G06V10/44;G06V10/764;G06V10/82;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 杭州創(chuàng)信知識產(chǎn)權(quán)代理有限公司 33383
• 代理人: 吳清珠

1.一種基于染色體三等分特征點(diǎn)定位的交叉染色體圖像實(shí)例分割方法，其特征在于，所述方法包括：

步驟1：對多張包含染色體原圖中的染色體實(shí)例進(jìn)行純色覆蓋，生成多張染色體掩碼圖，以此作為神經(jīng)網(wǎng)絡(luò)當(dāng)中染色體實(shí)例掩碼圖預(yù)測分支的樣本標(biāo)簽；

步驟2：將包含染色體實(shí)例的原圖劃分成S×S個網(wǎng)格，每個網(wǎng)格負(fù)責(zé)預(yù)測一個染色體實(shí)例，根據(jù)每個染色體的三等分特征點(diǎn)來將該染色體分配給不同的網(wǎng)格來預(yù)測該染色體實(shí)例的實(shí)例類別；

步驟3：將待處理的染色體原圖與標(biāo)注的染色體實(shí)例掩碼圖以及所有網(wǎng)格的預(yù)測類別組合制作成訓(xùn)練集，采用所設(shè)計的損失函數(shù)將模型在制作的訓(xùn)練集上對染色體實(shí)例分割網(wǎng)絡(luò)進(jìn)行訓(xùn)練，經(jīng)過多次迭代訓(xùn)練獲得有效的染色體實(shí)例分割模型；

步驟4：利用訓(xùn)練好的染色體實(shí)例分割模型對染色體圖像進(jìn)行推理，將需要進(jìn)行分割的染色體原圖輸入到模型當(dāng)中，經(jīng)過FPN提取染色體圖像特征，在三個尺度上分別輸出三個尺寸的張量來對特征進(jìn)行輸出；

步驟5：將FPN輸出的特征張量進(jìn)行自適應(yīng)下采樣操作，將每個特征張量中的特征進(jìn)行提取，輸出一個形狀為S×S×256的特征張量用于染色體實(shí)例類別的預(yù)測，采用尺寸為3×3的卷積核對獲得的特征張量進(jìn)行特征提取，最終輸出一個大小為S×S×C的特征張量來預(yù)測染色體實(shí)例類別；

步驟6：將FPN輸出的特征張量進(jìn)行上采樣，輸出一個形狀為H×W×(256+2)的特征張量來用于預(yù)測染色體實(shí)例掩碼圖，采用3×3大小的卷積核對該特征張量進(jìn)行七次卷積操作輸出一個形狀為H×W×S²的特征張量用于預(yù)測不同染色體實(shí)例的掩碼圖；

步驟7：結(jié)合輸出的染色體實(shí)例類別預(yù)測張量和染色體實(shí)例掩碼圖預(yù)測張量，采用非極大值抑制算法來篩選預(yù)測結(jié)果，合并重疊的染色體掩碼圖，最終確定染色體實(shí)例分割的結(jié)果。

2.根據(jù)權(quán)利要求1所述的一種基于染色體三等分特征點(diǎn)定位的交叉染色體圖像實(shí)例分割方法，其特征在于，在實(shí)例類別預(yù)測張量中，輸出一個形狀為S×S×C的張量來預(yù)測S×S個網(wǎng)格中可能存在的染色體實(shí)例類別，以此來預(yù)測在不同位置上可能存在的染色體實(shí)例類別，該分支網(wǎng)絡(luò)的輸出采用Focal Loss作為損失函數(shù)，染色體實(shí)例類別預(yù)測分支損失函數(shù)公式如下：

；

其中y表示實(shí)例類別標(biāo)簽值，表示模型預(yù)測的實(shí)例類別概率，參數(shù)λ是用于調(diào)整易分類樣本和難分類樣本的權(quán)重系數(shù)，參數(shù)α是用于調(diào)節(jié)不同實(shí)例樣本的比例的權(quán)重系數(shù)。

3.根據(jù)權(quán)利要求2所述的一種基于染色體三等分特征點(diǎn)定位的交叉染色體圖像實(shí)例分割方法，其特征在于，在染色體實(shí)例掩碼圖預(yù)測分支中，將x、y坐標(biāo)和原始特征連接起來，對空間信息進(jìn)行編碼；然后將該特征張量連接到輸入特征當(dāng)中并向下傳遞；若原特征張量的大小為H×W×D，則新特征張量的大小為H×W×(D+2)，其中后兩個通道為x、y像素坐標(biāo)特征；在推理過程中將特征圖上采樣到原圖大小，輸出一個形狀為H×W×S²的張量，以此來預(yù)測染色體實(shí)例的掩碼圖；掩碼預(yù)測分支損失函數(shù)公式如下，

；

其中N表示正樣本個數(shù)，k表示模型所預(yù)測的掩碼圖的編號，p^*_i,j表示模型預(yù)測第(i, j)個網(wǎng)格中可能存在實(shí)例目標(biāo)的概率，I表示指示函數(shù)，當(dāng)p^*_i,j＞0時I等于1，否則I等于0，m_k和m^*_k分別表示實(shí)例掩碼圖標(biāo)簽和模型預(yù)測的實(shí)例掩碼圖；d_mask采用了Diceloss損失函數(shù)來保證訓(xùn)練時模型能夠更好的收斂，其中d_mask的公式如下：

；

其中，m_x,y和g_x,y分別表示預(yù)測的染色體實(shí)例掩碼圖m和真實(shí)的實(shí)例掩碼圖g在坐標(biāo)(x,y)上的值；

采用大量染色體實(shí)例樣本來對所設(shè)計的深度學(xué)習(xí)模型進(jìn)行訓(xùn)練，獲得能夠?qū)崿F(xiàn)端到端的染色體實(shí)例分割模型。

4.根據(jù)權(quán)利要求3所述的一種基于染色體三等分特征點(diǎn)定位的交叉染色體圖像實(shí)例分割方法，其特征在于，模型訓(xùn)練的損失函數(shù)公式定義如下，其中γ為染色體實(shí)例類別和實(shí)例掩碼圖預(yù)測分支損失的權(quán)重系數(shù)：

；

將需要檢測的染色體圖像輸入到訓(xùn)練好的深度學(xué)習(xí)模型當(dāng)中，預(yù)測在第(i, j)個網(wǎng)格上可能存在的染色體實(shí)例類別概率P_i,j和其相應(yīng)的掩碼圖m_k，其中k=iS+j；

染色體類別預(yù)測和對應(yīng)的掩碼圖是通過它們的參考網(wǎng)格單元關(guān)聯(lián)起來，可以直接形成每個網(wǎng)格的最終實(shí)例分割結(jié)果。