[發明專利]一種病理圖像的分類系統、終端及計算機可讀存儲介質

有效

• 申請號: 202110472466.1
• 申請日: 2021-04-29
• 公開（公告）號: CN113239993B
• 公開（公告）日: 2022-12-16
• 發明（設計）人: 胡和平;劉文迪;周華邦;謝巧華;鄒珊珊;王芃;李曉燕;汪慧
• 申請（專利權）人: 中國人民解放軍海軍軍醫大學第三附屬醫院
• 主分類號: G06V10/764
• 分類號: G06V10/764;G06V10/82;G06V10/774;G06N3/04;G06N3/08;G16H30/00;G16H70/60
• 代理公司: 上海申浩律師事務所 31280
• 代理人: 冀海英

1.一種病理圖像的分類系統，其特征在于，包括：

微視野集模塊，所述微視野集模塊用于從組織切片病理圖像上隨機選取數量為m個大小為h×w的圖像塊，組成一微視野集；

訓練模塊，所述訓練模塊用于基于所述微視野集訓練疾病分類模型和/或預后估計模型；以及

預測模塊，所述預測模塊用于在待分類的組織切片病理圖像上隨機提取大小為h×w，數量滿足m的整數倍的圖像塊，利用疾病分類模型進行疾病類型預測，和/或，利用預后估計模型進行預后預測；

所述訓練模塊進一步包括：

標簽模塊，所述標簽模塊用于將一微視野集賦予該病理圖像所屬病人的標簽y，在疾病分類模型中，y為病人的疾病分類，所述疾病分類包括正常情況和疾病類型；在預后估計模型中，y為病人的預后信息，所述預后信息包括生存時間和生存狀態；

骨干網絡模塊，所述骨干網絡模塊用于設計一基于卷積神經網絡的模型并使用所述基于卷積神經網絡的模型提取微視野集中m個圖像塊的圖像塊特征并使用池化網絡計算圖像塊特征得到特征編碼，計算公式如下：

E_ij＝f(X_ij)，

其中，Eij代表第ij圖像塊的特征編碼，f(X)為卷積神經網絡模型的變換模型公式，輸入的X_ij為第i張病理圖像微視野集中的第j個隨機圖像塊，輸出為特征編碼Eij；

特征集成模塊，所述特征集成模塊用于將一個微視野集中的所有圖像塊的特征編碼轉換為一個定長向量，即編碼向量E，以此用來表示病理圖像或病人層次的信息，所述特征集成模塊包括歸一化模塊、特征向量模塊和編碼向量模塊：

(1)歸一化模塊，所述歸一化模塊用于獲得L2歸一化后的向量：所述特征集成模塊學習K個不同的聚類中心，并將m個圖像塊的特征投影到這個K個聚類中心，并對每一維度上的特征值進行殘差加權求和，獲得編碼矩陣V(j,k)，加權求和的計算公式為：

其中，V(j,k)表示編碼矩陣(j,k)位置的值，w_k,b_k和c_k表示集成模塊中每個聚類中心的可學習參數，x_i(j)和c_k(j)分別表示第i個圖像塊與第k個聚類中心的特征在第j維上的值；

將編碼矩陣V(j,k)進行逐列L2歸一化的公式為:

其中為V(j,k)中第i列歸一化后的向量，為V(j,k)中第i列原始向量，表示向量的第j個元素的平方；

(2)特征向量模塊，所述特征向量模塊用于獲得特征向量X：得到編碼矩陣V(j,k)后，將編碼矩陣V(j,k)列向量拼接到一起，形成一個長度為K×D的長向量，并按照本實施步驟(1)中的L2歸一化公式將其進行歸一化，然后將其輸入一個全連接層，并得到1×d維的特征向量X；以及

(3)編碼向量模塊，所述編碼向量模塊用于獲得編碼向量E：在得到該特征向量X后，將特征向量X輸入一層加權神經網絡以對不同特征賦予不同的權重，計算公式為：

其中，W,b為可學習參數，σ(·)表示softmax函數，符號表示向量對應位置相乘，E為最終輸出的病理圖像層次的編碼向量；

批訓練模塊，所述批訓練模塊用于在訓練時，使用批訓練的方式，即輸入n個來自不同病理圖像的大小為m的微視野集，在獲得每一張病理圖像的編碼向量E后，使用多層全連接的神經網絡進行預測以獲得預測值以及

更新模塊，所述更新模塊用于在獲得預測值后，構建基于預測值與真實值間距離的度量損失函數，然后利用梯度下降算法進行輸入端到輸出端的模型參數更新以更新疾病分類模型或預后估計模型中的參數；

其中，對于疾病分類，損失函數為

其中，n為病理圖像數，c為類別總數，y_ij為第i張病理圖像的真實類別，為第i張病理圖像在第j類上的預測值；

其中，對于預后估計，損失函數為

其中，X_i為第i個病人的輸入特征，β為預測模型的權重，C_i＝i表示第i個病人為死亡病人，θ_j為第j個病人的風險值。