[發(fā)明專利]一種面向樣本不均衡的不合格免疫組化圖像識別系統(tǒng)

在審

• 申請?zhí)枺?/td>: 202310235648.6
• 申請日: 2023-03-13
• 公開（公告）號: CN116612311A
• 公開（公告）日: 2023-08-18
• 發(fā)明（設計）人: 張金波;郭曉雷;曹雨齊;葛維挺;侯迪波
• 申請（專利權）人: 浙江大學
• 主分類號: G06V10/764
• 分類號: G06V10/764;G06V10/774;G06V10/82;G06N3/0464;G06N3/08
• 代理公司: 杭州求是專利事務所有限公司 33200
• 代理人: 邱啟旺

本發(fā)明公開了一種面向樣本不均衡的不合格免疫組化圖像識別系統(tǒng)，包括：圖像增強模塊，對原始圖像進行垂直水平翻轉(zhuǎn)、隨機平移、隨機裁減、色域抖動和/或隨機亮度增減；圖像識別模塊，將增強后的圖片輸入EfficientNet卷積神經(jīng)網(wǎng)絡中，通過若干移動翻轉(zhuǎn)瓶頸卷積模塊提取圖像特征，經(jīng)過全連接層和Softmax激活函數(shù)，并基于Focal?Loss損失函數(shù)，得到不合格免疫組化圖像的識別結果。本發(fā)明系統(tǒng)采用圖像數(shù)據(jù)增強方法擴增樣本量，并使用Focal?Loss損失函數(shù)讓EfficientNet卷積神經(jīng)網(wǎng)絡更關注難分類樣本，提升上皮或癌少以及位點缺失的圖像的識別準確率。

技術領域

本發(fā)明涉及數(shù)字病理圖像和計算機領域，具體涉及一種面向樣本不均衡的不合格免疫組化圖像識別系統(tǒng)。

背景技術

在結直腸癌的免疫組化圖像中，除了質(zhì)量合格、可以正常評分的圖像以外，還包含位點缺失和上皮或癌少這兩類質(zhì)量不合格圖像。位點缺失是因為在制作免疫組化切片時部分位點的組織切片脫落導致的。上皮或癌少的含義是所取的組織切片中可用于有效判斷的上皮或癌組織太少，只有上皮表達的P53蛋白才對判斷腫瘤惡性程度有意義。這兩類圖像都是切片制作質(zhì)量不合格所導致的，無法從這兩類圖像中判斷患者的病變情況，因此進行免疫組化評分是沒有意義的，不能達到診斷的效果。此外，位點缺失和上皮或癌少這兩類不合格圖像相比合格圖像樣本量較少，這種樣本不平衡會導致訓練圖像識別模型時傾向于樣本數(shù)量多的類別，而輕視樣本數(shù)量少的類別，使得模型對位點缺失和上皮或癌少的圖像識別能力較差。

因此，亟需提出一種在包含位點缺失和上皮或癌少不合格圖像的不均衡樣本情況下的不合格免疫組化圖像識別系統(tǒng)以檢出這兩類質(zhì)量不合格的圖像，提示研究人員對應重新制作患者的組織切片。

發(fā)明內(nèi)容

鑒于此，本發(fā)明提供了一種面向樣本不均衡的不合格免疫組化圖像識別系統(tǒng)。

本發(fā)明解決其技術問題所采用的技術方案是：

本發(fā)明實施例提供了一種面向樣本不均衡的不合格免疫組化圖像識別系統(tǒng)，所述系統(tǒng)包括：

圖像增強模塊，對原始圖像進行垂直水平翻轉(zhuǎn)、隨機平移、隨機裁減、色域抖動和/或隨機亮度增減；

圖像識別模塊，將增強后的圖片輸入EfficientNet卷積神經(jīng)網(wǎng)絡中，通過若干移動翻轉(zhuǎn)瓶頸卷積模塊提取圖像特征，經(jīng)過全連接層和Softmax激活函數(shù)，并基于Focal?Loss損失函數(shù)，得到不合格免疫組化圖像的識別結果。

進一步地，對原始圖像進行隨機平移包括：

設置移動距離閾值，在移動距離閾值內(nèi)隨機將圖像沿水平和垂直方向平移，并填充圖像中的空缺區(qū)域。

進一步地，對原始圖像進行色域抖動包括：

將圖像變換到HSV顏色空間，取出代表色調(diào)的H通道，并設置色域抖動閾值范圍，在色域抖動閾值范圍內(nèi)隨機改變圖像的色調(diào)。

進一步地，對原始圖像進行隨機亮度增減包括：

將圖像變換到HSV顏色空間，取出代表明度的V通道，并設置隨機亮度閾值范圍，在隨機亮度閾值范圍內(nèi)隨機增加或減小原始圖像的明度。

進一步地，所述圖像增強模塊包括：

對原始圖像按自定義的概率進行垂直水平翻轉(zhuǎn)、隨機平移、隨機裁減、色域抖動和/或隨機亮度增減。

進一步地，所述EfficientNet卷積神經(jīng)網(wǎng)絡采用EfficientNet-B5模型結構。

進一步地，所述圖像識別模塊包括：