[發明專利]基于多類型圖像融合神經網絡地方性氟骨病分級診斷系統

有效

• 申請號: 202010307115.0
• 申請日: 2020-04-17
• 公開（公告）號: CN111598893B
• 公開（公告）日: 2021-02-09
• 發明（設計）人: 劉紹寵;高彥輝;酈芒;羅浩;尹珅;蔣宇辰
• 申請（專利權）人: 哈爾濱工業大學
• 主分類號: G06T7/11
• 分類號: G06T7/11;G06K9/62;G06N3/04;G06N3/08;G16H50/20
• 代理公司: 哈爾濱市松花江專利商標事務所 23109
• 代理人: 劉強

1.基于多類型圖像融合神經網絡地方性氟骨病分級診斷系統，包括：預處理模塊、病變區域圖像粗分割模塊、多類型圖像融合模塊和疾病分級診斷模塊，

所述預處理模塊用于統一氟骨病圖像分布特性、統一骨骼角度、增強對比度并篩選敏感區域；

所述病變區域圖像粗分割模塊用于初步提取敏感區域中臂骨間膜鈣化區域；

所述多類型圖像融合模塊用于利用病變區域圖像粗分割模塊得到的敏感區域中臂骨間膜鈣化區域對原始圖像進行權重調整并獲得敏感區域中臂骨間膜鈣化區域和原始圖像融合后的特征張量；

所述疾病分級診斷模塊以融合的特征張量為輸入，利用經訓練集圖像訓練后的多分類分類器對氟骨病進行分級診斷；

其特征在于所述多類型圖像融合模塊執行如下步驟：

首先對粗分割結果和原X光圖像分別進行卷積操作提取特征，然后利用粗分割結果卷積后的張量增強原始圖像中病變區域，張量經疊加后經權重計算實現融合，其具體表達式如下：

com＝Dot(Add(ori_i,j+γ·seg_i,j),seg_i,j)

其中，ori為原始圖像經卷積操作提取到的特征張量，seg為病變概率矩陣經卷積操作所得特征張量，i，j表示張量上點的坐標，γ為可通過訓練得到的權重參數，Dot(·)表示逐點進行的權重計算，Add(·)表示逐點進行的加法計算；

所述疾病分級診斷塊利用多分類器進行分級診斷，所述多分類器包含13個殘差模塊，所述殘差模塊表示為y＝F(x,{W_i})+W_sx，其中F(·)表示卷積運算，x為殘差模塊的輸入，{Wi}表示卷積運算的權重，Ws是用于調整x維度的線性映射，當F(x,{Wi})與x維度相同時，Ws為1，所述殘差模塊內部設有批量歸一化層，第一個殘差模塊、第五個殘差模塊和第十一個殘差模塊中設有池化層；

所述批量歸一化層表示為：其中重構參數

β^k＝E[x^k]，融合的特征張量在分類器中經三次池化操作后再經激活函數Softmax計算對應位置的病變概率，選取矩陣中表示病變概率最大的前k個位置計算代價函數，具體公式為：

其中k為選擇示例的數量，N為特征張量的數量，P(·)表示概率，y為分類器得出的標簽，label為位置在i，j處的示例Q的正確標簽，λ為正則化參數,θ為骨骼水平傾角。

2.根據權利要求1所述的基于多類型圖像融合神經網絡地方性氟骨病分級診斷系統，其特征在于所述預處理模塊執行的步驟為：首先通過數字圖像處理技術統一醫療X光圖像中前臂骨特性，然后經自適應閾值二值化后再進行均值濾波得到平滑的骨骼圖像，根據邊緣近似得到骨骼輪廓并擬合為直線后得到手臂骨角度，之后令所有圖像中骨骼處于水平狀態，并提取中部敏感區域，最后通過限制對比度直方圖均衡進行圖像對比度增強。