[發明專利]一種基于多圖正則化深度哈希的多模態醫學圖像檢索方法

有效

• 申請號: 201910048281.0
• 申請日: 2019-01-18
• 公開（公告）號: CN109902714B
• 公開（公告）日: 2022-05-03
• 發明（設計）人: 曾憲華;郭姜
• 申請（專利權）人: 重慶郵電大學
• 主分類號: G06K9/62
• 分類號: G06K9/62;G06F16/53
• 代理公司: 重慶市恒信知識產權代理有限公司 50102
• 代理人: 劉小紅;陳棟梁

本發明請求保護一種多圖正則化深度哈希多模態醫學圖像檢索方法，具體是通過多通道深度模型同時提取多模態醫學圖像組的特征；根據多模態醫學圖像組的特征對應構建多個圖正則化矩陣；融合多個圖正則化矩陣，并利用模態自適應受限玻爾茲曼機學習得到多模態醫學圖像組的哈希碼；通過漢明距離度量求出單個模態數據哈希碼與多模態醫學圖像組哈希碼的距離并按升序排序，選擇距離最小的n組多模態醫學圖像返回給用戶，從而實現了多模態醫學圖像檢索。該方法的實現，能幫助醫生在超聲圖像，爭端文本，核磁共振圖像等多模態醫學圖像中，通過某一模態的數據迅速查找到另外多種模態的數據，有助于醫生的醫學診斷，減少醫生的工作量，提高工作效率。

技術領域

本發明屬于醫學圖像處理技術領域，尤其涉及多圖正則化深度哈希方法實現多模態醫學圖像檢索。

背景技術

多模態醫學圖像檢索技術指的根據某一模態的輸入數據從多模態醫學圖像庫中檢索出相匹配的同模態和不同模態的醫學圖像。已有的多模態檢索技術主要有三個模塊：基于文本的圖像檢索技術、基于文本的視頻檢索技術、基于圖像的文本檢索技術。現有的多模態檢索技術多在兩種模態之間互相檢索，然而日益增長的多模態醫學圖像使得現有技術無法滿足用戶在任意模態數據之間互相檢索的需求。

跨模態哈希檢索算法成為近年來的研究熱點，并取得了較好的效果。然而依舊存在一些技術缺陷：(1)現有的方法大都通過提取數據的手工特征來學習哈希碼，相比于通過根據不同數據的內在結構特征來學習哈希碼，手工提取特征學習到的哈希碼對檢索精度有較大影響；(2)現存的絕大部分基于深度學習的跨模態哈希算法也都只在兩個模態數據之間實現相互檢索；(3)現有方法在實現數據到哈希碼的映射時都未考慮到數據的內在流形結構，以至于學習到的哈希碼也未能保持數據的局部流形結構，從而影響了檢索精度。

針對上述幾個問題，雖然很多學者投入了大量的時間和精力去研究，但依然沒有一個實現自適應數據模態的多模態檢索方法出現。RBM的原理，可以將其學習得到的隱層結果直接作為數據的哈希碼；而流形結構保持的加入，能在數據映射到哈希碼的同時中保持數據的局部流形結構。

本發明所要解決的問題是手工特征無法滿足高精度的檢索需求、跨模態哈希算法多為雙模態互相檢索、數據到哈希碼之間的映射不能保持數據局部流形結構等方面的不足。本發明運用深度模型提取數據深度特征代替數據的手工特征，避免了手工特征無法很好的挖掘數據內在結構的問題，從而在哈希檢索中大大提高了檢索精度；使用自適應RBM哈希算法能解決現有的多模態檢索大多只能在兩個模態的數據中實現互相檢索的問題，能在任意多模態的數據中實現互相檢索；使用流形結構保持，能在數據到哈希碼的映射過程中很好的保持數據的局部流形結構，從而進一步提升檢索精度。

發明內容

本發明旨在解決以上現有技術的問題。提出了一種提升檢索精度的基于多圖正則化深度哈希的多模態醫學圖像檢索方法。本發明的技術方案如下：

一種基于多圖正則化深度哈希的多模態醫學圖像檢索方法，其包括以下步驟：

步驟1、利用多通道深度模型提取多模態醫學圖像的深度特征，并對深度特征標準化；

步驟2、根據步驟1提取的多個不同模態數據的特征構建多個近鄰圖矩陣，用以保持數據的局部流形結構，并構建一個標簽矩陣；

步驟3、將構建的多個近鄰圖矩陣以及標簽矩陣融合成一個圖矩陣；

步驟4、利用模態自適應的受限玻爾茲曼機RBM結合融合后的圖矩陣學習得到多模態醫學圖像共同的哈希碼；

步驟5、通過深度通道和模態自適應的RBM將待檢索的模態數據生成哈希碼；

步驟6、使用漢明距離度量方法計算待檢索某一模態的數據和多模態醫學圖像庫之間的距離并升序排序，將距離最小的n組最近似多模態醫學圖像返回給用戶。