[發明專利]基于深度二值細節感知哈希的可視媒體檢索方法

有效

• 申請號: 202010021546.0
• 申請日: 2020-01-09
• 公開（公告）號: CN111221993B
• 公開（公告）日: 2023-07-07
• 發明（設計）人: 聶秀山;尹義龍;周權
• 申請（專利權）人: 山東建筑大學
• 主分類號: G06F16/51
• 分類號: G06F16/51;G06F16/583;G06F16/71;G06F16/783
• 代理公司: 山東瑞宸知識產權代理有限公司 37268
• 代理人: 徐健

本發明提供了一種基于深度二值細節感知哈希的可視媒體檢索方法，包括以下步驟：(1)原始數據特征提取：使用修改的深度網絡提取圖像區域的二值語義特征；(2)哈希學習：利用圖像之間的相似度關系、同一圖像不同相互重疊區域的相似度關系，構建目標函數，聯合優化得到二值細節感知哈希。與現有技術相比，本發明得到了融合更多信息的哈希碼，與現有哈希學習僅從整幅圖像得到哈希碼或在特征空間中融合細節信息的方法相比，本發明的方法充分利用了圖像的局部細節信息和哈希檢索任務的特點，提高了哈希檢索的精度。

技術領域

本發明涉及一種基于深度二值細節感知哈希的可視媒體檢索方法，屬于多媒體信號處理、大數據檢索技術領域。

背景技術

隨著近年來大數據的爆炸性增長，大量內容近似或重復的圖像和視頻等可視媒體充斥網絡。對于互聯網的內容提供商來說，過濾重復、近似內容，或對搜索到的相似內容進行重新排序，讓用戶從海量數據中快速檢測到對自己有用或喜歡的可視媒體內容非常必要。同時，根據用戶搜索或觀看的可視媒體內容進行個性化推薦，也是互聯網企業的重要任務。另外，可視媒體的廣泛傳播在豐富人們文化娛樂生活的同時，也為暴力恐怖、淫穢色情、謠言等有害信息的傳播提供了便利，這些有害圖像和視頻極大地危害了社會穩定和政府公信力，淫穢圖片或視頻更是影響青少年的身心健康，因此，對此類有害可視媒體內容的檢測和過濾也十分必要。

在眾多近鄰搜索(NearestNeighbor,NN)算法中，近似最近鄰(ApproximateNearest?Neighbor,ANN)搜索憑借著其在實際應用中的高效性吸引了大量的關注。而哈希方法是一類廣泛研究的近似最近鄰搜索算法，其能將文檔、圖像、視頻等多媒體轉換成一個緊湊的二進制編碼，并保留原始數據間的相似性關系。該二進制編碼(也稱哈希碼)間的距離度量使用的是漢明距離，其可以通過硬件的異或運算進行快速求解。因此，哈希方法能夠在存儲和效率上具備極大的優勢，這也造成了其成為最流行的近似最近鄰搜索算法之一。

發明內容

現有的深度哈希算法，大多都是直接從整幅圖像學習哈希碼，而忽略了局部的細節信息，但這些細節信息對于哈希學習來說是很有幫助的。此外，盡管有少量深度哈希算法利用了圖像局部細節，但都是在特征空間中將局部細節信息進行融合。對于基于二值編碼進行檢索的哈希方法而言，在特征空間中融合會帶來一定的信息損失，從而降低哈希方法的性能。為此，本發明提出一種二值細節感知哈希方法，在漢明空間中融合二值局部細節信息(即子圖哈希碼)，同時在訓練中利用同一圖像不同相互重疊區域間的關系，以提升哈希學習的性能。與現有哈希技術相比，本發明可以利用更多的細節信息，同時減少融合帶來的信息損失，提高了利用哈希技術進行大數據檢索的效率和精確性。現有的文獻和技術中，并沒有關于在漢明空間中融合局部二值細節信息得到哈希碼的技術和方法。

本發明采用的技術方案為：

一種基于深度二值細節感知哈希的可視媒體檢索方法，其特征在于該方法包括以下步驟：

(1)原始數據特征提取：使用深度網絡進行圖像的特征提取，具體方法為：

①選擇深度網絡模型，將網絡中的全連接層替換成相應的卷積層，根據所選擇的圖像區域的數量，確定輸入網絡的圖像在預處理時進行縮放的大小，該步驟無需使用滑動窗口切割原始圖像后再將圖像區域輸入網絡得到區域的特征，而是以直接修改網絡結構的方式實現了圖像區域的劃分；

②從網絡輸出的結果中得到對應于原始圖像各個區域的哈希碼，將這些哈希碼進行平均融合，得到的即為原始圖像的哈希碼；

(2)構造哈希學習模型，具體方法為；

①建立基于成對圖像相似度的損失函數項，即根據兩個圖像之間的相似度與其相應哈希碼之間的相似度的一致性來設計，進而使得最終的圖像哈希碼能夠保留原始圖像之間的相似關系；