[發明專利]基于監督語義耦合一致的跨模態哈希檢索方法及系統

有效

• 申請號: 202010134513.7
• 申請日: 2020-03-02
• 公開（公告）號: CN111368176B
• 公開（公告）日: 2023-08-18
• 發明（設計）人: 楊帆;丁曉劍;劉禹鋒;劉健;曹杰
• 申請（專利權）人: 南京財經大學
• 主分類號: G06F16/9532
• 分類號: G06F16/9532;G06F16/9535
• 代理公司: 南京理工大學專利中心 32203
• 代理人: 馬魯晉

1.一種基于監督語義耦合一致的跨模態哈希檢索方法，其特征在于，所述方法包括以下步驟：

步驟1，提取各模態數據庫中模態樣本數據的特征，構建樣本庫集合；

步驟2，求取樣本庫集合中各模態樣本的哈希編碼；具體包括：

步驟2-1，構建各模態對應的線性分離器損失函數；

針對第一模態數據特征矩陣中的樣本p_i，假設其轉化后的哈希二位碼為以及對應的標簽為y_i，由此構建第一模態線性分離器損失函數：

式中，為樣本庫集合中第一模態樣本數據對應的哈希編碼矩陣，k為哈希碼的位數，W₁為第一模態的線性分離器，μ為第一模態線性分離器的正則化參數；

針對第二模態數據特征矩陣中的樣本q_i，假設其轉化后的哈希二位碼為以及對應的標簽為y_i，由此構建第二模態線性分離器損失函數：

式中，為樣本庫集合中第二模態樣本數據對應的哈希編碼矩陣，k為哈希碼的位數，W₂為第二模態的線性分離器，μ為第二模態線性分離器的正則化參數；

步驟2-2，定義第一模態和第二模態的鄰近區域相似性矩陣分別為和

式中，N_m(p)為第一模態特征數據p的m近鄰集合，N_m(q)為第二模態特征數據q的m近鄰集合；

由此構建模態近鄰約束損失函數：

式中，ν為模態近鄰約束損失函數的約束平衡參數；

步驟2-3，利用矩陣運算將模態近鄰約束損失函數轉換為：

式中，tr(·)為矩陣的跡，

步驟2-4，利用映射矩陣F₁、F₂分別將第一模態和第二模態特征轉換為對應的哈希編碼矩陣：

B₁＝F₁P_marry，B₂＝F₂Q_marry

由此構建各個模態相互間的耦合語義一致性損失函數：

式中，λ、θ均為耦合語義一致性損失函數的平衡參數；

步驟2-5，結合上述步驟2-1至步驟2-4，構建全局損失函數：

步驟2-6，求解所述全局損失函數，獲取參數B₁,B₂,F₁,F₂,W₁,W₂的值；

步驟2-7，進一步求取符號函數sign(B₁)和sign(B₂)，分別獲得樣本庫集合中第一模態、第二模態對應的離散哈希編碼矩陣；

步驟3，提取待檢索模態數據的特征，并根據該特征求取待檢索模態數據的哈希編碼；

步驟4，對比待檢索模態數據的哈希編碼與各模態樣本的哈希編碼，對比結果符合預設條件的模態樣本即作為待檢索模態數據的檢索結果。

2.根據權利要求1所述的基于監督語義耦合一致的跨模態哈希檢索方法，其特征在于，步驟1所述提取各模態數據庫中模態樣本數據的特征，構建樣本庫集合，具體包括：

步驟1-1，針對每一模態，構建其對應的數據特征提取模型，并對該模型進行訓練；

步驟1-2，利用訓練后的模型提取對應模態樣本數據的特征；

步驟1-3，根據提取的特征構建樣本庫集合{P_marry,Q_marry,Y_marry}，其中P_marry＝[p₁,p₂,p₃…,p_s]為第一模態數據特征矩陣，Q_marry＝[q₁,q₂,q₃…,q_s]為第二模態數據特征矩陣，Y_marry＝[y₁,y₂,y₃…,y_s]為標簽數據特征矩陣。