[發明專利]一種跨模態神經網絡構建方法、行人檢索方法及系統

在審

• 申請號: 202111302766.1
• 申請日: 2021-11-05
• 公開（公告）號: CN113743544A
• 公開（公告）日: 2021-12-03
• 發明（設計）人: 張德馨
• 申請（專利權）人: 中科智為科技（天津）有限公司
• 主分類號: G06K9/62
• 分類號: G06K9/62;G06K9/00;G06N3/08
• 代理公司: 西安迪業欣知識產權代理事務所(普通合伙) 61278
• 代理人: 校麗麗

1.一種跨模態神經網絡構建方法，其特征在于，所述方法包括：

步驟11、獲取可見光樣本圖像和近紅外樣本圖像，并對所述可見光樣本圖像和所述近紅外樣本圖像進行預處理，得到可見光塊序列數據和近紅外塊序列數據；

步驟12、將所述可見光塊序列數據輸入至第一自注意力機制模塊中，獲得可見光全局特征和可見光局部特征；并將所述近紅外塊序列數據輸入至第二自注意力機制模塊中，獲得近紅外全局特征和近紅外局部特征；

步驟13、利用所述可見光全局特征、所述可見光局部特征、所述近紅外全局特征和所述近紅外局部特征訓練第一神經網絡，得到跨模態神經網絡。

2.根據權利要求1所述的方法，其特征在于，所述對所述可見光樣本圖像和所述近紅外樣本圖像進行預處理，得到可見光塊序列數據和近紅外塊序列數據，具體包括：

將所述可見光樣本圖像和所述近紅外樣本圖像分別拆分成多個圖像塊，以形成可見光塊序列集和近紅外塊序列集；其中，所述可見光樣本圖像和所述近紅外樣本圖像的圖像塊拆分規則相同；

將所述可見光塊序列集輸入至第一線性投射模塊中，得到包含每個可見光圖像塊位置信息的可見光塊序列數據；并將所述近紅外塊序列集輸入至第二線性投射模塊中，得到包含每個近紅外圖像塊位置信息的近紅外塊序列數據。

3.根據權利要求1所述的方法，其特征在于，所述步驟13具體包括：

將所述可見光全局特征輸入至第一神經網絡中，訓練第一預設映射矩陣，得到可見光全局映射矩陣；

將所述可見光局部特征輸入至第一神經網絡中，訓練第二預設映射矩陣，得到可見光局部映射矩陣；

將所述近紅外全局特征輸入至第一神經網絡中，訓練第三預設映射矩陣，得到近紅外全局映射矩陣；

將所述近紅外局部特征輸入至第一神經網絡中，訓練第四預設映射矩陣，得到近紅外局部映射矩陣；

根據所述可見光全局映射矩陣、所述可見光局部映射矩陣、所述近紅外全局映射矩陣、所述近紅外局部映射矩陣構建跨模態神經網絡。

4.根據權利要求1所述的方法，其特征在于，所述跨模態神經網絡的損失函數為：

；

其中，L2是對輸入的兩個向量求取L2損失；為可見光全局映射矩陣；為可見光全局特征；為近紅外全局映射矩陣；為近紅外全局特征，為可見光局部映射矩陣；為可見光局部特征；為近紅外局部映射矩陣；為近紅外局部特征；j=1,…,k ；k為拆分的圖像塊的數量。

5.根據權利要求1所述的方法，其特征在于，所述第一自注意力機制模塊的損失函數為：

；

其中，為可見光全局損失；為可見光局部損失；

所述第二自注意力機制模塊的損失函數為：

；

其中，為近紅外全局損失；為近紅外局部損失。

6.一種跨模態行人檢索方法，其特征在于，所述方法包括：

步驟21、獲取目標行人圖像，并對所述目標行人圖像進行預處理，得到目標圖像塊序列數據；所述目標行人圖像為可見光圖像或近紅外圖像；

步驟22、將所述目標圖像塊序列數據輸入至與所述目標行人圖像的圖像類型對應的自注意力機制模塊中，獲得目標圖像全局特征和目標圖像局部特征；

步驟23、將所述目標圖像全局特征和所述目標圖像局部特征輸入至跨模態神經網絡中，得到跨模態全局特征和跨模態局部特征；其中，所述跨模態神經網絡為權利要求1至5中任一項所述的跨模態神經網絡；

步驟24、利用所述跨模態全局特征和/或所述跨模態局部特征在含有目標行人的視頻集中進行特征匹配檢索，得到跨模態檢索結果。

7.根據權利要求6所述的方法，其特征在于，所述對所述目標行人圖像進行預處理，得到目標圖像塊序列數據，具體包括：

將所述目標行人圖像拆分成多個圖像塊，以形成目標圖像塊序列集；

將所述目標圖像塊序列集輸入至與所述目標行人圖像的圖像類型對應的線性投射模塊中，得到包含每個目標圖像塊位置信息的目標圖像塊序列數據。