[發明專利]一種跨模態神經網絡構建方法、行人檢索方法及系統

在審

• 申請號: 202111302766.1
• 申請日: 2021-11-05
• 公開（公告）號: CN113743544A
• 公開（公告）日: 2021-12-03
• 發明（設計）人: 張德馨
• 申請（專利權）人: 中科智為科技（天津）有限公司
• 主分類號: G06K9/62
• 分類號: G06K9/62;G06K9/00;G06N3/08
• 代理公司: 西安迪業欣知識產權代理事務所(普通合伙) 61278
• 代理人: 校麗麗

本發明公開了一種跨模態神經網絡構建方法、行人檢索方法及系統，屬于數據分析檢索技術領域，能夠解決跨模態識別精度較低，行人識別效果較差的問題。所述方法包括：獲取可見光樣本圖像和近紅外樣本圖像，并對可見光樣本圖像和近紅外樣本圖像進行預處理，得到可見光塊序列數據和近紅外塊序列數據；將可見光塊序列數據輸入至第一自注意力機制模塊中，獲得可見光全局特征和可見光局部特征；并將近紅外塊序列數據輸入至第二自注意力機制模塊中，獲得近紅外全局特征和近紅外局部特征；利用可見光全局特征、可見光局部特征、近紅外全局特征和近紅外局部特征訓練第一神經網絡，得到跨模態神經網絡。本發明用于跨模態圖像識別。

技術領域

本發明涉及一種跨模態神經網絡構建方法、行人檢索方法及系統，屬于數據分析檢索技術領域。

背景技術

近些年來人工智能技術在不斷進步，尤其是在計算機視覺領域，從傳統提取特征到現在的深度學習技術，不斷推進學術界與工業界的發展。行人重識別技術是繼人臉識別技術以來又一重要的以人為中心的研究領域，該領域在現實社會中具有非常重要的現實意義和商業轉化前景。行人再識別(Person re-identification)目標是依托遍布各地、各場景的監控設備實現跨攝像頭的行人特征提取和檢索。

傳統的行人重識別研究方法大多聚焦于可見光條件下人體姿態、背景、光照等的問題。此類方法主要采用行人特征提取或基于生成式的方式來實現行人再識別。而在實際的監控系統中，特別是在光照不足或者黑暗的條件下，攝像機通常需要切換到紅外模式來采集行人或者目標圖像，從而不得不面對日常的可見光下的行人圖像與近紅外跨模態下的行人再識別問題。跨模態行人檢索即是對可見光狀態下(自然狀態)和近紅外狀態下(攝像機所捕捉到行人不同光譜的狀態)的行人進行識別和比對。目前，該方向主要有兩種思路:一種是基于近紅外和可見光模態下的行人特征提取方法，比如有多個子網絡分別負責近紅外和可見光的圖像輸入，然后融合到一個共享網絡，學習到融合特征；另一種是基于生成式的方式(Generative adversarial networks，GANs)將兩種不同模態下的行人圖像轉換成同一種模態，以轉化成同一個模態行人重識別過程。然而在實際應用中，上述兩種方法的識別精度都不高，從而導致行人識別效果較差。

發明內容

本發明提供了一種跨模態神經網絡構建方法、行人檢索方法及系統，能夠解決現有技術中跨模態識別精度較低，行人識別效果較差的問題。

一方面，本發明提供了一種跨模態神經網絡構建方法，所述方法包括：

步驟11、獲取可見光樣本圖像和近紅外樣本圖像，并對所述可見光樣本圖像和所述近紅外樣本圖像進行預處理，得到可見光塊序列數據和近紅外塊序列數據；

步驟12、將所述可見光塊序列數據輸入至第一自注意力機制模塊中，獲得可見光全局特征和可見光局部特征；并將所述近紅外塊序列數據輸入至第二自注意力機制模塊中，獲得近紅外全局特征和近紅外局部特征；

步驟13、利用所述可見光全局特征、所述可見光局部特征、所述近紅外全局特征和所述近紅外局部特征訓練第一神經網絡，得到跨模態神經網絡。

可選的，所述對所述可見光樣本圖像和所述近紅外樣本圖像進行預處理，得到可見光塊序列數據和近紅外塊序列數據，具體包括：

將所述可見光樣本圖像和所述近紅外樣本圖像分別拆分成多個圖像塊，以形成可見光塊序列集和近紅外塊序列集；其中，所述可見光樣本圖像和所述近紅外樣本圖像的圖像塊拆分規則相同；

將所述可見光塊序列集輸入至第一線性投射模塊中，得到包含每個可見光圖像塊位置信息的可見光塊序列數據；并將所述近紅外塊序列集輸入至第二線性投射模塊中，得到包含每個近紅外圖像塊位置信息的近紅外塊序列數據。

可選的，所述步驟13具體包括：

將所述可見光全局特征輸入至第一神經網絡中，訓練第一預設映射矩陣，得到可見光全局映射矩陣；

將所述可見光局部特征輸入至第一神經網絡中，訓練第二預設映射矩陣，得到可見光局部映射矩陣；