[發明專利]一種行人重識別領域中的非監督關鍵幀挑選方法

有效

• 申請號: 202110003753.8
• 申請日: 2021-01-04
• 公開（公告）號: CN112733695B
• 公開（公告）日: 2023-04-25
• 發明（設計）人: 羅嘯宇;殷光強;李耶;游長江;楊曉宇
• 申請（專利權）人: 電子科技大學
• 主分類號: G06V20/40
• 分類號: G06V20/40;G06V20/52;G06V10/762;G06V10/764;G06V10/82;G06N3/0464;G06N3/08
• 代理公司: 成都其高專利代理事務所(特殊普通合伙) 51244
• 代理人: 廖曾

本發明公開了一種行人重識別領域中的非監督關鍵幀挑選方法，包括下述步驟：輸入N個具有T幀的行人的連續視頻片段至基礎網絡中提取出特征圖F；然后將特征圖F輸入到關鍵幀提取單元，得到池化層后的特征圖輸出F’；利用層次聚類法，對特征圖輸出F’進行聚類，生成偽標簽；將偽標簽當做真實標簽，利用交叉熵損失函數Loss_kf經多次迭代訓練關鍵幀提取網絡；將每次迭代訓練時關鍵幀提取網絡最后的FC層進行分類，并從特征圖輸出F’的分類中各挑選出一個作為關鍵幀的特征組成集合F_k'，從而對應到原來的特征提取單元的輸入，找到對應的幀即為關鍵幀；實現關鍵幀的無監督自適應挑選，使得挑選出來的關鍵幀能夠最大程度包含視頻核心信息。

技術領域

本發明涉及人工智能中計算機視覺領域，具體的說，是一種行人重識別領域中的非監督關鍵幀挑選方法。

背景技術

行人重識別(Person?Re-identification(Person?ReID))主要是從不同攝像頭中分辨出行人身份，即給定一個行人圖像，檢索跨設備下的該行人圖像。旨在彌補目前固定的攝像頭的視覺局限，并可與行人檢測/行人跟蹤技術相結合，可廣泛應用于智能視頻監控、智能安保等領域。

一個行人在攝像頭下，會形成一段連續的軌跡，這段軌跡稱為連續幀，為從這段連續幀中挑選出最能代表這個行人信息的關鍵幀，但目前面對的問題是，行人的連續幀之間的差異很小，即走路的姿勢和步子的大小之類的差異很小，行人外觀在連續幀之間幾乎沒有差異，所以很難用簡單的傳統算法挑選他們的差異，而且這其中會加入主觀認為，最終導致關鍵幀中蘊含的信息無法完全代表行人信息。

現有技術就提取關鍵幀的方法主要分為三類：

(1)基于光流、SIFT等傳統特征；基于光流等特征提取關鍵幀的算法對于同一個ID重復出現時會提取到相似的特征；

(2)基于聚類等算法；基于聚類等提取關鍵幀的算法會對初始選取的簇中心極其敏感；

(3)基于卷積神經網絡(CNNs)+人工設定；基于卷積神經網絡的方法沒有與任務相關聯，而是人為認定關鍵幀是哪些，缺乏理論依據，而且帶有較大的隨機性，其中，人工指隨機抽取或者均勻抽取。

現有技術的一種具體技術方案如一種針對行人重識別領域視頻幀的輸入的一種關鍵幀的挑選方法(基于卷積神經網絡(CNNs)+人工設定的方式)，在數據的預處理部分采用隨機抽取和均勻抽取兩種方法實現對關鍵幀的提取。

其中，隨機抽取：從原始的幀序列中，隨機選取一定數量的幀作為關鍵幀，輸入到特征提取網絡。

均勻抽取：從原始的幀序列中，間隔均勻的選取一定數量的幀作為關鍵幀，輸入到特征提取網絡。

發明內容

本發明的目的在于提供一種行人重識別領域中的非監督關鍵幀挑選方法，實現關鍵幀的無監督自適應挑選，使得挑選出來的關鍵幀能夠最大程度包含視頻核心信息。

本發明通過下述技術方案實現：一種行人重識別領域中的非監督關鍵幀挑選方法，包括下述步驟：

1)輸入N個具有T幀的行人的連續視頻片段至基礎網絡中提取出特征圖F，且F∈R^{N×T×c×h×w}；其中，N代表視頻片段的個數，即連續幀序列的個數，此處也代表ID的個數，T代表單個視頻片段中幀的長度，c代表特征圖F的通道數，優選為3，即r、g、b三通道，h(優選為256)和w(優選為128)分別代表特征圖F的高度和寬度，優選的每個視頻片段包含有12張視頻圖像，即輸入N個具有T幀的行人的連續視頻片段的維度為：N*T*3*256*128；

2)將特征圖F輸入到關鍵幀提取單元，得到池化層后的特征圖輸出F’，即特征圖輸出F’具有的維度為：N*T*2048*8*4；