[發明專利]多特征融合的動態場景分類方法與裝置

有效

• 申請號: 201611073666.5
• 申請日: 2016-11-29
• 公開（公告）號: CN106599907B
• 公開（公告）日: 2019-11-29
• 發明（設計）人: 曹先彬;鄭潔宛;黃元駿;潘朝鳳;劉俊英
• 申請（專利權）人: 北京航空航天大學
• 主分類號: G06K9/62
• 分類號: G06K9/62
• 代理公司: 11205 北京同立鈞成知識產權代理有限公司
• 代理人: 楊澤;劉芳<國際申請>=<國際公布>=<

1.一種多特征融合的動態場景分類方法，其特征在于，包括：

獲取待分類視頻；

采用三維卷積神經網絡特征提取器對所述待分類視頻進行特征提取，獲取第一特征信息；采用改進的稠密軌跡特征提取器對所述待分類視頻進行特征提取，獲取第二特征信息；采用視覺幾何神經網絡特征提取器對所述待分類視頻進行特征提取，獲取第三特征信息；

對所述第一特征信息、所述第二特征信息和所述第三特征信息進行融合，獲取融合特征；

根據所述融合特征對所述待分類視頻進行分類，得到所述待分類視頻的分類結果；

所述對所述第一特征信息、所述第二特征信息和所述第三特征信息進行融合，獲取融合特征，包括：

獲取所述第一特征信息中第一預設維度對應的第一特征數據，獲取所述第二特征信息中第二預設維度對應的第二特征數據，獲取所述第三特征信息中第三預設維度對應的第三特征數據；

根據所述第一特征數據、所述第二特征數據、所述第三特征數據獲取所述融合特征。

2.根據權利要求1所述的方法，其特征在于，所述對所述第一特征信息、所述第二特征信息和所述第三特征信息進行融合，獲取融合特征之前，還包括：

獲取訓練視頻庫中所有訓練視頻各自的第一特征信息、第二特征信息和第三特征信息；

根據所述所有訓練視頻各自的第一特征信息、第二特征信息和第三特征信息，獲取第一特征信息、第二特征信息和第三特征信息的所有維度的費舍爾判別比；

根據所述第一特征信息中的所有維度的費舍爾判別比確定所述第一特征信息的第一預設維度，根據所述第二特征信息中的所有維度的費舍爾判別比確定所述第二特征信息的第二預設維度，根據 所述第三特征信息中的所有維度的費舍爾判別比確定所述第三特征信息的第三預設維度；

其中，所述訓練視頻庫包括至少兩個屬于不同類別的訓練視頻。

3.根據權利要求2所述的方法，其特征在于，任一特征信息中的第i個維度的費舍爾判別比的獲取公式如下所示：

k＝S_b/S_i；

其中，S_i為第i個維度的類內離散度，S_b為第i個維度的類間離散度，J為所述所有訓練視頻所屬的類別總數，x_ij為第j個類別的所有訓練視頻的第i個維度的特征數據矩陣，m_ij為第j個類別的所有訓練視頻的第i個維度的特征數據矩陣的平均值矩陣，m_ih為第h個類別的所有訓練視頻的第i個維度的特征數據矩陣的平均值矩陣，i的取值范圍為1到I的正整數，I為所述第i個維度所屬的特征信息的維度總數，j的取值范圍為1到J的正整數，h的取值范圍為是除j外的1到J的正整數。

4.根據權利要求1所述的方法，其特征在于，所述采用三維卷積神經網絡特征提取器對所述待分類視頻進行特征提取，獲取第一特征信息，包括：

將所述待分類視頻進行劃分，得到至少一個包含N幀圖像的視頻片段；

采用三維卷積神經網絡特征提取器對所有所述視頻片段進行特征提取，獲取所述第一特征信息；

其中，N為大于1的正整數。

5.根據權利要求1所述的方法，其特征在于，所述采用改進的稠密軌跡特征提取器對所述待分類視頻進行特征提取，獲取第二特征信息，包括：

獲取所述待分類視頻的稠密軌跡特征和單應性矩陣；

采用所述單應性矩陣對所述稠密軌跡特征進行矯正，獲取所述第二特征信息。

6.根據權利要求1所述的方法，其特征在于，所述采用視覺幾何神經網絡特征提取器對所述待分類視頻進行特征提取，獲取第三特征信息，包括：

在所述待分類視頻中提取至少一幀關鍵幀，采用視覺幾何神經網絡特征提取器對所述至少一幀關鍵幀進行特征提取，獲取所述第三特征信息。

7.根據權利要求1至6任一項所述的方法，其特征在于，所述根據所述融合特征對所述待分類視頻進行分類，得到所述待分類視頻的分類結果，包括：

根據所述融合特征，采用支持向量機分類器對所述待分類視頻進行分類，得到所述待分類視頻的分類結果。

8.一種多特征融合的動態場景分類裝置，其特征在于，包括：

待分類視頻獲取模塊，用于獲取待分類視頻；

特征提取模塊，用于采用三維卷積神經網絡特征提取器對所述待分類視頻進行特征提取，獲取第一特征信息；采用改進的稠密軌跡特征提取器對所述待分類視頻進行特征提取，獲取第二特征信息；采用視覺幾何神經網絡特征提取器對所述待分類視頻進行特征提取，獲取第三特征信息；

融合模塊，用于對所述第一特征信息、所述第二特征信息和所述第三特征信息進行融合，獲取融合特征；

分類模塊，用于根據所述融合特征對所述待分類視頻進行分類，得到所述待分類視頻的分類結果；

所述融合模塊具體用于：

獲取所述第一特征信息中第一預設維度對應的第一特征數據，獲取所述第二特征信息中第二預設維度對應的第二特征數據，獲取所述第三特征信息中第三預設維度對應的第三特征數據；

根據所述第一特征數據、所述第二特征數據、所述第三特征數據獲取所述融合特征。