[發明專利]視頻結構化方法、裝置、系統及存儲介質

在審

• 申請號: 201710964639.5
• 申請日: 2017-10-17
• 公開（公告）號: CN108875494A
• 公開（公告）日: 2018-11-23
• 發明（設計）人: 張弛;徐子堯
• 申請（專利權）人: 北京曠視科技有限公司;北京邁格威科技有限公司
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/32;G06N3/04
• 代理公司: 北京睿邦知識產權代理事務所(普通合伙) 11481
• 代理人: 徐丁峰;張瑋

1.一種視頻結構化方法，包括：

獲取視頻；

提取所述視頻中多個視頻幀的圖像特征；

根據所述圖像特征確定所述視頻的視頻特征；以及

基于所述視頻特征識別所述視頻中的感興趣對象并確定所述感興趣對象的屬性。

2.如權利要求1所述的方法，其中，所述根據所述圖像特征確定所述視頻的視頻特征包括：

將所述多個視頻幀的圖像特征中的每個視頻幀的圖像特征輸入循環式神經網絡，以獲得所述視頻特征，其中，對于所述循環式神經網絡的隱藏層中的每個神經元，該神經元的輸出不僅與當前時刻的輸入有關，還與該神經元在其他時刻的輸入有關。

3.如權利要求2所述的方法，其中，所述將所述多個視頻幀的圖像特征中的每個視頻幀的圖像特征輸入循環式神經網絡包括：

按照所述多個視頻幀的時間順序，將所述多個視頻幀的圖像特征中的每個視頻幀的圖像特征輸入所述循環式神經網絡。

4.如權利要求2或3所述的方法，其中，所述循環式神經網絡是雙向循環式神經網絡。

5.如權利要求1至3中任一項所述的方法，其中，所述基于所述視頻特征識別所述視頻中的感興趣對象并確定所述感興趣對象的屬性包括：

對所述視頻特征進行池化處理；

基于經池化后得到的視頻特征識別所述視頻中的感興趣對象并確定所述感興趣對象的屬性。

6.如權利要求1至3中任一項所述的方法，其中，所述提取所述視頻中多個視頻幀的圖像特征包括：

利用卷積神經網絡提取所述視頻中多個視頻幀的圖像特征。

7.如權利要求6所述的方法，其中，所述視頻特征是利用循環式神經網絡確定的，所述卷積神經網絡和所述循環式神經網絡組成結構化神經網絡；

所述方法還包括：

利用訓練視頻的多個訓練視頻幀訓練初始神經網絡，以得到所述結構化神經網絡，其中所述訓練視頻幀中標注了識別對象以及所述識別對象的屬性，所述初始神經網絡包括初始卷積神經網絡和初始循環式神經網絡。

8.一種視頻結構化裝置，包括：

視頻獲取模塊，用于獲取視頻；

圖像特征提取模塊，用于提取所述視頻中多個視頻幀的圖像特征；

特征綜合模塊，用于根據所述圖像特征確定所述視頻的視頻特征；以及

識別模塊，用于基于所述視頻特征識別所述視頻中的感興趣對象并確定所述感興趣對象的屬性。

9.如權利要求8所述的裝置，其中，所述特征綜合模塊具體用于，將所述多個視頻幀的圖像特征中的每個視頻幀的圖像特征輸入循環式神經網絡，以獲得所述視頻特征，其中，對于所述循環式神經網絡的隱藏層中的每個神經元，該神經元的輸出不僅與當前時刻的輸入有關，還與該神經元在其他時刻的輸入有關。

10.如權利要求9所述的裝置，其中，所述特征綜合模塊具體用于，按照所述多個視頻幀的時間順序，將所述多個視頻幀的圖像特征中的每個視頻幀的圖像特征輸入所述循環式神經網絡。

11.如權利要求8至10中任一項所述的裝置，其中，所述圖像特征提取模塊具體用于，利用卷積神經網絡提取所述視頻中多個視頻幀的圖像特征。

12.一種視頻結構化系統，包括處理器和存儲器，其中，所述存儲器中存儲有計算機程序指令，所述計算機程序指令被所述處理器運行時用于執行以下步驟：

獲取視頻；

提取所述視頻中多個視頻幀的圖像特征；

根據所述圖像特征確定所述視頻的視頻特征；以及

基于所述視頻特征識別所述視頻中的感興趣對象并確定所述感興趣對象的屬性。

13.一種存儲介質，在所述存儲介質上存儲了程序指令，所述程序指令在運行時用于執行以下步驟：

獲取視頻；

提取所述視頻中多個視頻幀的圖像特征；

根據所述圖像特征確定所述視頻的視頻特征；以及

基于所述視頻特征識別所述視頻中的感興趣對象并確定所述感興趣對象的屬性。