[發明專利]視頻檢索方法及視頻檢索映射關系生成方法、裝置

在審

• 申請號: 202011567126.9
• 申請日: 2018-05-25
• 公開（公告）號: CN112597341A
• 公開（公告）日: 2021-04-02
• 發明（設計）人: 不公告發明人
• 申請（專利權）人: 中科寒武紀科技股份有限公司
• 主分類號: G06F16/783
• 分類號: G06F16/783
• 代理公司: 北京華進京聯知識產權代理有限公司 11606
• 代理人: 趙文靜

1.一種視頻檢索方法，其特征在于，所述方法包括：

獲取檢索指令，所述檢索指令中攜帶用于檢索目標幀圖片的檢索信息；

獲取所述檢索信息對應的目標章以及所述目標章中的目標節；

根據所述目標節對應的文字描述序列以及基于章節屬性的映射關系，得到目標幀圖片；其中，所述映射關系包括不同的文字描述序列與幀圖片之間的對應關系，所述文字描述序列為能夠描述所述幀圖片的內容的文字構成的序列。

2.根據權利要求1所述的方法，其特征在于，所述獲取檢索指令之前，所述方法還包括：

對視頻流進行采樣，得到所述視頻流所包含的多個幀圖片；

采用特征提取模型對每個幀圖片進行特征提取操作，得到每個幀圖片對應的關鍵特征序列；其中，所述關鍵特征序列包括所述幀圖片中的至少一個關鍵特征；

將每個幀圖片對應的關鍵特征序列輸入至文字序列提取模型中進行處理，得到每個幀圖片對應的文字描述序列；

根據每個幀圖片對應的文字描述序列，構建所述映射關系。

3.根據權利要求2所述的方法，其特征在于，所述文字描述序列包括能夠描述所述幀圖片的至少一個文字描述句，所述文字描述句中包括多個能夠描述所述幀圖片的內容的文字；其中，所述文字描述句中包括人物文字描述、時間文字描述、地點文字描述、事件文字描述中的至少一種文字。

4.根據權利要求2或3所述的方法，其特征在于，所述采用特征提取模型對每個幀圖片進行特征提取操作，得到每個幀圖片對應的關鍵特征序列之后，所述方法還包括：

計算前一個幀圖片集合對應的關鍵特征序列以及后一個幀圖片集合對應的關鍵特征序列之間的第一關聯度。

5.根據權利要求4所述的方法，其特征在于，所述根據每個幀圖片對應的文字描述序列，構建所述映射關系，包括：

計算所有文字描述序列中前一個幀圖片集合對應的文字描述序列以及后一個幀圖片集合對應的文字描述序列之間的第二關聯度；

根據所述第二關聯度與預設的第一閾值以及第二閾值的大小，確定所述前一個幀圖片集合對應的文字描述序列與所述后一個幀圖片集合對應的文字描述序列之間的章節屬性；

根據所有文字描述序列中所述前一個幀圖片集合對應的文字描述序列與所述后一個幀圖片集合對應的文字描述序列之間的章節屬性，將所有文字描述序列劃分為樹狀目錄結構；

根據所述樹狀目錄結構以及每個幀圖片集合對應的文字描述序列，構建基于所述章節屬性的映射關系。

6.根據權利要求5所述的方法，其特征在于，所述計算所有文字描述序列中前一個幀圖片集合對應的文字描述序列以及后一個幀圖片集合對應的文字描述序列之間的第二關聯度，包括：

對每個文字描述序列中的文字描述句執行分詞操作，得到每個所述文字描述序列對應的分詞結果；其中，所述分詞結果包括多個分詞；

根據每個所述文字描述序列對應的分詞結果、預設的標簽和分詞之間的映射關系，確定每個所述文字描述序列的分詞結果所對應的標簽；其中，所述標簽包括人物標簽、時間標簽、地點標簽、事件標簽；

判斷同一標簽下，所述前一個幀圖片集合對應的文字描述序列的分詞結果與所述后一個幀圖片集合對應的文字描述序列的分詞結果是否相同，并根據判斷結果確定所述前一個幀圖片集合對應的文字描述序列以及所述后一個幀圖片集合對應的文字描述序列之間的第二關聯度。

7.根據權利要求5所述的方法，其特征在于，所述根據所述第二關聯度與預設的第一閾值以及第二閾值的大小，確定所述前一個幀圖片集合與所述后一個幀圖片集合之間的章節屬性，包括：

若所述第二關聯度大于或者等于所述第一閾值，則確定所述前一個幀圖片集合對應的文字描述序列與所述后一個幀圖片集合對應的文字描述序列屬于樹狀目錄結構中的同一節；

若所述第二關聯度大于所述第二閾值且小于所述第一閾值，則確定所述前一個幀圖片集合對應的文字描述序列與所述后一個幀圖片集合對應的文字描述序列屬于樹狀目錄結構中的同一章中的不同節。