[發明專利]視頻搜索方法及裝置、電子設備和介質

在審

• 申請號: 202110468619.5
• 申請日: 2021-04-28
• 公開（公告）號: CN113139092A
• 公開（公告）日: 2021-07-20
• 發明（設計）人: 林天威;何棟梁
• 申請（專利權）人: 北京百度網訊科技有限公司
• 主分類號: G06F16/783
• 分類號: G06F16/783;G06K9/00;G06N3/04
• 代理公司: 北京市漢坤律師事務所 11602
• 代理人: 姜浩然;吳麗麗

本公開提供了一種視頻搜索方法及裝置、電子設備和介質，涉及人工智能技術領域，具體涉及計算機視覺和深度學習技術，可應用于視頻理解場景下。實現方案為：提取待搜索視頻的第一編碼特征；對第一編碼特征進行壓縮，得到第二編碼特征；根據第二編碼特征，從多個候選視頻中確定與待搜索視頻相匹配的至少一個目標視頻；以及根據第二編碼特征，分別從各目標視頻中確定與待搜索視頻相匹配的目標片段。

技術領域

本公開涉及人工智能技術領域，尤其涉及計算機視覺和深度學習技術，可應用于視頻理解場景下。具體涉及一種視頻搜索的方法、裝置、電子設備、計算機可讀存儲介質和計算機程序產品。

背景技術

人工智能是研究使計算機來模擬人的某些思維過程和智能行為(如學習、推理、思考、規劃等)的學科，既有硬件層面的技術也有軟件層面的技術。人工智能硬件技術一般包括如傳感器、專用人工智能芯片、云計算、分布式存儲、大數據處理等技術:人工智能軟件技術主要包括計算機視覺技術、語音識別技術、自然語言處理技術以及機器學習/深度學習、大數據處理技術、知識圖譜技術等幾大方向。

視頻相較于文本、圖像等信息傳播媒介可以提供更豐富的信息內容。在一些場景中，用戶希望通過搜索來獲取其需要的視頻。現有的視頻搜索方法通常是基于文本的搜索，即，通過匹配用戶輸入的搜索詞與視頻庫中的各個視頻的文本標簽來得到搜索結果。這種搜索方式與視頻本身的內容無關，僅依賴于用戶輸入的搜索詞和視頻文本標簽標注的準確性，搜索結果通常難以令用戶滿意。

在此部分中描述的方法不一定是之前已經設想到或采用的方法。除非另有指明，否則不應假定此部分中描述的任何方法僅因其包括在此部分中就被認為是現有技術。類似地，除非另有指明，否則此部分中提及的問題不應認為在任何現有技術中已被公認。

發明內容

本公開提供了一種視頻搜索的方法、裝置、電子設備、計算機可讀存儲介質和計算機程序產品。

根據本公開的一方面，提供了一種視頻搜索方法，該方法包括：提取待搜索視頻的第一編碼特征；對第一編碼特征進行壓縮，得到第二編碼特征；根據第二編碼特征，從多個候選視頻中確定與待搜索視頻相匹配的至少一個目標視頻；以及根據第二編碼特征，分別從各目標視頻中確定與待搜索視頻相匹配的目標片段。

根據本公開的另一方面，提供了一種用于視頻編碼的偽孿生網絡的訓練方法，該偽孿生網絡包括兩個分支，每個分支為一個由編碼器和解碼器組成的自編碼器，編碼器和解碼器各自包括待訓練的多個參數，該方法包括：獲取多組訓練數據，每一組訓練數據包括第一視頻的編碼、第二視頻的編碼和匹配標簽，匹配標簽用于表示第一視頻與第二視頻是否相匹配；以及基于多組訓練數據來訓練偽孿生網絡，其中：將第一視頻的編碼輸入偽孿生網絡的第一分支；將第二視頻的編碼輸入偽孿生網絡的第二分支；根據第一分支的輸入與輸出的誤差、第二分支的輸入與輸出的誤差、第一分支的編碼器的輸出與第二分支的編碼器的輸出的相似度、以及匹配標簽來計算損失函數值；以及根據損失函數值來調整多個參數的值。

根據本公開的另一方面，提供了一種視頻搜索裝置，包括：第一編碼模塊，被配置為提取待搜索視頻的第一編碼特征；第二編碼模塊，被配置對第一編碼特征進行壓縮，以得到第二編碼特征；視頻級搜索模塊，被配置為根據第二編碼特征，從多個候選視頻中確定與待搜索視頻相匹配的至少一個目標視頻；以及片段定位模塊，被配置為根據第二編碼特征，分別從各目標視頻中確定與待搜索視頻相匹配的目標片段。