[發明專利]一種多媒體資源的檢索方法和裝置

有效

• 申請號: 201711108216.X
• 申請日: 2017-11-08
• 公開（公告）號: CN107766571B
• 公開（公告）日: 2021-02-09
• 發明（設計）人: 柳軍飛;麻志毅;楊寒;李宏強;孫博;范紅杰
• 申請（專利權）人: 北京大學
• 主分類號: G06F16/43
• 分類號: G06F16/43;G06F16/78
• 代理公司: 北京集智東方知識產權代理有限公司 11578
• 代理人: 陳亞斌;關兆輝

本發明公開了一種多媒體資源的檢索方法和裝置，所述方法包括：接收用戶發出的查詢請求；根據所述查詢請求在多媒體資源檢索庫中進行檢索，并返回檢索結果；其中，所述多媒體資源檢索庫中存儲有多個多媒體資源的多模態信息。應用本發明可以更充分地檢索出滿足檢索條件的多媒體資源，從而更好地滿足多媒體資源的檢索需求。

技術領域

本發明涉及視頻檢索領域，特別是指一種多媒體資源的檢索方法和裝置。

背景技術

伴隨著互聯網技術的飛速發展以及網絡帶寬的極大提升，存儲在互聯網上的多媒體資源(視頻)呈爆炸式增長。這些海量的多媒體資源中，不乏存在巨大商業價值的寶貴資源。如何在海量多媒體資源(視頻)中進行高效檢索便成為多媒體視頻資源高效利用并最大化其價值的關鍵。

當前對多媒體資源(視頻)的檢索主要是依賴于基于關鍵字對多媒體資源(視頻)的編目信息進行檢索；而不同的多媒體資源生產商通常是根據自己的需要定義多媒體資源的編目信息；因此，多媒體資源的編目信息中所包含的信息往往具有局限性或片面性。基于編目信息進行的檢索，不能很好地滿足檢索需求，會遺漏掉許多有用的多媒體資源。

發明內容

有鑒于此，本發明的目的在于提出一種多媒體資源的檢索方法和裝置，可以更充分地檢索出滿足檢索條件的多媒體資源，從而更好地滿足多媒體資源的檢索需求。

基于上述目的本發明提供一種多媒體資源的檢索方法，包括：

接收用戶發出的查詢請求；

根據所述查詢請求在多媒體資源檢索庫中進行檢索，并返回檢索結果；

其中，所述多媒體資源檢索庫中存儲有多個多媒體資源的多模態信息。

較佳地，所述多媒體資源檢索庫中還存儲有：各多媒體資源的編目信息。

其中，所述多媒體資源的多模態信息包括文本信息；以及

所述文本信息是預先存儲到所述多媒體資源檢索庫的：

從所述多媒體資源的視頻中識別出文本信息；

將識別出的文本信息存儲到所述多媒體資源檢索庫中。

其中，所述多媒體資源的多模態信息包括語音信息；其中，所述語音信息是以音頻壓縮編碼形式和/或文字形式預先存儲到所述多媒體資源檢索庫的：

從所述多媒體資源中提取出音頻并進行語音識別后轉換為文字內容，將轉換得到的文字內容作為所述多媒體資源的文字形式的語音信息存儲到所述多媒體資源檢索庫中；和/或

將從所述多媒體資源中提取出音頻，并進一步提取所述音頻的特征并對提取出的音頻特征進行壓縮編碼后，得到所述多媒體資源的音頻壓縮編碼形式的語音信息。

其中，所述多媒體資源的多模態信息包括圖像信息；其中，所述圖像信息是以像素壓縮編碼形式和/或文字形式預先存儲到所述多媒體資源檢索庫的：

從所述多媒體資源的視頻中抽取關鍵幀，對所述關鍵幀進行圖像內容描述和/或進行圖像物體標注，將圖像內容描述得到的文字內容和/或圖像物體標注得到的文字內容作為所述多媒體資源的文字形式的圖像信息存儲到所述多媒體資源檢索庫中；和/或

將從所述多媒體資源的視頻中抽取關鍵幀，提取所述關鍵幀的圖片像素特征并進行壓縮編碼后，得到所述多媒體資源的像素壓縮編碼形式的圖像信息存儲到所述多媒體資源檢索庫中。

其中，所述根據所述查詢請求在多媒體資源檢索庫中進行檢索，包括：

分析所述查詢請求，得到所述查詢請求的關鍵字集合K；

對所述關鍵字集合K進行拓展，得到拓展后的關鍵字集合K′；