[發明專利]一種多媒體資源的檢索方法和裝置

有效

• 申請號: 201711108216.X
• 申請日: 2017-11-08
• 公開（公告）號: CN107766571B
• 公開（公告）日: 2021-02-09
• 發明（設計）人: 柳軍飛;麻志毅;楊寒;李宏強;孫博;范紅杰
• 申請（專利權）人: 北京大學
• 主分類號: G06F16/43
• 分類號: G06F16/43;G06F16/78
• 代理公司: 北京集智東方知識產權代理有限公司 11578
• 代理人: 陳亞斌;關兆輝

1.一種多媒體資源的檢索方法，其特征在于，包括：

接收用戶發出的查詢請求；

根據所述查詢請求在多媒體資源檢索庫中進行檢索，針對同一多媒體資源，得到該多媒體資源的編目信息，以及不同模態的信息所分別對應于所述查詢請求的契合度；將多媒體資源的編目信息，以及不同模態的信息所分別對應于所述查詢請求的契合度做加權平均，將得到的加權平均值作為該多媒體資源匹配于所述查詢請求的分值；根據各多媒體資源的分值作降序排序；將各多媒體資源的排序結果作為檢索結果，并返回檢索結果；

其中，所述多媒體資源檢索庫中存儲有多個多媒體資源的多模態信息。

2.根據權利要求1所述的方法，其特征在于，所述多媒體資源的多模態信息包括文本信息；以及

所述文本信息是預先存儲到所述多媒體資源檢索庫的：

從所述多媒體資源的視頻中識別出文本信息；

將識別出的文本信息存儲到所述多媒體資源檢索庫中。

3.根據權利要求1所述的方法，其特征在于，所述多媒體資源的多模態信息包括語音信息；其中，所述語音信息是以音頻壓縮編碼形式和/或文字形式預先存儲到所述多媒體資源檢索庫的：

從所述多媒體資源中提取出音頻并進行語音識別后轉換為文字內容，將轉換得到的文字內容作為所述多媒體資源的文字形式的語音信息存儲到所述多媒體資源檢索庫中；和/或

將從所述多媒體資源中提取出音頻，并進一步提取所述音頻的特征并對提取出的音頻特征進行壓縮編碼后，得到所述多媒體資源的音頻壓縮編碼形式的語音信息。

4.根據權利要求1所述的方法，其特征在于，所述多媒體資源的多模態信息包括圖像信息；其中，所述圖像信息是以像素壓縮編碼形式和/或文字形式預先存儲到所述多媒體資源檢索庫的：

從所述多媒體資源的視頻中抽取關鍵幀，對所述關鍵幀進行圖像內容描述和/或進行圖像物體標注，將圖像內容描述得到的文字內容和/或圖像物體標注得到的文字內容作為所述多媒體資源的文字形式的圖像信息存儲到所述多媒體資源檢索庫中；和/或

將從所述多媒體資源的視頻中抽取關鍵幀，提取所述關鍵幀的圖片像素特征并進行壓縮編碼后，得到所述多媒體資源的像素壓縮編碼形式的圖像信息存儲到所述多媒體資源檢索庫中。

5.根據權利要求3所述的方法，其特征在于，所述根據所述查詢請求在多媒體資源檢索庫中進行檢索，包括：

分析所述查詢請求，獲取所述查詢請求中的音頻片段；

根據所述音頻片段，在所述多媒體資源檢索庫中的音頻壓縮編碼形式的音頻信息中進行檢索。

6.根據權利要求4所述的方法，其特征在于，所述根據所述查詢請求在多媒體資源檢索庫中進行檢索，包括：

分析所述查詢請求，獲取所述查詢請求中的圖片；

根據所述圖片，在所述多媒體資源檢索庫中的像素壓縮編碼形式的圖像信息中進行檢索。

7.根據權利要求1所述的方法，其特征在于，在所述根據所述查詢請求在多媒體資源檢索庫中進行檢索后，還包括：

針對同一多媒體資源，得到該多媒體資源的編目信息，以及不同模態的信息所分別對應于所述查詢請求的契合度；

將多媒體資源的編目信息，以及不同模態的信息所分別對應于所述查詢請求的契合度做加權平均，將得到的加權平均值作為該多媒體資源匹配于所述查詢請求的分值；

根據各多媒體資源的分值作降序排序；

將各多媒體資源的排序結果作為所述檢索結果。