[發明專利]視頻與字幕的匹配方法和裝置

在審

• 申請號: 201610139767.1
• 申請日: 2016-03-11
• 公開（公告）號: CN107181986A
• 公開（公告）日: 2017-09-19
• 發明（設計）人: 劉青;謝濤
• 申請（專利權）人: 百度在線網絡技術（北京）有限公司
• 主分類號: H04N21/488
• 分類號: H04N21/488;H04N21/44;H04N21/439;H04N21/234;H04N21/233
• 代理公司: 北京品源專利代理有限公司11332
• 代理人: 孟金喆,胡彬

1.一種視頻與字幕匹配方法，其特征在于，包括：

獲取待匹配的視頻片段和待匹配的一個或多個字幕文件；

從所獲取的視頻片段中提取出各個語音片段的關聯語音時間信息以及從所述待匹配的一個或多個字幕文件中提取出字幕時間信息；

分別基于相同的規則，根據所提取的關聯語音時間信息以及字幕時間信息生成所述視頻片段的視頻特征向量以及所述一個或多個字幕文件的字幕特征向量；

基于所生成的視頻特征向量和字幕特征向量，確定與所述視頻片段匹配的字幕文件。

2.根據權利要求1所述的方法，其特征在于，從所獲取的視頻片段中提取出各個語音片段的關聯語音時間信息包括：

從所獲取的視頻片段中提取出音頻數據；

對所提取出的音頻數據進行頻譜分析，將符合語音頻譜特性的音頻數據作為語音數據；

基于所得到的語音數據，獲取各個語音片段及對應的關聯語音時間信息。

3.根據權利要求1或2所述的方法，其特征在于，所述關聯語音時間信息是各個相鄰語音片段之間的時間間隔信息，所述字幕時間信息是各個相鄰字幕片段之間的時間間隔信息，以及

所述分別基于相同的規則，根據所提取的關聯語音時間信息以及字幕時間信息生成所述視頻片段的視頻特征向量以及所述一個或多個字幕文件的字幕特征向量包括：

分別基于相同的規則，根據各個相鄰語音片段之間的時間間隔信息生成視 頻片段的視頻特征向量，以及根據各個相鄰字幕片段之間的時間間隔信息，生成所述一個或多個字幕文件的字幕特征向量。

4.根據權利要求1或2所述的方法，其特征在于，所述關聯語音時間信息是各個語音片段的時長信息，所述字幕時間信息是各個字幕片段的時長信息，以及

所述分別基于相同的規則，根據所提取的關聯語音時間信息以及字幕時間信息生成所述視頻片段的視頻特征向量以及所述一個或多個字幕文件的字幕特征向量包括：

分別基于相同的規則，根據各個語音片段的時長信息生成視頻片段的視頻特征向量，以及根據各個字幕片段的時長信息生成所述一個或多個字幕文件的字幕特征向量。

5.根據權利要求1-4任一所述的方法，其特征在于，基于所生成的視頻特征向量和字幕特征向量，確定與所述視頻片段匹配的字幕文件包括：

計算所生成的視頻特征向量和字幕特征向量之間的空間相似度；以及

根據所計算出的空間相似度，確定與所述視頻片段對應的目標字幕文件。

6.一種視頻與字幕匹配裝置，其特征在于，包括：

獲取單元，用于獲取待匹配的視頻片段和待匹配的一個或多個字幕文件；

視頻特征提取單元，用于從所獲取的視頻片段中提取出各個語音片段的關聯語音時間信息；

字幕特征提取單元，用于從所述待匹配的一個或多個字幕文件中提取出字幕時間信息；

特征向量生成單元，用于分別基于相同的規則，根據所提取的關聯語音時 間信息以及字幕時間信息生成所述視頻片段的視頻特征向量以及所述一個或多個字幕文件的字幕特征向量；

確定單元，用于基于所生成的視頻特征向量和字幕特征向量，確定與所述視頻片段匹配的字幕文件。

7.根據權利要求6所述的裝置，其特征在于，視頻特征提取單元包括：

音頻數據提取模塊，用于從所獲取的視頻片段中提取出音頻數據；

語音數據獲取模塊，用于對所提取出的音頻數據進行頻譜分析，將符合語音頻譜特性的音頻數據作為語音數據；

關聯語音時間信息獲取模塊，用于基于所得到的語音數據，獲取各個語音片段及對應的關聯語音時間信息。

8.根據權利要求6或7所述的裝置，其特征在于，所述關聯語音時間信息是各個相鄰語音片段之間的時間間隔信息，所述字幕時間信息是各個相鄰字幕片段之間的時間間隔信息，以及

所述特征向量生成單元用于分別基于相同的規則，根據各個相鄰語音片段之間的時間間隔信息生成視頻片段的視頻特征向量，以及根據各個相鄰字幕片段之間的時間間隔信息，生成所述一個或多個字幕文件的字幕特征向量。