[發明專利]一種基于視頻大數據的音頻轉視頻的方法

在審

• 申請號: 202010025473.2
• 申請日: 2020-01-10
• 公開（公告）號: CN111259109A
• 公開（公告）日: 2020-06-09
• 發明（設計）人: 康洪文
• 申請（專利權）人: 杭州慧川智能科技有限公司
• 主分類號: G06F16/33
• 分類號: G06F16/33;G06F16/735;G06F16/783;G06F40/30;G06N3/04;G10L15/16;G10L15/18;G10L15/22;G10L15/26
• 代理公司: 北京科家知識產權代理事務所(普通合伙) 11427
• 代理人: 陳娟

1.一種基于視頻大數據的音頻轉視頻的方法，其特征在于它包含如下步驟：

一、用戶輸入一段音頻信息；

二、使用語音識別技術將音頻內容提取為文本信息；

三、利用人工智能自然語言處理技術，對提取的文本信息進行關鍵字識別與提取；

四、使用深度學習技術識別音頻信息；

五、利用深度學習技術，基于視頻理解，對視頻大數據集自動打標簽；

六、在視頻大數據集標簽系統中，進行標簽檢索匹配，輸出匹配度高的視頻數據；

七、將步驟二提取出的文本信息生成為視頻字幕；

八、將視頻、字幕、音頻合并渲染，生成推薦視頻。

2.根據權利要求1所述的一種基于視頻大數據的音頻轉視頻的方法，其特征在于步驟二中的語音識別技術采用深度神經網絡技術。

3.根據權利要求1所述的一種基于視頻大數據的音頻轉視頻的方法，其特征在于步驟三的具體方法是：通過embedding層技術得到字或者詞向量，輸入雙向LSTM，經由SoftMax隱藏層計算得到一個BIO標注體系的無監督概率序列，再經過CRF監督層，提取出關鍵字序列。

4.根據權利要求1所述的一種基于視頻大數據的音頻轉視頻的方法，其特征在于步驟四的具體方法是：使用GRU網絡識別音頻的旋律節奏、情感、流派特征。

5.根據權利要求1所述的一種基于視頻大數據的音頻轉視頻的方法，其特征在于步驟五的具體方法是：使用深度3D卷積神經網絡提取視頻的時空信息，進行場景識別、動作捕捉、情感分析，提取出視頻的場景信息、對象信息、人物表情、運動信息，作為視頻的標簽內容。

6.根據權利要求1或3或4或5所述的一種基于視頻大數據的音頻轉視頻的方法，其特征在于步驟六的具體方法是：將步驟三中提取出的關鍵字序列特征值，與步驟五中建立的視頻標簽庫中的標簽特征值，進行相似度計算，輸出相似度超過0.85的視頻后；再將步驟四中提取出的音頻旋律節奏、情感、流派等特征值，與輸出的視頻標簽值進行二次匹配，輸出相似度超過0.8的視頻。