[發明專利]一種視頻字幕生成方法、系統、裝置和存儲介質

在審

• 申請號: 201911000368.7
• 申請日: 2019-10-21
• 公開（公告）號: CN110933485A
• 公開（公告）日: 2020-03-27
• 發明（設計）人: 張金良
• 申請（專利權）人: 天脈聚源（杭州）傳媒科技有限公司
• 主分類號: H04N21/439
• 分類號: H04N21/439;H04N21/44;H04N21/4402;H04N21/488;G10L15/26
• 代理公司: 廣州嘉權專利商標事務所有限公司 44205
• 代理人: 黎揚鵬

本發明公開了一種視頻字幕生成方法、系統、裝置和存儲介質，所述方法包括獲取視頻的畫面數據流和聲音數據流，對所述畫面數據流和聲音數據流均進行相同的分段處理，分別對各所述聲音數據段進行語音識別以及根據各所述文本段，分別在相應的畫面數據段生成同步的字幕等步驟。本發明可以將視頻信號中的聲音數據流自動轉換成字幕，并疊加到畫面數據流，免去了現有技術中人工打字的過程，降低了使用成本和出錯率，而且具有很低的時延，減少對直播的影響；通過對畫面數據流和聲音數據流進行分段處理，并對分段處理所得的多個聲音數據段同時進行語音識別，可以成倍地提高語音識別的效率，進一步降低時延。本發明廣泛應用于計算機技術領域。

技術領域

本發明涉及計算機技術領域，尤其是一種視頻字幕生成方法、系統、裝置和存儲介質。

背景技術

在播送新聞、表演節目以及新興的主播等視頻時，如果視頻中帶有字幕，可以增強視頻的信息表達力，增加觀眾的觀看體驗。傳統的字幕添加方法是人工手打字幕文本，將字幕文本輸入到視頻處理軟件中生成字幕。由于人工打字的速率有限，傳統的字幕添加方法主要應用在具有事先預備好的發言稿的新聞播報領域，以及錄制視頻等領域。但是，直播形式的電視節目越來越多，春晚等直播節目中主持人與觀眾的即興交流越來越多，難以根據確定的發言稿去進行手打字幕文本；新近出現的主播視頻和自媒體等形式的視頻，其表演、錄制和播送均由一人完成，不能安排專門的打字員去手打字幕文本。傳統的字幕添加方法已不能適應上述這些應用場景的需求。

通過計算機語音識別技術可以快速將聲音信號轉換成文字文本，其轉換速度是打字員先收聽視頻中人物的發言再進行打字這一過程所不能比擬的。公布號為CN109819202A的專利申請文件所記載的字幕添加裝置及字幕添加方法，介紹了如何將計算機語音識別技術用于解決視頻字幕的自動生成這一技術問題。該專利申請文件所記載的技術方案可以實現根據所輸入的視頻信號，自動生成字幕并疊加到視頻上，免去人工打字所帶來的一系列缺點。但是，該技術的缺點是，最終輸出的帶有字幕的視頻信號與輸入的視頻信號之間可能具有較大的時延，由于該技術方案主要是針對視頻會議設計的，在視頻會議環境下較大的時延是可以接受的，但是如果將該技術方案應用到新聞、體育比賽、表演節目和主播等領域，較大的時延則可能造成不愉快的觀看體驗。

發明內容

為了解決上述技術問題，本發明的目的在于提供一種視頻字幕生成方法、系統、裝置和存儲介質。

一方面，本發明實施例中包括一種視頻字幕生成方法，包括以下步驟：

獲取視頻的畫面數據流和聲音數據流；

對所述畫面數據流和聲音數據流均進行相同的分段處理；所述分段處理將所述畫面數據流分解成為多個畫面數據段，也將所述聲音數據流分解成為多個聲音數據段；

分別對各所述聲音數據段進行語音識別；所述語音識別分別根據各所述聲音數據段識別得到相應的文本段；

根據各所述文本段，分別在相應的畫面數據段生成同步的字幕。

進一步地，所述獲取視頻的畫面數據流和聲音數據流這一步驟，具體包括：

緩存一段時間的視頻信號；

將所緩存的所述視頻信號分離為所述畫面數據流和聲音數據流。

進一步地，所述對所述畫面數據流和聲音數據流均進行相同的分段處理這一步驟，具體包括：

確定分段長度；

將所述聲音數據流分解為多個時長均等于所述分段長度的聲音數據段；

將所述畫面數據流分解為多個時長均等于所述分段長度的畫面數據段。

進一步地，所述對所述畫面數據流和聲音數據流均進行相同的分段處理這一步驟，具體包括：