[發明專利]一種基于視頻通訊的語音轉文字方法

在審

• 申請號: 202010547221.6
• 申請日: 2020-06-16
• 公開（公告）號: CN111798854A
• 公開（公告）日: 2020-10-20
• 發明（設計）人: 蒲瑤;何國濤;李全忠
• 申請（專利權）人: 普強信息技術（北京）有限公司
• 主分類號: G10L15/26
• 分類號: G10L15/26;G10L25/03;G10L25/57;H04N21/44;H04N21/4402;H04N21/4788
• 代理公司: 北京科億知識產權代理事務所(普通合伙) 11350
• 代理人: 湯東鳳

1.一種基于視頻通訊的語音轉文字方法，其特征在于：包括以下步驟：

S1.將預設語音文本庫存入服務器內，預設語音文本庫包括預設方言語音文本庫和預設外語語音文本庫，同時將預設特征詞和敏感詞文本庫存入服務器內；

S2.采集音頻數據，先進行保存，然后進行語音識別；

S3.將語音識別的音頻數據轉化為第一文字信息，并對第一文字信息進行糾錯處理，生成目標文字信息；

S4.對S3中的目標文字信息進行特征詞識別，判斷目標文字信息中是否含有特征詞，然后生成轉化文字信息；

S5.將S4中的轉化文字信息發送給服務器，并保存；

S6.采集視頻數據，并將S2中的音頻數據和視頻數據送入解碼器解碼，之后對音頻數據進行播放以及視頻數據進行渲染，最后把服務器收到的文字信息渲染到視頻上，顯示到用戶指定的區域上。

2.根據權利要求1所述的一種基于視頻通訊的語音轉文字方法，其特征在于：所述預設方言語音文本庫包括中國十大方言，所述十大方言包括官話方言、晉方言、吳方言、徽方言、閩方言、粵方言、客家方言、贛方言、湘方言和平話土話。

3.根據權利要求1所述的一種基于視頻通訊的語音轉文字方法，其特征在于：所述預設外語語音文本庫包括漢語、英語、俄語、日語、韓語、德語、法語、西班牙語、意大利語、葡萄牙語和泰語，所述漢語設置為普通話。

4.根據權利要求1所述的一種基于視頻通訊的語音轉文字方法，其特征在于：所述S3中的糾錯處理具體包括以下步驟：

S31.對所述第一文字信息進行同音字糾錯得到第二文字信息，基于當時的場景信息對所述第二文字信息進行同音字糾錯生成第一初始目標文字信息；

S32.對所述第二文字信息進行同音字糾錯得到第三文字信息，基于當時的場景信息對所述第三文字信息進行同音字糾錯生成第二初始目標文字信息；

S33.檢測所述第一初始目標文字信息和所述第二初始目標文字信息是否相同；若所述第一初始目標文字信息和所述第二初始目標文字信息相同，將所述第二初始目標文字信息相同確定生層目標文字信息；若所述第一初始目標文字信息和所述第二初始目標文字信息不相同，對所述第二初始目標文字進行同音字糾錯生成第三初始目標文字，將所述第三初始目標文字信息確定生成目標文字信息。

5.根據權利要求1所述的一種基于視頻通訊的語音轉文字方法，其特征在于：所述預設特征詞和敏感詞文本庫中設置有特征詞與敏感詞的對應關系，每組所述特征詞均對應有一組所述敏感詞。

6.根據權利要求1所述的一種基于視頻通訊的語音轉文字方法，其特征在于：所述S4中的判斷方法為：如果識別到特征詞，根據預先設置的對應關系，查找到與所述特征詞對應的敏感詞，將所述特征詞替換為對應的敏感詞，生成轉化文字信息；若果沒有識別到特征詞，則直接生成轉化文字信息。

7.根據權利要求1所述的一種基于視頻通訊的語音轉文字方法，其特征在于：所述S6中視頻使用opengles或者其他渲染工具進行渲染，視頻渲染到畫布上的同時，把收到的文字信息按照時間戳格式同樣也渲染到視頻同一塊畫布上，這樣就做到了視頻與文字的合成，合成完畢之后，進行交換緩沖區，顯示到用戶指定的區域上。

8.根據權利要求7所述的一種基于視頻通訊的語音轉文字方法，其特征在于：所述視頻與文字的合成過程如下：將文字幀與視頻幀對齊，一個文字幀對應多個視頻幀，將文字幀對應的視頻幀分別渲染上文字幀中的文字內容，一個文字幀結束之后就可以把視頻保存下來，進行下一個文字幀與視頻幀的對齊與渲染，由于客戶端是實時收到畫面顯示，而語音轉文字的過程則會有一段時間的延遲，所以相同時間戳的文字幀會晚于視頻幀的到達，這就需要服務端盡可能的把文字幀時間間隔縮短，使得客戶端將多個文字幀按順序顯示在視頻幀之上。