[發明專利]漢語外語有聲影像資料雙向可逆語音轉換并加注字幕方法

在審

• 申請號: 201210523616.8
• 申請日: 2012-12-08
• 公開（公告）號: CN103854648A
• 公開（公告）日: 2014-06-11
• 發明（設計）人: 苗玉水
• 申請（專利權）人: 上海能感物聯網有限公司
• 主分類號: G10L15/26
• 分類號: G10L15/26;H04N21/8547
• 代理公司: 暫無信息
• 代理人: 暫無信息

技術領域

本技術方案屬于嵌入式或非嵌入式計算機系統聲音和圖像數據處理技術領域，以下敘述中將嵌入式和非嵌入式計算機系統統稱為計算機系統。

背景技術

目前市面上的漢語或外語有聲影像資料的漢字或外文或其對照字幕疊加，一般通過人工方式將漢語或外語有聲影像資料中的漢語或外語轉換成漢字或外文，再交給視頻畫面或影像畫面字幕疊加機將表達漢語意思的漢字字幕疊加在視頻畫面或影像畫面上，同時通過翻譯將漢語翻譯成外語或反之將外語翻譯成漢語，再通過配音演員將語音配到同步的視頻畫面或影像畫面上，由于存在大量的漢語或世界各地的外語有聲影像資料，包括電視錄像和電影等有聲影像資料，因此，如果單靠采用人工轉換的方式會很費工費時，而且隨著數字有聲影像技術的出現，特別是計算機系統用于處理視頻影像資料的技術出現，越來越需要有一種能自動根據漢語或外語語音相互轉換成外語或漢語并加注字幕的技術出現，而且這種能自動根據漢語或外語語音轉換成漢語字幕的技術不但能在帶漢字系統的計算機系統中運行，還能再不帶漢字系統只帶128個字符的ASCII碼系統的以美國為代表的西方國家的計算機系統中運行，以滿足世界互聯網的日益廣泛的運用和云計算、物聯網以及世界各地漢語熱的出現，中西文化交流越來越頻繁的新形勢的需要。

發明內容

本技術方案的提出就是為了解決上述出現這些問題。具體來說本技術方案通過采用以下的漢語外語有聲影像資料雙向可逆語音轉換并加注字幕方法來解決上述出現的問題：

在將漢語語音影像資料轉變成外語語音并加注字幕的影像資料時,?首先通過傳統計算機軟件做好影像資料中視頻畫面或影像畫面與對應的有聲語言的音頻信號同步信號標記,這里的同步信號標記可以是采用現有的視頻信號和音頻信號加相同時間戳的方法,以上以下均同。然后將帶同步信號標記的有聲語言的音頻信號提取出來傳給計算機中的漢語語音識別模塊，漢語語音識別模塊將漢語語音識別成帶與所識別的漢語語音相同同步信號標記的用26個拉丁字母表示的漢語語音碼,再通過機器翻譯模塊將上述漢語語音碼翻譯成用26個拉丁字母表示的與對應漢語語音碼句子具有相同同步信號標記的指定的外文,?再將上述帶同步信號標記的漢語語音碼字幕或外文字幕或它們對照文本字幕傳輸給傳統的視頻畫面或影像畫面字幕疊加機，根據漢語語音碼字幕或外文字幕或它們對照文本字幕與視頻畫面或影像畫面同步信號標記的對應關系將字幕信息疊加在視頻畫面或影像畫面上,同時將上述翻譯成帶同步信號標記的指定的外文,通過語音合成模塊合成成相應的帶同步信號標記的外語語音并與具有相同同步信號標記的帶字幕的視頻畫面或影像畫面合成在一起儲存或同步輸出;?

在將外語語音影像資料轉變成漢語語音并加注字幕的影像資料時,?首先通過傳統計算機軟件做好影像資料中視頻畫面或影像畫面和對應的有聲語言的音頻信號同步信號標記,然后將帶同步信號標記的有聲語言的音頻信號提取出來傳給計算機中的外語語音識別模塊，外語語音識別模塊將外語語音識別成帶與所識別的外語語音具有相同同步信號標記的用26個拉丁字母表示的外文,再通過機器翻譯模塊將上述外文翻譯成用26個拉丁字母表示的與該對應外文句子具有相同同步信號標記的漢語語音碼句子,?再將上述帶同步信號標記的漢語語音碼字幕或外文字幕或它們對照文本字幕傳輸給傳統的視頻畫面或影像畫面字幕疊加機，根據漢語語音碼字幕或外文字幕或它們對照文本字幕與視頻畫面或影像畫面同步信號標記的對應關系將字幕信息疊加在視頻畫面或影像畫面上,同時將上述翻譯成帶同步信號標記的漢語語音碼句子,通過漢語語音合成模塊合成成相應的帶同步信號標記的漢語語音并與具有相同同步信號標記的帶字幕的視頻畫面或影像畫面合成在一起儲存或同步輸出。

上述所述的漢語語音碼是以單詞為單位，這里將單個漢字看作單音節詞，根據組成該單詞的每個音節的《漢語拼音方案》中的拼音，用且僅用26個拉丁字母對漢語拼音的聲母、介母、韻母、聲調采取先編碼再依次按“聲碼+介碼+韻碼+調碼兼隔音節符號”的順序編碼拼寫，并通過得到的漢語語音碼的編碼直接表達漢語信息，當直接用漢語語音碼編碼來表示漢語信息時，其標點符號的用法同英文的標點符號的用法相同，編碼時同一個單詞的多個音節不用空格連續編碼，單詞與單詞之間要有空格隔開。