[發明專利]漢語與外語自動實時語音翻譯并標注字幕的音像錄播方法

在審

• 申請號: 201210589476.4
• 申請日: 2012-12-30
• 公開（公告）號: CN103902531A
• 公開（公告）日: 2014-07-02
• 發明（設計）人: 苗玉水
• 申請（專利權）人: 上海能感物聯網有限公司
• 主分類號: G06F17/28
• 分類號: G06F17/28;G11B27/10
• 代理公司: 暫無信息
• 代理人: 暫無信息

技術領域

本技術方案屬于聲音和圖像數據處理技術領域。

背景技術

目前市面上的漢語或外語有聲影像資料的漢字或外文或其對照字幕疊加，一般通過人工方式將漢語或外語有聲影像資料中的漢語或外語轉換成漢字或外文，再交給視頻畫面或影像畫面字幕疊加機將表達漢語意思的漢字字幕疊加在視頻畫面或影像畫面上，同時通過翻譯將漢語翻譯成外語或反之將外語翻譯成漢語，再通過配音演員將語音配到同步的視頻畫面或影像畫面上，由于存在大量實時或非實時的漢語或世界各地的外語有聲影像資料，包括電視錄像和電影等有聲影像資料，因此，如果單靠采用人工轉換的方式會很費工費時而且很難做到實時傳輸，隨著數字有聲影像技術的出現，特別是計算機系統用于處理視頻影像資料的技術出現，越來越需要有一種能自動實時將漢語或外語語音的音像分別相互轉換成外語或漢語語音并加注字幕的技術出現，而且這種能自動根據漢語或外語語音實時轉換成漢語或外語字幕的技術不但能在帶漢字系統的計算機系統中運行，還能再不帶漢字系統只帶128個字符的ASCII碼系統的以美國為代表的西方國家的計算機系統中運行，以滿足世界互聯網的日益廣泛的運用和云計算、物聯網以及世界各地漢語熱的出現，中西文化交流越來越頻繁的新形勢的需要。

發明內容

本技術方案的提出就是為了解決上述出現這些問題。具體來說本技術方案通過采用以下的漢語與外語自動實時語音翻譯并加注字幕的音像錄播方法的技術來解決上述出現的問題：

本技術方案采用的是一種漢語與外語自動實時語音翻譯并標注字幕的音像錄播方法,在采用上述方法進行現場實時音像錄播時，通過拾音器或話筒，將漢語或外語語音傳輸給錄音錄像設備，錄音錄像設備首先通過現有計算機軟件做好通過攝像機攝制的影像資料中視頻畫面或影像畫面與對應的有聲語言的音頻信號同步信號標記并儲存在音像錄播設備的儲存系統中,然后將帶同步信號標記的有聲語言的音頻信號提取出來傳給嵌入在音像錄播設備計算機中的漢語或外語語音識別模塊，漢語或外語語音識別模塊將漢語或外語語音識別成帶與所識別的漢語或外語語音相同同步信號標記的用26個拉丁字母表示的漢語語音碼或外文,再通過機器翻譯模塊將上述漢語語音碼或外文分別翻譯成用26個拉丁字母表示的與對應漢語語音碼或外文句子具有相同同步信號標記的指定的外文或漢語語音碼句子,?再將上述帶同步信號標記的漢語語音碼字幕或外文字幕或它們對照文本字幕傳輸給現有的視頻畫面或影像畫面字幕疊加機模塊，根據漢語語音碼字幕或外文字幕或它們對照文本字幕與視頻畫面或影像畫面同步信號標記的對應關系將字幕信息疊加在視頻畫面或影像畫面上,同時將上述翻譯成帶同步信號標記的指定的外文或漢語語音碼句子,通過語音合成模塊合成成相應的帶同步信號標記的外語或漢語語音，然后與具有相同同步信號標記的帶字幕的視頻畫面或影像畫面合成在一起并通過上述音視頻編碼壓縮模塊進行編碼和壓縮，經上述編碼和壓縮后再傳輸給網絡傳輸模塊，再由網絡傳輸模塊將編碼和壓縮后的上述具有相同同步信號標記的帶字幕和語音的視頻畫面或影像畫面傳輸到寬帶網絡，寬帶網絡將其連接到指定的服務器上進行儲存，在服務器音視頻解碼解壓縮軟件模塊、客戶端音視頻音像播放軟件模塊的支持下，所有登陸到這個服務器的終端都可以實時看到上述現場實時帶字幕和語音的音像畫面。

上述網絡傳輸模塊，可以是有線網絡傳輸模塊也可以是3G、4G、wifi、wimax、藍牙無線網絡傳輸模塊，在采用有線網絡傳輸模塊時，上述寬帶網絡是有線寬帶網絡，在采用無線網絡傳輸模塊時，上述寬帶網絡是無線寬帶網絡。

上述的漢語語音碼是以單詞為單位，這里將單個漢字看作單音節詞，根據組成該單詞的每個音節的《漢語拼音方案》中的拼音，用且僅用26個拉丁字母對漢語拼音的聲母、介母、韻母、聲調采取先編碼再依次按“聲碼+介碼+韻碼+調碼兼隔音節符號”的順序編碼拼寫，并通過得到的語音碼的編碼直接表達漢語信息，當直接用語音碼編碼來表示漢語信息時，其標點符號的用法同英文的標點符號的用法相同，編碼時同一個單詞的多個音節不用空格連續編碼，單詞與單詞之間要有空格隔開。