[發明專利]在自動化配音場景中實現短語音同步的方法和裝置

在審

• 申請號: 202110028929.5
• 申請日: 2021-01-14
• 公開（公告）號: CN112837691A
• 公開（公告）日: 2021-05-25
• 發明（設計）人: 不公告發明人
• 申請（專利權）人: 北京中科深智科技有限公司
• 主分類號: G10L15/26
• 分類號: G10L15/26;H04N21/43;H04N21/4402
• 代理公司: 暫無信息
• 代理人: 暫無信息

本發明公開了一種在自動化配音場景中實現短語音同步的方法和裝置，其中方法包括：將源韻律短語記錄為源語調短語；將源語調短語進行語言翻譯后形成目標語調短語；將目標語調短語與源韻律短語進行韻律對齊，輸出目標語調短語對應的初始目標韻律短語；對初始目標韻律短語和源韻律短語進行音素匹配；計算源韻律短語和初始目標韻律短語中的每個音素的停留時長，然后根據初始目標韻律短語和源韻律短語中的音素間的匹配關系，對初始目標韻律短語中的音素進行停留時長調整或音素插值，以對齊所述初始目標韻律短語和所述源韻律短語中的韻律；將時長調整或音素插值后的初始目標韻律短語合成為目標韻律短語。本發明提高了配音的自然流暢度。

技術領域

本發明涉及配音技術領域，具體涉及一種在自動化配音場景中實現短語音同步的方法和裝置。

背景技術

配音是為影片或多媒體加入聲音的過程。而狹義上指配音演員替角色配上聲音，或以其他語言代替原片中角色的語言對白。同時，由于聲音出現錯漏，由原演員重新為片段補回對白的過程亦稱為配音。

音節是人們聽覺上最容易分辨出來的語音單位，也是語流中最自然的語音單位。韻律詞是一組在實際語流中聯系密切的，經常連在一起發音的音節。韻律短語是介于韻律詞和語調短語之間的中等節奏組塊，它可能小于句法上的短語，內部各個韻律詞之間可能出現韻律上的節奏邊界，具有相對穩定的短語調模式和短語重音配置模式。一般而言，韻律短語是指組成韻律短語的幾個韻律詞聽起來是共用一個節奏群。而語調短語就是將幾個韻律短語按照一定的句調模式連接起來，一般對應句法上的句子。舉例而言，語調短語為“使用程序節省了時間且提高了數據的準確性”，這個語調短語的韻律短語為“使用程序節省了時間”、“且提高了數據的準確性”。人們在讀這句話時，一般會在“使用程序節省了時間”后做些許停頓，所以以這個停頓為分界點，將該語調短語分界為兩個韻律短語。至于韻律詞，為了確保詞語的完整性，一般將“使用”“程序”“節省了”“時間”“且”“提高了”“數據的”“準確性”作為韻律詞。音節則為發音的最小單位，“使”“用”“程”“序”等單個字及為音節。

要使得配音自然流暢，最關鍵的技術是要解決短語音同步的問題。比如，英文“what are you doing”和中文“你在這里做什么”，兩個韻律短語的發音時間通常是不同步的，可能一個時間長一個時間短，所以需要將配音與原始音頻對齊，以與電視畫面的播放進度相匹配，以提高配音的自然流暢度，但現有的配音對齊方法效果并不理想，容易出現配音語速過快或過慢，難以與原始音頻對齊的現象。

發明內容

本發明以提高配音的自然流暢度為目的，提供了一種在自動化配音場景中實現短語音同步的方法和裝置。

為達此目的，本發明采用以下技術方案：

提供一種在自動化配音場景中實現短語音同步的方法，具體步驟包括：

1)將源韻律短語記錄為源語調短語并保存；

2)將所述源語調短語從源語言翻譯為目標語言后，形成目標語調短語并保存；

3)將所述目標語調短語與所述源韻律短語進行韻律對齊，輸出所述目標語調短語對應的初始目標韻律短語；

4)對所述初始目標韻律短語和所述源韻律短語進行音素匹配，輸出關系匹配結果并保存；

5)計算所述源韻律短語和所述初始目標韻律短語中的每個音素的停留時長，然后根據所述初始目標韻律短語和所述源韻律短語中的音素間的匹配關系，調整所述初始目標韻律短語中的音素的停留時長或進行音素插值，以對齊所述初始目標韻律短語和所述源韻律短語中的韻律；

6)將時長調整或音素插值后的所述初始目標韻律短語合成為目標韻律短語并輸出。

優選地，所述步驟2)中，將所述源語調短語從源語言翻譯為目標語言的步驟具體包括：

2.1)將所述源語調短語轉換為源文字文本并保存；