[發明專利]中文在線音視頻的字幕生成方法

有效

• 申請號: 201811107225.1
• 申請日: 2018-09-21
• 公開（公告）號: CN109257547B
• 公開（公告）日: 2021-04-06
• 發明（設計）人: 薛景;陳康揚;王宇
• 申請（專利權）人: 南京郵電大學
• 主分類號: H04N5/278
• 分類號: H04N5/278;H04N21/439;G10L21/0208;G10L15/22;G10L15/04
• 代理公司: 南京蘇科專利代理有限責任公司 32102
• 代理人: 姚姣陽

本發明揭示了一種中文在線音視頻的字幕生成方法，包括如下步驟：S1、音頻數據提取步驟，服務器接收音視頻文件、提取音頻數據并轉化為標準格式；S2、降噪步驟，對音頻數據進行降噪處理，得到音頻文件；S3、數據切分步驟，對音頻文件進行端點切分，得到音頻樣本；S4、片段識別步驟，對所得到的音頻樣本進行進一步切分，得到語音片段，再對語音片段進行識別，整理得到全部音頻數據的識別結果；S5、字幕生成步驟，整合分析出文本及對應的時間軸，得到字幕文件，按照生成的字幕文件將字幕與音頻數據進行匹配。本發明的方法可以自動完成音視頻信息的語音識別和字幕生成工作，有效地彌補了傳統的人工速記在字幕生成工作中轉換效率上的不足。

技術領域

本發明涉及一種字幕自動生成方法，具體而言，涉及一種中文在線課程音視頻的字幕自動生成方法，屬于音頻識別技術領域。

背景技術

伴隨著互聯網技術的不斷進步和提高，各類中文在線音頻、視頻課程網站也得到了廣泛地普及和迅速的發展，傳播各領域專業知識的途徑和形式都發生了改變。音頻、視頻信息中的同步字幕，幫助學習者克服了由于地域文化和語言差異在理解新知識時造成的困難，也消除了由于授課人吐詞不清、同音字、語音不標準等引起的收聽、觀看音視頻信息的障礙。同時，給音視頻加上字幕，還能有效幫助一些聽力功能衰弱或有障礙的人群理解課程中的學習內容。

傳統的對音視頻進行字幕添加的方式，是由專業的速記人員在收聽、觀看音視頻數據的同時，以文字的方式快速記錄每個時刻聽到的聲音信息，并記錄下相應信息的時間戳，再由人工校對的方式將記錄下的文字添加到音視頻的特定時間戳位置上。該方式不僅對速記人員提出了很高的專業要求，還經常需要反復校對才能保證字幕內容的完善。此外，在添加字幕的過程中，往往也會因時間軸上存在誤差而進行大量的精細調整，十分耗費人力資源。

國外的一些視頻課程網站，比如Coursera，已經開始為所有的英語視頻提供自動生成的字幕。對于聽力有障礙的用戶或者希望觀看他國語言視頻的用戶是一個極大的福利。Google科學家Mike Cohen表示，字幕生成技術集語音識別和翻譯算法于一體，但這一技術并非完美無缺，仍需要不斷進步。并且，目前也有一些學者針對國內目前的中文音視頻的自動字幕生成技術進行了調研，發現在中文在線課程的相關站點中，該項技術尚未得到廣泛應用。

綜上所述，如何在現有技術的基礎上提出一種中文在線音視頻的字幕生成方法，結合現有技術中的諸多優點，也就成為了本領域內技術人員亟待解決的問題。

發明內容

鑒于現有技術存在上述缺陷，本發明提出了一種中文在線音視頻的字幕生成方法，包括如下步驟：

S1、音頻數據提取步驟，服務器接收用戶上傳的音視頻文件、并從所接收的音視頻文件中提取出音頻數據，將音頻數據轉化為標準格式；

S2、降噪步驟，對已轉化為標準格式的音頻數據進行降噪處理，得到降噪完成的音頻文件；

S3、數據切分步驟，對音頻文件進行端點切分，得到音頻樣本；

S4、片段識別步驟，對所得到的音頻樣本進行進一步切分，得到一系列語音片段，再對語音片段進行識別，整理得到全部音頻數據的識別結果；

S5、字幕生成步驟，整合分析出文本及對應的時間軸，得到字幕文件，按照生成的字幕文件將字幕與音頻數據進行匹配。

優選地，S1所述音頻數據提取步驟，具體包括：用戶通過中文在線課程視頻網站上傳一段音視頻文件，服務器接收到音視頻文件、提取出其中的音頻數據，服務器從音頻數據中讀取參數信息，并將音頻數據轉化為標準格式；所述參數信息至少包括聲道數、編碼方式及采樣率。

優選地，所述的標準格式為單聲道和16000幀率的WAV格式。