[發明專利]一種全景視頻錄制時自動生成字幕文件的方法及裝置

在審

• 申請號: 201710392422.1
• 申請日: 2017-05-27
• 公開（公告）號: CN107124647A
• 公開（公告）日: 2017-09-01
• 發明（設計）人: 陳鑫;李晶;陳勇
• 申請（專利權）人: 深圳市酷開網絡科技有限公司
• 主分類號: H04N21/433
• 分類號: H04N21/433;H04N21/439;H04N21/81
• 代理公司: 深圳市君勝知識產權代理事務所(普通合伙)44268
• 代理人: 王永文,劉文求

1.一種全景視頻錄制時自動生成字幕文件的方法，其特征在于，包括步驟：

實時獲取全景視頻錄制時的原始音頻數據；

對所述原始音頻數據進行處理獲取二次音頻數據、音頻位置數據以及音頻時間數據；

對所述二次音頻數據進行模型匹配，生成相對應的文字數據；

實時接收所述文字數據、音頻位置數據以及時間數據，根據所述音頻位置數據和時間數據對所述文字數據進行實時編輯，形成字幕文件。

2.根據權利要求1所述的全景視頻錄制時自動生成字幕文件的方法，其特征在于，所述步驟實時獲取全景視頻錄制時的原始音頻數據具體包括：

通過設置在全景攝像機上的六麥環形陣列獲實時取原始音頻數據。

3.根據權利要求1所述的全景視頻錄制時自動生成字幕文件的方法，其特征在于，所述步驟對所述原始音頻數據進行處理獲取二次音頻數據、音頻位置數據以及時間數據具體包括：

對所述原始音頻數據進行噪聲抑制、混響消除、回聲抵消、波束形成以及陣列增益處理，得到二次音頻數據以及音頻時間數據；

對所述原始音頻數據進行聲源定位處理獲得音頻位置數據。

4.根據權利要求1所述的全景視頻錄制時自動生成字幕文件的方法，其特征在于，所述步驟對所述二次音頻數據進行模型匹配，生成相對應的文字數據具體包括：

通過DNN算法對所述二次音頻數據進行語音和語義的識別，生成識別后的文字數據。

5.根據權利要求1所述的全景視頻錄制時自動生成字幕文件的方法，其特征在于，所述步驟實時接收所述文字數據、音頻位置數據以及時間數據，根據所述音頻位置數據和時間數據對所述文字數據進行實時編輯，形成字幕文件具體包括:

通過協處理器的字幕編輯功能，依次按照 [音頻角度數據][時間數據][文字數據]的順序格式排列，形成字幕文件。

6.根據權利要求1所述的全景視頻錄制時自動生成字幕文件的方法，其特征在于，所述步驟實時接收所述文字數據、音頻位置數據以及時間數據，根據所述音頻位置數據和時間數據對所述文字數據進行實時編輯，形成字幕文件之后還包括：

根據音頻位置數據將所述字幕文件加載在全景視頻相應音源方位的底部。

7.一種全景視頻錄制時自動生成字幕文件的裝置，其特征在于，包括依次電連接的六麥環形陣列、陣列音源處理器以及協處理器：

所述六麥環形陣列用于實時獲取全景視頻錄制時的原始音頻數據；

所述陣列音源處理器用于對所述原始音頻數據進行處理獲取二次音頻數據、音頻位置數據以及音頻時間數據，同時還用于對所述二次音頻數據進行模型匹配，生成相對應的文字數據；

所述協處理器用于實時接收所述文字數據、音頻位置數據以及時間數據，根據所述音頻位置數據和時間數據對所述文字數據進行實時編輯，形成字幕文件。

8.根據權利要求7所述的全景視頻錄制時自動生成字幕文件的裝置，其特征在于，所述六麥環形陣列由六個環形的聲學傳感器組成，所述六個聲學傳感器分別與所述陣列音源處理器電連接。

9.根據權利要求7所述的全景視頻錄制時自動生成字幕文件的裝置，其特征在于，所述陣列音源處理器內包含聲源定位單元，所述聲源定位單元用于對所述原始音頻數據進行聲源定位處理獲得音頻位置數據。

10.根據權利要求9所述的全景視頻錄制時自動生成字幕文件的裝置，其特征在于，協處理器還包括加載單元，所述加載單元用于根據音頻位置數據將所述字幕文件加載在全景視頻相應音源方位的底部。