[發明專利]一種獲取語音識別模型訓練數據的方法及裝置

在審

• 申請號: 202011576869.2
• 申請日: 2020-12-28
• 公開（公告）號: CN112802469A
• 公開（公告）日: 2021-05-14
• 發明（設計）人: 張彬彬;楊超;陳曉宇;曾晨晨
• 申請（專利權）人: 出門問問（武漢）信息科技有限公司
• 主分類號: G10L15/22
• 分類號: G10L15/22;G10L15/06;H04N5/278
• 代理公司: 北京樂知新創知識產權代理事務所(普通合伙) 11734
• 代理人: 劉婧

1.一種獲取語音識別模型訓練數據的方法，其特征在于，包括：

獲取視頻流中的第t幀圖像；

當所述第t幀圖像包括第一字幕區域，獲取視頻流中的第t+1幀圖像，并從所述第t+1幀圖像中確定與第一字幕區域的位置坐標相同的區域作為第二字幕區域；

當所述第二字幕區域與所述第一字幕區域的相似度大于或等于預設閾值，以步長為1，依次獲取視頻流中的第t+2、第t+3…第t+n幀圖像，直到第t+n幀圖像對應的第n+1字幕區域與第t+n-1幀圖像對應的第n字幕區域的相似度小于預設閾值，并計算第t幀圖像至第t+n-1幀圖像之間的時間段；

提取所述視頻流中所述時間段的語音，得到語音數據；

對所述第t幀至第t+n-1幀圖像對應的第一字幕區域至第n字幕區域中的任意一個字幕區域進行文本識別，得到與語音數據對應的標注文本數據。

2.根據權利要求1所述的獲取語音識別模型訓練數據的方法，其特征在于，所述第t幀圖像包括第一字幕區域，包括：

從所述第t幀圖像中識別出各文本區域，并計算各文本區域的位置坐標；

根據各所述文本區域的位置坐標及所述第t幀圖像的尺寸確定各所述文本區域在第t幀圖像中的位置；

當至少一個所述文本區域在第t幀圖像中的位置包括特定位置，確定所述第t幀圖像包括第一字幕區域。

3.根據權利要求1所述的獲取語音識別模型訓練數據的方法，其特征在于，通過結構相似性度量方法計算第二字幕區域與所述第一字幕區域的相似度。

4.根據權利要求1所述的獲取語音識別模型訓練數據的方法，其特征在于，所述對所述第t幀至第t+n-1幀圖像對應的第一字幕區域至第n字幕區域中的任意一個字幕區域進行文本識別，得到與語音數據對應的標注文本數據，包括：

從所述第t幀至第t+n-1幀圖像中的任意一幀圖像中截取對應的字幕區域，得到子圖像；

將所述子圖像輸入文本識別模型進行文本識別，得到與語音數據對應的標注文本數據。

5.一種獲取語音識別模型訓練數據的裝置，其特征在于，包括：

第一獲取單元，用于獲取視頻流中的第t幀圖像；

第二獲取單元，用于當所述第t幀圖像包括第一字幕區域，獲取視頻流中的第t+1幀圖像，并從所述第t+1幀圖像中確定與第一字幕區域的位置坐標相同的區域作為第二字幕區域；

計算單元，用于當所述第二字幕區域與所述第一字幕區域的相似度大于或等于預設閾值，以步長為1，依次獲取視頻流中的第t+2、第t+3…第t+n幀圖像，直到第t+n幀圖像對應的第n+1字幕區域與第t+n-1幀圖像對應的第n字幕區域的相似度小于預設閾值，并計算第t幀圖像至第t+n-1幀圖像之間的時間段；

提取單元，用于提取所述視頻流中所述時間段的語音，得到語音數據；

識別單元，用于對所述第t幀至第t+n-1幀圖像對應的第一字幕區域至第n字幕區域中的任意一個字幕區域進行文本識別，得到與語音數據對應的標注文本數據。

6.根據權利要求5所述的獲取語音識別模型訓練數據的裝置，其特征在于，所述第t幀圖像包括第一字幕區域，包括：

從所述第t幀圖像中識別出各文本區域，并計算各文本區域的位置坐標；

根據各所述文本區域的位置坐標及所述第t幀圖像的尺寸確定各所述文本區域在第t幀圖像中的位置；

當至少一個所述文本區域在第t幀圖像中的位置包括特定位置，確定所述第t幀圖像包括第一字幕區域。

7.根據權利要求5所述的獲取語音識別模型訓練數據的裝置，其特征在于，通過結構相似性度量方法計算第二字幕區域與所述第一字幕區域的相似度。

8.根據權利要求5所述的獲取語音識別模型訓練數據的裝置，其特征在于，所述識別單元包括：

截取子單元，用于從所述第t幀至第t+n-1幀圖像中的任意一幀圖像中截取對應的字幕區域，得到子圖像；

識別子單元，用于將所述子圖像輸入文本識別模型進行文本識別，得到與語音數據對應的標注文本數據。