[發明專利]自動語音識別技術的清洗方法、裝置以及電子設備

在審

• 申請號: 202210267032.2
• 申請日: 2022-03-17
• 公開（公告）號: CN114627875A
• 公開（公告）日: 2022-06-14
• 發明（設計）人: 朱彥浩;胡郡郡;唐大閏
• 申請（專利權）人: 北京明略昭輝科技有限公司
• 主分類號: G10L15/26
• 分類號: G10L15/26;G06F16/33;G06F16/783;G06F40/20
• 代理公司: 北京華夏泰和知識產權代理有限公司 11662
• 代理人: 沈園園

本發明公開了一種自動語音識別技術的清洗方法、裝置以及電子設備。該方法包括：將待測試視頻進行切分，得到多段第一時長的目標視頻段；將目標視頻段通過自動語音技術識別技術得到對應的目標文本；將目標視頻段和對應的目標文本發送至已訓練的網絡結構模型中，由網絡結構模型對目標文本內的字符進行打分，得到字符的得分；當字符的得分大于或等于閾值的情況下，保留目標文本中的字符；當字符的得分小于閾值的情況下，從目標文本中刪除字符。本發明解決了在多模態視頻中的自動語音識別技術結果包含部分視頻的背景音樂歌詞和人聲混合的技術問題。

技術領域

本發明涉及計算機領域，具體而言，涉及一種自動語音識別技術的清洗方法、裝置、存儲介質以及電子設備。

背景技術

自動語音識別技術(Automatic Speech Recognition ASR)，是將視頻中的人的語音信息自動轉為文本的技術手段。ASR目前被廣泛的應用于即時通信(如微信語音轉文字)，搜索引擎，車機系統，智能家居等方面。現有技術中，ASR可以用于視頻的的分類上，能夠快速的知道這個視頻的大概內容，不再需要人力去瀏覽一遍視頻，大大的節省了工作的時間。還可以在視頻的段的分割上，根據背景人聲音的內容不同，以不同的視頻內容進行有效的分段。對于多媒體視頻的ASR的結果解析上，如果識別錯誤，那么無法進行二次的矯正。很多情況下，多媒體的視頻背景聲音中，不但有人物說話的聲音，還有一部分的音樂，歌詞也可能會被混合在一起，為ASR的識別結果，但這部分結果其實并不是想要的內容，需要進行清洗。

發明內容

本發明實施例提供了一種自動語音識別技術的清洗方法、裝置以及電子設備，以至少解決在多模態視頻中的自動語音識別技術結果包含部分視頻的背景音樂歌詞和人聲混合的技術問題。

根據本發明實施例的一個方面，提供了一種自動語音識別技術的清洗方法，包括：將待測試視頻進行切分，得到多段第一時長的目標視頻段；將上述目標視頻段通過自動語音技術識別技術得到對應的目標文本；將上述目標視頻段和對應的目標文本發送至已訓練的網絡結構模型中，由上述網絡結構模型對上述目標文本內的字符進行打分，得到上述字符的得分；當上述字符的得分大于或等于閾值的情況下，保留上述目標文本中的上述字符；當上述字符的得分小于閾值的情況下，從上述目標文本中刪除上述字符。

根據本發明實施例的另一方面，提供了一種自動語音識別技術的清洗裝置，包括：切分模塊，用于將待測試視頻進行切分，得到多段第一時長的目標視頻段；第一處理模塊，用于將上述目標視頻段通過自動語音技術識別技術得到對應的目標文本；發送模塊，用于將上述目標視頻段和對應的目標文本發送至已訓練的網絡結構模型中，由上述網絡結構模型對上述目標文本內的字符進行打分，得到上述字符的得分；第二處理模塊，用于當上述字符的得分大于或等于閾值的情況下，保留上述目標文本中的上述字符；第三處理模塊，用于當上述字符的得分小于閾值的情況下，從上述目標文本中刪除上述字符。

作為一種可選的示例，上述裝置還包括：獲取模塊，用于在將所述目標視頻段和對應的目標文本發送至已訓練的網絡結構模型中之前，獲取第一視頻和第二視頻；確定模塊，用于根據上述第一視頻和上述第二視頻確定正樣本和負樣本；第四處理模塊，用于使用上述正樣本和上述負樣本訓練網絡結構模型，得到已訓練的上述網絡結構模型。

作為一種可選的示例，上述確定模塊包括：提取單元，用于從上述第一視頻中提取出多段第一時長的第一視頻段，從上述第二視頻中提取出多段上述第一時長的第二視頻段；識別單元，用于識別上述第一視頻段的語音信息，得到上述第一視頻段的第一文本，識別上述第二視頻段的語音信息，得到上述第二視頻段的第二文本；第一處理單元，用于將上述第一視頻段和上述第一文本作為上述正樣本，將上述第一視頻段和上述第二文本作為上述負樣本。