[發明專利]一種多音字待標語料的篩選方法、裝置、設備及存儲介質

在審

• 申請號: 202011037697.1
• 申請日: 2020-09-28
• 公開（公告）號: CN112201221A
• 公開（公告）日: 2021-01-08
• 發明（設計）人: 徐波
• 申請（專利權）人: 廣州多益網絡股份有限公司;廣東利為網絡科技有限公司;多益網絡有限公司
• 主分類號: G10L13/02
• 分類號: G10L13/02;G10L13/08;G06F40/242;G06F40/211
• 代理公司: 廣州三環專利商標代理有限公司 44202
• 代理人: 麥小嬋;郝傳鑫

本發明公開了一種多音字待標語料的篩選方法、裝置、設備及存儲介質，包括：獲取原始文本語料；生成漢字字串字典及字串文本字典，所述漢字字串字典用以記錄漢字映射到包含所述漢字的全部字串組成的列表，所述字串文本字典用以記錄字串映射到包含所述字串的全部文本組成的列表；循環遍歷字典，從所述漢字字串字典中取出多音字漢字，以使文本數量達到預設數值，并生成候選文本列表；選擇待標漢字，通過所述候選文本列表，獲取待標文本列表；從所述待標文本列表中依次記錄每個文本的信息，以得到輸出文本列表。本發明能夠收集題材類型全面的原始文本語料，確保文本語料對題材類型、語言風格覆蓋全面。

技術領域

本發明涉及計算機技術領域，尤其涉及一種多音字待標語料的篩選方法、裝置、設備及介質。

背景技術

字音轉換是語音合成系統(TTS)必不可少的模塊，其正確率直接影響語音合成系統的可懂度。在漢語語音合成系統中，字音轉換的任務就是將文字序列轉換為對應的拼音序列。漢語中有的字對應多個拼音，字音轉換的關鍵和難點就是如何解決這種一字多音的問題。大多數情況下，字音轉換都是在詞典中檢索當前詞，配以對應的拼音。但是很多多音字單字成詞，或者多音字所在的詞語不在拼音詞典里面，需要訓練模型去學習多音字的發音規律，從而做出正確的拼音預測。但是目前在句子級別標注拼音的語料很少，而且語料中多音字的上下文環境很多相同，導致不能對多音字的語言環境覆蓋全面，而導致用上述的語料訓練的模型預測拼音的正確率不高。

隨著互聯網產業的發展，文本數據大量產生，但是人力資源有限，因此人工標注的數據量是有限的。如果標注大量數據，覆蓋多音字的語言現象比較全面，但是需要消耗大量的人力和時間。如果從大量的數據中篩選一部分數據，讓這一部分數據涵蓋了原數據的語言現象，那么只用這一部分較少量數據也能達到良好的效果，但是目前還沒有從大量數據中篩選少量數據用以標注多音字字音的方法。

發明內容

本發明實施例所要解決的技術問題在于，提供一種多音字待標語料的篩選方法、裝置、設備及介質，能夠收集題材類型全面的原始文本語料，確保文本語料對題材類型、語言風格覆蓋全面。

為了實現上述目的，本發明實施例提供了一種多音字待標語料的篩選方法，包括：

獲取原始文本語料；其中，所述原始文本語料包括至少一個多音字；

生成漢字字串字典及字串文本字典，所述漢字字串字典用以記錄漢字映射到包含所述漢字的全部字串組成的列表，所述字串文本字典用以記錄字串映射到包含所述字串的全部文本組成的列表；

循環遍歷字典，從所述漢字字串字典中取出多音字漢字，以使文本數量達到預設數值，并生成候選文本列表；

選擇待標漢字，通過所述候選文本列表，獲取待標文本列表；

從所述待標文本列表中依次記錄每個文本的信息，考察一個文本后，記錄當前包含預設多音字的文本數量、多音字數量及多音字漢字，以得到輸出文本列表。

進一步的，所述獲取原始文本語料，具體包括：

收集原始文本語料，對所述原始文本語料進行分句處理，將分句處理后的分句作為文本添加到輸入文本列表，對所述輸入文本列表的文本進行去重操作，從而得到去重后的所述輸入文本列表。

進一步的，所述生成漢字字串字典及字串文本字典后還包括：

設定字串窗口，對所述全部文本所組成的列表中的每一個文本進行如下操作：字串窗口從句首往句尾移動，考察字串窗口的字串，如果存在多音漢字，則把所述字串添加到所述漢字字串字典中所述漢字的字串列表下，并且把所述文本添加到所述字串文本字典中所述字串的文本列表。

進一步的，所述循環遍歷字典，從所述漢字字串字典中取出多音字漢字，以使文本數量達到預設數值，并生成候選文本列表，具體包括：