[發明專利]文本糾錯模型的訓練方法、設備和存儲介質

在審

• 申請號: 202110616159.6
• 申請日: 2021-06-02
• 公開（公告）號: CN113191119A
• 公開（公告）日: 2021-07-30
• 發明（設計）人: 王亦寧;劉升平;梁家恩
• 申請（專利權）人: 云知聲智能科技股份有限公司;廈門云知芯智能科技有限公司
• 主分類號: G06F40/117
• 分類號: G06F40/117;G06F40/126;G06K9/62
• 代理公司: 暫無信息
• 代理人: 暫無信息

1.一種文本糾錯模型的訓練方法，其特征在于，包括：

基于從預設的多個偽標記規則中隨機選取的偽標記規則，對獲取的無標記數據中每條文本進行偽標記構造，得到與每條文本對應的偽標記文本；

檢測偽標記構造次數是否達到預設迭代次數；

若所述偽標記構造次數達到所述預設迭代次數，將所有的偽標記文本作為偽標記數據；

將所述偽標記數據和獲取的已標記數據作為源端數據，將所述無標記數據作為目標端數據，并基于指針網絡的序列到序列方法訓練文本糾錯模型。

2.根據權利要求1所述的文本糾錯模型的訓練方法，其特征在于，預設的多個偽標記規則包括：

在每條文本中每個詞的位置以預設的第一概率隨機刪除至少一個字；和/或

在每條文本中每個詞的位置以預設的第一概率隨機插入至少一個字；和/或

將每條文本中每個詞的位置按照正態分布添加噪聲，并對添加噪聲后的每個詞重新進行排序；和/或

收集并構建音近字字典，并將每條文本中的每個詞按照預設的第三概率替換成音近字；和/或

收集并構建形近字字典，并將每條文本中的每個詞按照預設的第四概率替換成形近字；和/或

維持每條文本中每個詞。

3.根據權利要求2所述的文本糾錯模型的訓練方法，其特征在于，預設的多個偽標記規則包括在每條文本中每個詞的位置以預設的第一概率隨機插入至少一個字，所述方法還包括：

根據所述無標記數據中字符頻率構建字表；

從所述字表中選取插入的至少一個字。

4.根據權利要求3所述的文本糾錯模型的訓練方法，其特征在于，根據所述無標記數據中字符頻率構建字表，包括：

將所述無標記數據中字符頻率大于或等于預設閾值的字符作為目標字符；

根據所述目標字符構建所述字表。

5.根據權利要求1所述的文本糾錯模型的訓練方法，其特征在于，基于指針網絡的序列到序列方法訓練文本糾錯模型，包括：

對所述源端數據進行字序列劃分，并將得到的字序列進行詞向量處理，得到所述字序列對應的字矩陣；

利用編碼器對所述字矩陣進行編碼，得到輸入字序列編碼表示；

利用解碼器，在注意力機制下，對所述輸入字序列編碼進行解碼，得到與所述源端數據相對應的糾錯數據；

基于所述糾錯數據和目標端數據，確定損失值；

基于所述損失值，對當前模型進行迭代訓練，直至達到訓練停止條件，得到文本糾錯模型。

6.根據權利要求5所述的文本糾錯模型的訓練方法，其特征在于，對所述輸入字序列編碼進行解碼，得到與所述源端數據相對應的糾錯數據，包括：

對所述輸入字序列編碼進行解碼，得到糾錯后的輸出字序列編碼表示；

將所述輸出字序列編碼表示輸入編碼器的邏輯回歸層進行線性變換，輸出每個時刻t在目標端數據中的初始概率分布；

根據每個時刻t在目標端數據中的概率分布和獲取的復制機制得分，確定每個時刻t在目標端數據中的融合概率分布；

選取最大融合概率對應的字作為時刻t的生成的結果；

基于所有時刻的字，生成與所述源端數據相對應的糾錯數據。

7.根據權利要求6所述的文本糾錯模型的訓練方法，其特征在于，所述復制機制得分的獲取過程包括：

將所述輸出字序列編碼表示進行矩陣變換，得到輸出向量；

將編碼器的隱狀態進行矩陣變換，得到鍵向量和值向量；

根據所述輸出向量、所述鍵向量和所述值向量，確定所述復制機制得分。