[發明專利]標點符號識別模型構建方法和裝置

有效

• 申請號: 202210030614.9
• 申請日: 2022-01-12
• 公開（公告）號: CN114049885B
• 公開（公告）日: 2022-04-22
• 發明（設計）人: 陳夢喆;陳謙
• 申請（專利權）人: 阿里巴巴達摩院（杭州）科技有限公司
• 主分類號: G10L15/06
• 分類號: G10L15/06;G10L15/02;G10L15/22;G10L15/26;G06V30/10
• 代理公司: 北京潤澤恒知識產權代理有限公司 11319
• 代理人: 郝玉娥

1.一種標點符號識別模型構建方法，其特征在于，包括：

獲取第一文本集和第一語音數據集，及第二語音數據與第二文本之間的對應關系集；

根據第一文本集，學習得到所述模型包括的文本處理模塊的網絡參數；根據第一語音數據集，學習得到所述模型包括的語音處理模塊的第一網絡參數；所述語音處理模塊的輸入數據為語音數據，通過多層特征提取輸出高階聲學特征；所述文本處理模塊的輸入數據為不帶有標點符號的文本，通過多層特征提取出數據為文本特征，所述文本處理模塊基于所述文本特征和高階聲學特征，預測文本包括的標點符號；

根據所述對應關系集，對基于第一網絡參數的語音處理模塊進行訓練，得到語音處理模塊的第二網絡參數，構建好的模型包括基于第二網絡參數的語音處理模塊和所述文本處理模塊，所述文本處理模塊的網絡參數是根據所述第一文本集學習得到的參數。

2.根據權利要求1所述的方法，其特征在于，所述第一文本集和第一語音數據集包括第一領域和/或第一語種的文本和語音信息，所述對應關系集包括第二領域和/或第二語種的文本和語音信息，所述模型用于識別第一領域和/或第一語種的語音轉寫文本的標點符號。

3.根據權利要求1所述的方法，其特征在于，

所述文本處理模塊包括多個文本特征提取層；

所述文本特征提取層的輸入數據包括：上一文本特征提取層輸出的文本特征，語音處理模塊輸出的聲學特征。

4.根據權利要求3所述的方法，其特征在于，

所述第二語音數據包括含有噪聲的語音數據；

所述語音處理模塊包括：聲學特征提取模塊，音頻質量檢測模塊，聲學特征調整模塊；

所述音頻質量檢測模塊，用于獲取所述第二語音數據的音頻質量數據；

所述聲學特征調整模塊，用于根據音頻質量數據，對聲學特征提取模塊輸出的聲學特征進行調整，將調整后的聲學特征作為對應的文本特征提取層的輸入數據。

5.根據權利要求4所述的方法，其特征在于，

所述語音處理模塊還包括：與各文本特征提取層分別對應的聲學特征轉換層；

所述聲學特征轉換層，用于對調整后的聲學特征進行特征轉換，將轉換后的聲學特征作為對應的文本特征提取層的輸入數據。

6.根據權利要求4所述的方法，其特征在于，

所述音頻質量檢測模塊包括：時頻特征提取模塊，音頻質量確定模塊；

時頻特征提取模塊，用于從所述第二語音數據中提取時頻特征；

所述音頻質量確定模塊，用于根據時頻特征，獲取所述音頻質量數據。

7.根據權利要求3所述的方法，其特征在于，

所述語音處理模塊包括：聲學特征提取模塊，與各文本特征提取層分別對應的聲學特征轉換層；

所述聲學特征轉換層，用于對聲學特征提取模塊輸出的聲學特征進行特征轉換，將轉換后的聲學特征作為對應的文本特征提取層的輸入數據。

8.根據權利要求1所述的方法，其特征在于，所述根據第一文本集，學習得到所述模型包括的文本處理模塊的網絡參數，包括：

去除第一文本中的標點符號；

將去除標點符號的第一文本作為文本處理模塊的輸入數據，通過文本處理模塊預測輸入文本的標點符號；

根據預測出的標點符號和第一文本的標點符號標注信息之間的差異，調整文本處理模塊的網絡參數。

9.根據權利要求1所述的方法，其特征在于，所述根據第一語音數據集，學習得到所述模型包括的語音處理模塊的第一網絡參數，包括：

通過自學習方式，根據第一語音數據集，學習得到所述模型包括的語音處理模塊的第一網絡參數。