[發明專利]文本斷句位置的識別方法及系統、電子設備及存儲介質

在審

• 申請號: 202010628393.6
• 申請日: 2020-07-01
• 公開（公告）號: CN111737991A
• 公開（公告）日: 2020-10-02
• 發明（設計）人: 楊赫;羅超;胡泓
• 申請（專利權）人: 攜程計算機技術（上海）有限公司
• 主分類號: G06F40/284
• 分類號: G06F40/284;G06F40/216;G06F40/211;G06F40/126;G06N3/04
• 代理公司: 上海弼興律師事務所 31283
• 代理人: 薛琦;張冉

1.一種文本斷句位置的識別方法，其特征在于，包括以下步驟：

接收語音識別后的文本數據，并將所述文本數據中的每個字符映射為字符向量；

利用Bi-LSTM模型提取每個字符向量的語義特征，得到隱向量；

對所述隱向量進行處理，并將處理后的隱向量輸入至CRF模型；

使用維特比算法對CRF模型的輸出結果進行解碼，根據全局最優序列預測輸出所述字符向量的標簽，其中，所述標簽用于表征所述字符后面是否為斷句位置；

根據每個字符對應的標簽識別所述文本數據的所有斷句位置。

2.如權利要求1所述的識別方法，其特征在于，所述根據每個字符對應的標簽識別所述文本數據的所有斷句位置，具體包括以下步驟：

若目標字符對應的標簽表征所述目標字符后面為斷句位置，則判斷所述目標字符與下一個位置的字符組成的字符串是否為單詞；

若否，則識別所述目標字符后面為斷句位置。

3.如權利要求1所述的識別方法，其特征在于，所述根據每個字符對應的標簽識別所述文本數據的所有斷句位置，具體包括以下步驟：

若目標字符對應的標簽表征所述目標字符后面為斷句位置，且所述目標字符為英文字符，則判斷所述目標字符的下一個位置是否為英文字符；

若否，則識別所述目標字符后面為斷句位置。

4.如權利要求1所述的識別方法，其特征在于，基于以下步驟訓練所述Bi-LSTM模型和所述CRF模型：

對人工標記的目標文本數據添加用于表征是否為斷句位置的標簽；

將所述目標文本數據中的每個字符映射為字符向量；

利用Bi-LSTM模型提取每個字符向量的語義特征，得到隱向量；

對所述隱向量進行處理，并將處理后的隱向量輸入至CRF模型；

使用維特比算法對CRF模型的輸出結果進行解碼，根據全局最優序列預測輸出所述字符向量的標簽；

根據人工標注的斷句位置與預測得到的標簽調整所述Bi-LSTM模型和所述CRF模型的參數，直至預測得到的標簽所對應的損失值達到收斂。

5.如權利要求1所述的識別方法，其特征在于，所述對所述隱向量進行處理包括以下步驟：按照最后一個維度對所述隱向量進行拼接。

6.一種文本斷句位置的識別系統，其特征在于，包括：

接收模塊，用于接收語音識別后的文本數據，并將所述文本數據中的每個字符映射為字符向量；

提取模塊，用于利用Bi-LSTM模型提取每個字符向量的語義特征，得到隱向量；

處理模塊，用于對所述隱向量進行處理，并將處理后的隱向量輸入至CRF模型；

預測模塊，用于使用維特比算法對CRF模型的輸出結果進行解碼，根據全局最優序列預測輸出所述字符向量的標簽，其中，所述標簽用于表征所述字符后面是否為斷句位置；

識別模塊，用于根據每個字符對應的標簽識別所述文本數據的所有斷句位置。

7.如權利要求6所述的識別系統，其特征在于，所述識別模塊具體用于在目標字符對應的標簽表征所述目標字符后面為斷句位置的情況下，判斷所述目標字符與下一個位置的字符組成的字符串是否為單詞，若否，則識別所述目標字符后面為斷句位置。

8.如權利要求6所述的識別系統，其特征在于，所述識別模塊具體用于在目標字符對應的標簽表征所述目標字符后面為斷句位置且所述目標字符為英文字符的情況下，判斷所述目標字符的下一個位置是否為英文字符，若否，則識別所述目標字符后面為斷句位置。

9.一種電子設備，包括存儲器、處理器及存儲在存儲器上并可在處理器上運行的計算機程序，其特征在于，所述處理器執行所述計算機程序時實現權利要求1-5中任一項所述的文本斷句位置的識別方法。

10.一種計算機可讀存儲介質，其上存儲有計算機程序，其特征在于，所述計算機程序被處理器執行時實現如權利要求1-5中任一項所述的文本斷句位置的識別方法的步驟。