[發明專利]一種文本規整方法、裝置、設備及可讀存儲介質

有效

• 申請號: 201811220743.4
• 申請日: 2018-10-19
• 公開（公告）號: CN109446508B
• 公開（公告）日: 2023-06-02
• 發明（設計）人: 戚婷;高建清;孔常青;王智國
• 申請（專利權）人: 科大訊飛股份有限公司
• 主分類號: G06F40/189
• 分類號: G06F40/189
• 代理公司: 北京集佳知識產權代理有限公司 11227
• 代理人: 王云曉;王寶筠

1.一種文本規整方法，其特征在于，包括：

獲取待規整文本；

將所述待規整文本的文本內容處理成多個文本單元，獲得預處理文本，其中，所述預處理文本中的一個文本單元為一個詞或字；

基于所述預處理文本中每個文本單元對應的規整類別信息，對所述待規整文本中的待規整文本單元進行規整，獲得規整后的文本；

所述基于所述預處理文本中每個文本單元對應的規整類別信息，對所述待規整文本中的待規整文本單元進行規整，獲得規整后的文本，包括：

獲取所述預處理文本中每個文本單元對應的規整特征；

基于所述預處理文本中每個文本單元對應的規整特征，通過預先建立的兩級規整模型中的第一級規整模型，確定所述每個文本單元對應的規整類別信息；

基于所述每個文本單元對應的規整類別信息，通過所述兩級規整模型中的第二級規整模型，對所述待規整文本中的待規整文本單元進行規整，獲得所述規整后的文本。

2.根據權利要求1所述的文本規整方法，其特征在于，所述將所述待規整文本的文本內容處理成多個文本單元，包括：

對所述待規整文本的文本內容進行分詞，獲得多個詞；

將所述多個詞中包含數字的詞拆分為單字。

3.根據權利要求1所述的文本規整方法，其特征在于，所述兩級規整模型中的第一級規整模型基于標注有規整類別標簽的訓練文本訓練得到；

所述規整類別標簽基于標注所采用的標簽體系和預先定義的規整類別確定。

4.根據權利要求1所述的文本規整方法，其特征在于，所述基于所述預處理文本中每個文本單元對應的規整特征，通過預先建立的兩級規整模型中的第一級規整模型，確定所述每個文本單元對應的規整類別信息，包括：

將所述預處理文本中每個文本單元對應的規整特征與對應的詞向量進行拼接，將拼接后得到的向量輸入所述兩級規整模型中的第一級規整模型，獲得所述第一級規整模型輸出的、所述預處理文本中每個文本單元對應的規整類別信息。

5.根據權利要1所述的文本規整方法，其特征在于，所述基于所述每個文本單元對應的規整類別信息，通過所述兩級規整模型中的第二級規整模型，對所述待規整文本中的待規整文本單元進行規整，獲得所述規整后的文本，包括：

將所述預處理文本中每個文本單元對應的規整類別信息與對應的規整特征和對應的詞向量進行拼接，將拼接后得到的向量輸入所述兩級規整模型中的第二級規整模型，獲得所述第二級規整模型輸出的、所述規整后的文本。

6.根據權利要求1所述的文本規整方法，其特征在于，所述獲取所述預處理文本中每個文本單元對應的規整特征，包括：

針對所述預處理文本中的每個文本單元，提取第一特征、第二特征、第三特征和第四特征中任意一種特征或多種特征作為該文本單元對應的規整特征，以得到所述預處理文本中的每個文本單元對應的規整特征；

其中，一個文本單元對應的第一特征用于表征該文本單元是否可能需要規整，一個文本單元對應的第二特征用于表征該文本單元是否可能含數字但無需規整，一個文本單元對應的第三特征用于表征該文本單元所屬的規整類別，一個文本單元對應的第四特征用于表征該文本單元所代表的數字是否能被萬整除。

7.根據權利要求3所述的文本規整方法，其特征在于，所述預先定義的規整類別包括以下類別中的一種或多種：自然數、數字及符號映射、時間格式、含數字無需規整。