[發明專利]語料數據處理方法、裝置、電子設備及存儲介質

在審

• 申請號: 202011406813.2
• 申請日: 2020-12-04
• 公開（公告）號: CN112668324A
• 公開（公告）日: 2021-04-16
• 發明（設計）人: 郝澤宇
• 申請（專利權）人: 北京達佳互聯信息技術有限公司
• 主分類號: G06F40/289
• 分類號: G06F40/289;G06F40/242;G06F40/205;G06K9/62
• 代理公司: 廣州三環專利商標代理有限公司 44202
• 代理人: 郝傳鑫;賈允

1.一種語料數據處理方法，其特征在于，包括：

獲取語料數據；

基于詞性標注對所述語料數據進行分詞處理，得到第一分詞結果和所述第一分詞結果對應的詞性信息；

利用所述第一分詞結果對應的詞性信息對所述第一分詞結果進行擴展處理，得到第二分詞結果；

基于詞典分詞算法對所述第二分詞結果中的詞進行分詞處理，得到第三分詞結果。

2.根據權利要求1所述的語料數據處理方法，其特征在于，所述利用所述第一分詞結果對應的詞性信息對所述第一分詞結果進行擴展處理，得到第二分詞結果包括：

將所述第一分詞結果對應的詞性信息與預設詞性信息進行匹配；

當所述第一分詞結果中任一詞的詞性信息與所述預設詞性信息相匹配時，將與所述預設詞性信息相匹配的詞性信息對應的詞作為擴展詞；

將所述第一分詞結果中包括所述擴展詞的分詞結果作為待擴展分詞結果；

基于所述待擴展分詞結果和所述擴展詞進行語料擴展，得到目標擴展分詞結果；

將所述目標擴展分詞結果和所述第一分詞結果作為所述第二分詞結果。

3.根據權利要求2所述的語料數據處理方法，其特征在于，所述預設詞性信息包括多個預設詞性；所述基于所述待擴展分詞結果和所述擴展詞進行語料擴展，得到目標擴展分詞結果包括：

將詞性信息與同一預設詞性相匹配的擴展詞，劃分為同一目標擴展詞組；

遍歷每個目標擴展詞組中的擴展詞，在遍歷到每個擴展詞時，基于當前遍歷到的擴展詞的同組擴展詞，對包括所述當前遍歷到的擴展詞的待擴展分詞結果進行擴展詞替換處理，得到擴展分詞結果；

在遍歷結束時，將遍歷過程中得到的擴展分詞結果，作為所述目標擴展分詞結果；

其中，所述當前遍歷到的擴展詞的同組擴展詞為所述當前遍歷到的擴展詞所在目標擴展詞組中除所述當前遍歷到的擴展詞以外的擴展詞。

4.根據權利要求1所述的語料數據處理方法，其特征在于，所述語料數據包括多個句子，所述基于詞性標注對所述語料數據進行分詞處理，得到第一分詞結果和所述第一分詞結果對應的詞性信息包括：

基于前綴詞典對每個句子進行切分，得到所述每個句子的初始分詞結果；

對所述每個句子的初始分詞結果進行詞性分析，得到所述每個句子的初始分詞結果對應的詞性信息；

將所述每個句子的初始分詞結果和對應的詞性信息輸入句子切分分析模型，對所述初始分詞結果切分分析，得到所述每個句子的初始分詞結果的切分分析數據，所述切分分析數據表征按照初始分詞結果對對應的句子進行切分的合理程度；

基于所述每個句子的初始分詞結果的切分分析數據確定所述每個句子的第一分詞結果。

5.根據權利要求1所述的語料數據處理方法，其特征在于，所述基于詞典分詞算法對所述第二分詞結果中的詞進行分詞處理，得到第三分詞結果包括：

遍歷所述第二分詞結果中每個詞，在遍歷到每個詞時，將當前遍歷到的詞與預設詞典中的詞進行匹配；

當所述預設詞典中存在與所述當前遍歷到的詞相匹配的詞時，遍歷所述當前遍歷到的詞的下一詞；

當所述預設詞典中不存在與所述當前遍歷到的詞相匹配的詞時，根據所述詞典分詞算法對所述當前遍歷到的詞進行分詞，得到分詞結果；

在遍歷結束時，基于遍歷過程中得到的分詞結果更新所述第二分詞結果，得到所述第三分詞結果。

6.根據權利要求1至5任一所述的語料數據處理方法，其特征在于，所述方法還包括：

基于詞典分詞算法對所述語料數據進行分詞處理，得到第四分詞結果；

將所述第三分詞結果和所述第四分詞結果作為所述語料數據的目標分詞結果。