[發明專利]語料處理方法及相關裝置

在審

• 申請號: 201910577164.3
• 申請日: 2019-06-28
• 公開（公告）號: CN110334197A
• 公開（公告）日: 2019-10-15
• 發明（設計）人: 王丹;劉偉;路向陽
• 申請（專利權）人: 科大訊飛股份有限公司
• 主分類號: G06F16/332
• 分類號: G06F16/332;G06F17/27;G06F17/28
• 代理公司: 廣州三環專利商標代理有限公司 44202
• 代理人: 郝傳鑫;熊永強

1.一種語料處理方法，其特征在于，包括：

獲取第一原始語料；

對所述第一原始語料執行預設語料擴充操作，得到至少一個第一參考擴充語料，所述預設語料擴充操作用于在相同語義約束條件下變更所述第一原始語料的表述形式；

從所述至少一個第一參考擴充語料中篩選符合預設條件的一個或多個第一參考擴充語料，將篩選出的所述一個或多個第一參考擴充語料作為所述第一原始語料的最終擴充語料。

2.根據權利要求1所述的方法，其特征在于，所述預設語料擴充操作包括分詞替換；所述對所述第一原始語料執行預設語料擴充操作，得到至少一個第一參考擴充語料，包括：

確定所述第一原始語料的至少一個第一原始分詞；

選取所述至少一個第一原始分詞中的一個或多個第一原始分詞；

對所述一個或多個第一原始分詞進行預設分詞替換操作，與所述第一原始語料融合處理后得到至少一個第一參考擴充語料，所述預設分詞替換操作包括以下至少一種：同音字替換、模糊音替換、同義詞替換。

3.根據權利要求1所述的方法，其特征在于，所述預設語料擴充操作包括干擾詞的添加；所述對所述第一原始語料執行預設語料擴充操作，得到至少一個第一參考擴充語料，包括：

確定所述第一原始語料的至少一個第一原始分詞的詞序列和每個第一原始分詞的詞性；

根據所述詞序列和所述每個第一原始分詞的詞性，確定所述第一原始語料的用于添加干擾詞的目標位置，所述目標位置包括以下至少一種：句前、句中和句末；

在所述第一語料的所述目標位置添加對應的干擾詞，得到至少一個第一參考擴充語料。

4.根據權利要求1所述的方法，其特征在于，所述預設語料擴充操作包括分詞刪除；所述對所述第一原始語料執行預設語料擴充操作，得到至少一個第一參考擴充語料，包括：

確定所述第一原始語料的至少一個第一原始分詞的詞序列和每個第一原始分詞的詞性；

根據所述詞序列和所述每個第一原始分詞的詞性，確定所述第一原始語料中待刪除的一個或多個第一原始分詞；

根據所述待刪除的一個或多個第一原始分詞對所述第一原始語料執行分詞刪除操作，得到至少一個第一參考擴充語料。

5.根據權利要求1所述的方法，其特征在于，所述預設語料擴充操作包括翻譯和逆翻譯；所述對所述第一原始語料執行預設語料擴充操作，得到至少一個第一參考擴充語料，包括：

確定所述第一原始語料的至少一個第一原始分詞的詞序列和每個第一原始分詞的詞性；

根據所述詞序列和所述每個第一原始分詞的詞性，確定所述第一原始語料的至少一個翻譯單元，所述翻譯單元包括以下任意一種：分詞、短語、子句、句子；

對所述至少一個翻譯單元中每個翻譯單元進行翻譯和逆翻譯，并將翻譯結果與所述第一原始語料融合處理，得到至少一個第一參考擴充語料。

6.根據權利要求3-5任一項所述的方法，其特征在于，所述確定所述第一原始語料的至少一個第一原始分詞的詞序列和每個第一原始分詞的詞性，包括：

對所述第一原始語料進行語義分析，得到所述第一原始語料的詞性標注序列；

根據所述詞性標注序列，確定所述第一原始語料的至少一個第一原始分詞的詞序列和每個第一原始分詞的詞性。

7.根據權利要求1-6任一項所述的方法，其特征在于，所述預設條件包括：

當前檢測的第一參考擴充語料與所述第一原始語料的相似度大于預設相似度；和/或，

當前檢測的第一參考擴充語料的通順度大于預設通順度。

8.一種語料處理裝置，其特征在于，包括處理單元和通信單元，其中，

所述處理單元，用于通過所述通信單元獲取第一原始語料；以及用于對所述第一原始語料執行預設語料擴充操作，得到至少一個第一參考擴充語料，所述預設語料擴充操作用于在相同語義約束條件下變更所述第一原始語料的表述形式；以及用于從所述至少一個第一參考擴充語料中篩選符合預設條件的一個或多個第一參考擴充語料，將篩選出的所述一個或多個第一參考擴充語料作為所述第一原始語料的最終擴充語料。