[發明專利]一種基于跨語言數據增強的分詞方法及裝置

在審

• 申請號: 202110034450.2
• 申請日: 2021-01-11
• 公開（公告）號: CN112765977A
• 公開（公告）日: 2021-05-07
• 發明（設計）人: 張建寧
• 申請（專利權）人: 百果園技術（新加坡）有限公司
• 主分類號: G06F40/289
• 分類號: G06F40/289;G06F40/284;G06F40/211;G06F9/451
• 代理公司: 北京澤方譽航專利代理事務所(普通合伙) 11884
• 代理人: 唐明磊

1.一種基于跨語言數據增強的分詞方法，其特征在于，包括：

采集若干組高資源語言數據，根據每一組所述高資源語言數據處理得到一組第一分詞語料；若干組第一分詞語料構成第一分詞語料庫；

采集若干低資源語言數據，根據低資源語言數據處理得到若干候選分詞，基于每一個候選分詞與第一分詞語料庫之間的匹配度從若干候選分詞中選取第二分詞語料；

基于第二分詞語料訓練得到分詞模型，將若干待分詞數據輸入至分詞模型中以輸出多個分詞候選結果；

基于每一個分詞候選結果與第一分詞語料庫之間的匹配度，選取匹配度最高的分詞候選結果作為分詞結果。

2.根據權利要求1所述的分詞方法，其特征在于，根據所述高資源語言數據處理得到第一分詞語料，包括：

分別對每一組高資源語言數據進行預處理；

將預處理后的每一組高資源語言數據進行數據轉換以形成多組短句，每一組短句包含若干個具有相同語言單位數的短語；

將所包含的語言單位完全相同的短語劃分為同一個短語集合，所述短語集合中包含若干種短語；

分別獲取每一種短語在為同一個短語集合中的出現頻率，根據出現頻率從高至低的排序選取排名前第一閾值的短語為第一分詞語料。

3.根據權利要求2所述的分詞方法，其特征在于，所述預處理包括按照第一預設規則對高資源語言數據中的標點符號進行轉換、按照第二預設規則對高資源語言數據中的表情符號轉換為語言單位。

4.根據權利要求2所述的分詞方法，其特征在于，根據出現頻率從高至低的排序選取排名前第一閾值的短語為第一分詞語料，包括：

根據出現頻率從高至低的排序選取排名前第一閾值的短語為候選第一分詞語料；

從同一個短語集合中任意挑選一個短語，將短語中的全部空格去除后形成關鍵字；

輸入關鍵字至預設分詞模型以輸出預測分詞語料；

比對候選第一分詞語料和預測分詞語料，當第一分詞語料與預測分詞語料一致時，將候選第一分詞語料作為第一分詞語料；當第一分詞語料與預測分詞語料不一致時，對候選第一分詞語料進行調整，將調整后的候選第一分詞語料作為第一分詞語料。

5.根據權利要求4所述的分詞方法，其特征在于，根據低資源語言數據處理得到若干候選分詞，包括：

分別對每一組低資源語言數據進行預處理；

將預處理后的每一組低資源語言數據進行數據轉換以形成多組短句，每一組短句包含若干個具有相同語言單位數的短語；

將所包含的語言單位完全相同的短語劃分為同一個短語集合，所述短語集合中包含若干種短語；

分別獲取每一種短語在為同一個短語集合中的出現頻率，根據出現頻率從高至低的排序選取排名前第二閾值的短語為候選分詞。

6.根據權利要求4所述的分詞方法，其特征在于，根據低資源語言數據處理得到若干候選分詞，包括：

分別對每一組低資源語言數據進行預處理；

將預處理后的每一組低資源語言數據進行數據轉換以形成多組短句，每一組短句包含若干個具有相同語言單位數的短語；

將任意一個短語去除短語中的空格后形成關鍵字；

采用動態規劃編程方法在關鍵字中加入空格，以形成所有可能的分詞作為候選分詞。

7.根據權利要求5或6所述的分詞方法，其特征在于，基于每一個候選分詞與第一分詞語料庫之間的匹配度從若干候選分詞中選取第二分詞語料，包括：

使用翻譯模型將每一個候選分詞分別翻譯成多個均與高資源語言數據對應高資源候選分詞；每一個所述高資源候選分詞對應有翻譯模型分配的翻譯概率；

獲取與高資源候選分詞一致的第一分詞語料在第一分詞語料庫中的出現頻率；

根據高資源候選分詞的概率以及與該高資源候選分詞一致的第一分詞語料在第一分詞語料庫中的出現頻率計算頻率指數；

將頻率指數最高的第一分詞語料所對應的高資源候選分詞作為第二分詞語料。