[發明專利]一種維吾爾語實體識別的方法、裝置和電子設備

有效

• 申請號: 202010840349.1
• 申請日: 2020-08-20
• 公開（公告）號: CN111814433B
• 公開（公告）日: 2022-02-18
• 發明（設計）人: 錢泓錦;劉占亮;竇志成;劉家俊
• 申請（專利權）人: 北京智源人工智能研究院
• 主分類號: G06F40/126
• 分類號: G06F40/126;G06F40/16;G06F40/295;G06F40/30;G06N3/04;G06N3/08
• 代理公司: 北京動力號知識產權代理有限公司 11775
• 代理人: 梁艷

1.一種維吾爾語實體識別的方法，其特征在于，包括：

將待識別的維吾爾語語句中的字符轉換為拉丁字母，得到待識別的維吾爾語語句的拉丁字母表示形式，包括通過預先建立的字典將維吾爾語語句中的字符轉換為拉丁字母，所述字典包括維吾爾語字符和拉丁字母的對應映射關系；

將拉丁字母表示形式輸入到預先訓練的字符級語言模型中，提取所述待識別的維吾爾語語句的語義特征；

將所述語義特征輸入到預先訓練的實體識別模型中，得到所述待識別的維吾爾語語句的初步實體識別結果；

從所述初步實體識別結果中提取實體詞；

對所述實體詞進行去詞綴處理，得到最終實體識別結果，包括：

將所述實體詞的詞綴與預設的詞綴和字母進行匹配，以判斷所述實體詞的詞綴是否為多余詞綴，包括：

如果所述實體詞的詞綴與所述預設的詞綴匹配，或者所述實體詞的詞綴與所述預設的詞綴和字母的組合匹配，則所述實體詞的詞綴為多余詞綴；

如果為多余詞綴，則對所述多余詞綴進行去詞綴處理，得到最終實體識別結果；

如果不為多余詞綴，則將所述實體詞作為最終實體識別結果；

判斷去詞綴處理之后的實體詞是否完整；

如果不完整，則根據啟發式規則補全所述實體詞的字符；

其中，所述字符級語言模型和實體識別模型是通過如下步驟訓練得到的：

獲取包括維吾爾語語句的維吾爾語語料；

將維吾爾語語句中的字符轉換為拉丁字母，得到拉丁字母語料；

利用所述拉丁字母語料訓練得到所述字符級語言模型和實體識別模型，包括：

基于所述拉丁字母語料訓練得到所述字符級語言模型；

利用所述訓練的字符級語言模型根據所述拉丁字母語料獲得詞向量語料；

利用所述詞向量語料訓練得到所述實體識別模型。

2.如權利要求1所述維吾爾語實體識別的方法，其特征在于，所述從所述初步實體識別結果中提取實體詞，包括：

對所述初步實體識別結果的文本序列X，按照如下公式計算其中所有可能的標簽序列的得分，選取得分最高的標簽序列y?：

式中，表示所有可能的標簽序列，表示其中一個可能的標簽序列，表示標簽序列的得分計算公式；

將所述得分最高的標簽序列中與實體標簽對應的詞抽取出來，得到實體詞。

3.一種維吾爾語實體識別的裝置，其特征在于，包括：

拉丁字母轉換模塊，用于將待識別的維吾爾語語句中的字符對應轉換為拉丁字母，得到待識別的維吾爾語語句的拉丁字母表示形式，包括通過預先建立的字典將維吾爾語語句中的字符轉換為拉丁字母，所述字典包括維吾爾語字符和拉丁字母的對應映射關系；

語義特征提取模塊，用于將拉丁字母表示形式輸入到預先訓練的字符級語言模型中，提取所述待識別的維吾爾語語句的語義特征；

初步實體識別模塊，用于將所述語義特征輸入到預先訓練的實體識別模型中，得到所述待識別的維吾爾語語句的初步實體識別結果；

實體詞提取模塊，用于從所述初步實體識別結果中提取實體詞；

去詞綴處理模塊，用于對所述實體詞進行去詞綴處理，得到最終實體識別結果，包括：將所述實體詞的詞綴與預設的詞綴和字母進行匹配，以判斷所述實體詞的詞綴是否為多余詞綴，包括：如果所述實體詞的詞綴與所述預設的詞綴匹配，或者所述實體詞的詞綴與所述預設的詞綴和字母的組合匹配，則所述實體詞的詞綴為多余詞綴；如果為多余詞綴，則對所述多余詞綴進行去詞綴處理，得到最終實體識別結果；如果不為多余詞綴，則將所述實體詞作為最終實體識別結果；判斷去詞綴處理之后的實體詞是否完整；如果不完整，則根據啟發式規則補全所述實體詞的字符；

還包括訓練模塊，用于獲取包括維吾爾語語句的維吾爾語語料；將維吾爾語語句中的字符轉換為拉丁字母，得到拉丁字母語料；利用所述拉丁字母語料訓練得到所述字符級語言模型和實體識別模型，包括：基于所述拉丁字母語料訓練得到所述字符級語言模型；利用所述訓練的字符級語言模型根據所述拉丁字母語料獲得詞向量語料；利用所述詞向量語料訓練得到所述實體識別模型。

4.一種存儲器，其特征在于，存儲有多條指令，所述指令用于實現如權利要求1-2任一項所述的方法。

5.一種電子設備，其特征在于，包括處理器和與所述處理器連接的存儲器，所述存儲器存儲有多條指令，所述指令可被所述處理器加載并執行，以使所述處理器能夠執行如權利要求1-2任一項所述的方法。