[發明專利]義原預測方法及系統

在審

• 申請號: 202110376243.5
• 申請日: 2021-04-08
• 公開（公告）號: CN113095086A
• 公開（公告）日: 2021-07-09
• 發明（設計）人: 俞凱;呂波爾;陳露
• 申請（專利權）人: 思必馳科技股份有限公司
• 主分類號: G06F40/30
• 分類號: G06F40/30;G06F40/216;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 北京商專永信知識產權代理事務所(普通合伙) 11400
• 代理人: 黃謙;車江華

1.一種用于義原預測的預訓練模型的訓練方法，包括：

將漢字樹轉換的至少包含字形成分的序列輸入至預訓練模型內的向量層，通過所述向量層確定的至少包含掩碼字形成分單元的掩碼后的向量；

將所述掩碼后的向量輸入至所述預訓練模型內的神經網絡；

基于預設的訓練目標對所述神經網絡進行訓練。

2.根據權利要求1所述的方法，其中，所述漢字樹包括：字形成分的葉子節點和字形結構類型的內部節點；

所述方法還包括：將所述漢字樹轉換的包含字形成分和字形結構的序列輸入至預訓練模型內的向量層，通過所述向量層確定的至少包含掩碼字形結構類型單元、掩碼字形成分單元的輸入單元向量、區分字形結構類型的單元類型向量的掩碼后的向量。

3.根據權利要求1所述的方法，其中，所述神經網絡包括：掩碼多頭自注意力網絡；

所述掩碼后的向量還包括：字信息、位置向量以及分隔向量。

4.根據權利要求3所述的方法，其中，所述基于預設的訓練目標對所述神經網絡進行訓練包括：

在所述訓練中，各漢字樹對應的字信息在所述掩碼多頭自注意力網絡的訓練中參數共享，直至所述掩碼多頭自注意力網絡輸出的預測結果趨近于掩碼前的向量。

5.根據權利要求2所述的方法，其中，所述預設的訓練目標包括預設的掩碼語言模型；

所述漢字樹轉換的包含字形成分和字形結構的序列包括：

通過深度優先算法確定漢字樹轉換的包含字形成分和字形結構的序列。

6.一種義原預測方法，包括：

將預測詞語輸入至基于權利要求1訓練的預訓練模型，通過掩碼多頭自注意力網絡得到字形增強的中文字向量表示；

基于多標簽分類器預測所述中文字向量表示對應的義原。

7.一種用于義原預測的預訓練模型的訓練系統，包括：

向量確定程序模塊，用于將漢字樹轉換的至少包含字形成分的序列輸入至預訓練模型內的向量層，通過所述向量層確定的至少包含掩碼字形成分單元的掩碼后的向量；

向量輸入程序模塊，用于將所述掩碼后的向量輸入至所述義原預測模型內的神經網絡；

訓練程序模塊，用于基于預設的訓練目標對所述神經網絡進行訓練。

8.一種義原預測系統，包括：

中文字向量表示確定程序模塊，用于將預測詞語輸入至基于權利要求7訓練的預訓練模型，通過掩碼多頭自注意力網絡得到字形增強的中文字向量表示；

義原預測程序模塊，用于基于多標簽分類器預測所述中文字向量表示對應的義原。

9.一種電子設備，其包括：至少一個處理器，以及與所述至少一個處理器通信連接的存儲器，其中，所述存儲器存儲有可被所述至少一個處理器執行的指令，所述指令被所述至少一個處理器執行，以使所述至少一個處理器能夠執行權利要求1-6中任一項所述方法的步驟。

10.一種存儲介質，其上存儲有計算機程序，其特征在于，該程序被處理器執行時實現權利要求1-6中任一項所述方法的步驟。