[發明專利]義原預測方法及系統

在審

• 申請號: 202110376243.5
• 申請日: 2021-04-08
• 公開（公告）號: CN113095086A
• 公開（公告）日: 2021-07-09
• 發明（設計）人: 俞凱;呂波爾;陳露
• 申請（專利權）人: 思必馳科技股份有限公司
• 主分類號: G06F40/30
• 分類號: G06F40/30;G06F40/216;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 北京商專永信知識產權代理事務所(普通合伙) 11400
• 代理人: 黃謙;車江華

本發明實施例提供一種義原預測方法。該方法包括：將漢字樹轉換的至少包含字形成分的序列輸入至預訓練模型內的向量層，通過向量層確定的至少包含掩碼字形成分單元的掩碼后的向量；將掩碼后的向量輸入至預訓練模型內的神經網絡；基于預設的訓練目標對神經網絡進行訓練。本發明實施例還提供一種義原預測系統。本發明實施例可以更好地融合中文漢字的內部信息，使用了通過字形增強的中文字符表示來協助義原預測，效果優于現有的不利用外部信息的模型，同時對于低頻詞的處理也有良好的效果。

技術領域

本發明涉及智能語音領域，尤其涉及一種義原預測方法及系統。

背景技術

在語言學中，義原被定義為人類語言的最小語義單位，它描述概念的語義意義。將義原預測應用到智能語音中十分必要。通常，會計算詞向量之間的余弦相似度，推薦相似度高的詞的義原作為目標詞的義原；或者通過矩陣分解，可以將義原向量和詞向量都編碼到相同的低維語義空間中，并計算出歸一化的詞向量和義原向量之間的余弦相似度，以進行義原預測；又或者預測時利用詞內部字符信息(字向量)和外部上下文信息(詞向量)。

在實現本發明過程中，發明人發現相關技術中至少存在如下問題：

用字或者詞作為輸入的基本單元，這樣有相同字形成分，但是沒有相同字的詞之間無法共享信息。比如“森林”和“木頭”兩個詞中都有“木”這個字形成分，但卻無法共享信息。中文有許多象形字，字形中往往也蘊含著豐富的字詞意思，這是比較重要的。

用字或者詞作為輸入基本單元，無法解決集外詞的預測問題。并且因為低頻詞的詞向量訓練不充分，因此義原預測也不準確。

發明內容

為了至少解決現有技術中沒有利用到更細粒度的信息，只能用有限大小的字典無法解決字典外的詞語的使得義原預測不準確的問題。

第一方面，本發明實施例提供一種用于義原預測的預訓練模型的訓練方法，包括：

將漢字樹轉換的至少包含字形成分的序列輸入至預訓練模型內的向量層，通過所述向量層確定的至少包含掩碼字形成分單元的掩碼后的向量；

將所述掩碼后的向量輸入至所述預訓練模型內的神經網絡；

基于預設的訓練目標對所述神經網絡進行訓練。

第二方面，本發明實施例提供一種義原預測方法，包括：

將預測詞語輸入至預訓練模型，通過掩碼多頭自注意力網絡得到字形增強的中文字向量表示；

基于多標簽分類器預測所述中文字向量表示對應的義原。

第三方面，本發明實施例提供一種用于義原預測的預訓練模型的訓練系統，包括：

向量確定程序模塊，用于將漢字樹轉換的至少包含字形成分的序列輸入至預訓練模型內的向量層，通過所述向量層確定的至少包含掩碼字形成分單元的掩碼后的向量；

向量輸入程序模塊，用于將所述掩碼后的向量輸入至所述預訓練模型內的神經網絡；

訓練程序模塊，用于基于預設的訓練目標對所述神經網絡進行訓練。

第四方面，本發明實施例提供一種義原預測系統，包括：

中文字向量表示確定程序模塊，用于將預測詞語輸入至預訓練模型，通過掩碼多頭自注意力網絡得到字形增強的中文字向量表示；

義原預測程序模塊，用于基于多標簽分類器預測所述中文字向量表示對應的義原。

第五方面，提供一種電子設備，其包括：至少一個處理器，以及與所述至少一個處理器通信連接的存儲器，其中，所述存儲器存儲有可被所述至少一個處理器執行的指令，所述指令被所述至少一個處理器執行，以使所述至少一個處理器能夠執行本發明任一實施例的用于義原預測的預訓練模型的訓練方法以及義原預測方法的步驟。