[發明專利]基于多語義的集外詞處理方法及裝置

有效

• 申請號: 201811498210.2
• 申請日: 2018-12-07
• 公開（公告）號: CN109614618B
• 公開（公告）日: 2023-07-14
• 發明（設計）人: 楊凱程;李健銓;蔣宏飛
• 申請（專利權）人: 安徽省泰岳祥升軟件有限公司
• 主分類號: G06F40/30
• 分類號: G06F40/30;G06F40/284;G06F16/332;G06F16/33
• 代理公司: 北京弘權知識產權代理有限公司 11363
• 代理人: 逯長明;許偉群

1.一種基于多語義的集外詞處理方法，其特征在于，包括：

根據集外詞在句子中的上下詞，獲取集外詞的每個語義的權重包括：獲取集外詞在句子中的上下詞，獲取所述上下詞與每個語義的第一類距離，根據所述第一類距離，計算每個語義的權重；

所述上下詞包括集外詞在句子中的至少一個前序分詞和至少一個后序分詞；

根據每個語義中義原的詞向量，生成每個語義的語義向量包括：獲取集外詞的每個語義中每個義原的義原詞向量，根據每個語義中義原的數量，對每個語義中的每個義原設置義原權重，根據所述義原權重，對每個語義中義原的詞向量進行加權求和，生成每個語義的語義向量；

根據每個語義的權重，對每個語義的語義向量加權求和，生成仿真詞向量。

2.根據權利要求1所述的方法，其特征在于，所述獲取上下詞與每個語義的第一類距離的步驟，包括：

獲取所述上下詞的每個分詞與每個語義中每個義原的余弦距離；

根據所述余弦距離，獲取所述上下詞的每個分詞與每個語義中所有義原的平均距離；

根據所述平均距離，獲取所述上下詞與每個語義的第一類距離。

3.根據權利要求1所述的方法，其特征在于，所述根據所述第一類距離，計算每個語義的權重的步驟，使用以下公式：

其中，n為集外詞語義的數量，Wm為集外詞第m個語義的權重，Dm為所述上下詞與集外詞第m個語義的第一類距離，為集外詞所有語義的第一類距離的和。

4.根據權利要求1所述的方法，其特征在于，所述獲取集外詞在句子中的上下詞的步驟，包括：

設置用于約束所述上下詞數量的取詞窗口值C，C為整數且大于或等于1；

根據所述取詞窗口值C，從包含所述集外詞的句子的分詞中獲取所述上下詞；

其中，所述上下詞包括句子中位于所述集外詞前序的C個分詞和后序的C個分詞。

5.根據權利要求1所述的方法，其特征在于，

所述根據每個語義中義原的數量，對每個語義中的每個義原設置義原權重，使用以下公式：

Wp＝1/x

其中，Wp為義原權重，x為語義中義原的數量。

6.根據權利要求1-5任一所述的方法，其特征在于，還包括：

從未知問題的分詞結果中獲取集外詞；

基于所述集外詞的多語義，生成所述集外詞的仿真詞向量；

根據所述仿真詞向量和所述問題中其余分詞的詞向量，從已訓練的問答模型中匹配問題答案。

7.一種基于多語義的集外詞處理裝置，其特征在于，包括：

語義權重獲取單元，用于根據集外詞在句子中的上下詞，獲取集外詞的每個語義的權重包括：獲取集外詞在句子中的上下詞，獲取所述上下詞與每個語義的第一類距離，根據所述第一類距離，計算每個語義的權重；所述上下詞包括集外詞在句子中的至少一個前序分詞和至少一個后序分詞；

語義向量生成單元，用于根據每個語義中義原的詞向量，生成每個語義的語義向量包括：獲取集外詞的每個語義中每個義原的義原詞向量，根據每個語義中義原的數量，對每個語義中的每個義原設置義原權重，根據所述義原權重，對每個語義中義原的詞向量進行加權求和，生成每個語義的語義向量；

仿真詞向量生成單元，用于根據每個語義的權重，對每個語義的語義向量加權求和，生成仿真詞向量。

8.根據權利要求7所述的裝置，其特征在于，還包括：

集外詞獲取單元，用于從未知問題的分詞結果中獲取集外詞；

集外詞處理單元，用于基于所述集外詞的多語義，生成所述集外詞的仿真詞向量；

作答單元，用于根據所述仿真詞向量和所述問題中其余分詞的詞向量，從已訓練的問答模型中匹配問題答案。