[發明專利]對實體詞的語義關系進行分類的方法、裝置和電子設備

有效

• 申請號: 201610929103.5
• 申請日: 2016-10-31
• 公開（公告）號: CN108021544B
• 公開（公告）日: 2021-07-06
• 發明（設計）人: 張姝;楊銘;孫俊
• 申請（專利權）人: 富士通株式會社
• 主分類號: G06F40/295
• 分類號: G06F40/295;G06F40/30
• 代理公司: 北京三友知識產權代理有限公司 11127
• 代理人: 陶海萍;王曦

1.一種對文本序列中實體詞的語義關系進行分類的裝置，該裝置包括：

第一獲得單元，其用于將文本序列中的每個詞用詞向量表示，以構建第一矩陣；

第二獲得單元，其利用深度學習模型對所述第一矩陣進行處理，以獲得第二矩陣，其中，所述第二矩陣的行或列與所述文本序列中的詞對應；

第三獲得單元，其利用2個以上的注意力模型，對所述第二矩陣進行處理，以確定所述文本序列中詞的受關注程度，并基于所述受關注程度獲得所述文本序列的第三矩陣；

分類單元，其至少根據所述文本序列的所述第三矩陣，以及預先存儲的分類模型，來確定所述文本序列中的實體詞之間的語義關系；

其中，所述第三獲得單元包括：

選擇單元，其利用2個以上的注意力模型，確定所述文本序列中每個詞的受關注程度，并基于所述受關注程度，從所述文本序列中選擇出預定數量的詞；以及

合并單元，其用于將所述第二矩陣中與選擇出的所述預定數量的詞對應的向量合并，以形成所述第三矩陣；

其中，所述選擇單元包括：

第一合并子單元，其用于將所述第二矩陣中的實體詞對應的向量與所述第二矩陣合并，形成第四矩陣；

第一處理子單元，其利用與所述第四矩陣的規模對應的注意力模型，對所述第四矩陣至少進行非線性處理，以確定所述文本序列中每個詞的受關注程度，并基于所述受關注程度，從所述文本序列中選擇出第一預定數量的詞；以及

第二處理子單元，其將所述第二矩陣中與選擇出的所述第一預定數量的詞對應的向量與所述第四矩陣合并，形成更新后的第四矩陣，并利用與更新后的第四矩陣的規模對應的注意力模型，對更新后的第四矩陣至少進行非線性處理，以從所述文本序列中再次選擇出第一預定數量的詞，

其中，所述第二處理子單元進行N次如下處理：根據已經選擇出的第一預定數量的詞對應的向量來更新第四矩陣，并利用注意力模型從更新后的第四矩陣中再次選擇出第一預定數量的詞，

其中，所述第二處理子單元在N次中選擇出的所述第一預定數量的詞的數量與所述第一處理子單元選擇出的所述第一預定數量的詞的數量的總和等于所述預定數量，

N為大于等于1的自然數。

2.如權利要求1所述的裝置，其中，

第一處理子單元或第二處理子單元每次選擇出的第一預定數量的詞與已經選擇出的第一預定數量的詞中沒有重復的詞。

3.如權利要求1所述的裝置，其中，

所述2個以上注意力模型的數量，是根據所述文本序列中詞語的數量來確定的。

4.如權利要求1所述的裝置，其中，

所述分類單元根據所述第三矩陣和所述第二矩陣，以及所述分類模型來確定所述語義關系。

5.一種電子設備，包括權利要求1-4中任一項所述的裝置。

6.一種對文本序列中實體詞的語義關系進行分類的方法，該方法包括：

將文本序列中的每個詞用詞向量表示，以構建第一矩陣；

利用深度學習模型對所述第一矩陣進行處理，以獲得第二矩陣，其中，所述第二矩陣的行或列與所述文本序列中的詞對應；

利用2個以上的注意力模型，對所述第二矩陣進行處理，以確定所述文本序列中詞的受關注程度，并基于所述受關注程度獲得所述文本序列的第三矩陣；

至少根據所述文本序列的所述第三矩陣，以及預先存儲的分類模型，來確定所述文本序列中的實體詞之間的語義關系；

其中，利用2個以上注意力模型，獲得所述第三矩陣的方法包括：

利用2個以上的注意力模型，確定所述文本序列中每個詞的受關注程度，并基于所述受關注程度，從所述文本序列中選擇出預定數量的詞；以及

將所述第二矩陣中與選擇出的所述預定數量的詞對應的向量合并，以形成所述第三矩陣；

其中，從所述文本序列中選擇出預定數量的詞包括：

將所述第二矩陣中的實體詞對應的向量與所述第二矩陣合并，形成第四矩陣；

進行第一處理，所述第一處理包括：利用與所述第四矩陣的規模對應的注意力模型，對所述第四矩陣至少進行非線性處理，以確定所述文本序列中每個詞的受關注程度，并基于所述受關注程度，從所述文本序列中選擇出第一預定數量的詞；以及

進行第二處理，所述第二處理包括：將所述第二矩陣中與選擇出的所述第一預定數量的詞對應的向量與所述第四矩陣合并，形成更新后的第四矩陣，利用與更新后的第四矩陣的規模對應的注意力模型，對更新后的第四矩陣至少進行非線性處理，并從所述文本序列中再次選擇出第一預定數量的詞；

其中，所述第二處理包括N次如下處理：根據前一次選擇出的第一預定數量的詞對應的向量來更新第四矩陣，并利用注意力模型從更新后的第四矩陣中再次選擇出第一預定數量的詞，并且，所述第二處理在N次中選擇出的所述第一預定數量的詞的數量與所述第一處理選擇出的所述第一預定數量的詞的數量的總和等于所述預定數量，

N為大于等于1的自然數。