[發明專利]一種實體識別與鏈接方法及裝置

有效

• 申請號: 202010177043.2
• 申請日: 2020-03-13
• 公開（公告）號: CN111460821B
• 公開（公告）日: 2023-08-29
• 發明（設計）人: 曾祥榮
• 申請（專利權）人: 云知聲智能科技股份有限公司
• 主分類號: G06F40/295
• 分類號: G06F40/295;G06N7/01
• 代理公司: 北京冠和權律師事務所 11399
• 代理人: 張楠楠

1.一種實體識別與鏈接方法，其特征在于，包括以下步驟：

獲取當前輸入文本的第一字序列；

將所述第一字序列和預設實體的第二字序列相結合輸入到BERT模型中得到輸出序列向量；

根據所述輸出序列向量判斷所述當前輸入文本屬于所述預設實體的概率；

將所述概率最大的預設實體確定為目標實體；

將所述當前輸入文本和所述目標實體進行鏈接；

所述將所述第一字序列和預設實體的第二字序列相結合輸入到BERT模型中得到輸出序列向量，包括：

在實體表中抽取實體e_j作為所述預設實體；其中，j∈[1,m]

將所述實體e_j拆分為第二字序列其中k表示所述實體e_j包含的字符的個數；

在所述第一字序列后拼接所述第二字序列確定最終的第四字序列T＝[t₁,t₂,…,t_n+k+2]，其中，所述t₁對應第一特殊字符“[CLS]”，t₂,…,t_n+1分別對應w₁,w₂,…,w_n，t_n+2對應第二特殊字符“[SEP]”，t_n+2+1,…,t_n+2+k分別對應

獲取所述第四字序列的輸入向量序列；

將所述輸入向量序列輸入到所述BERT模型中得到所述輸出序列向量。

2.根據權利要求1所述實體識別與鏈接方法，其特征在于，所述獲取當前輸入文本的第一字序列，包括：

將所述當前輸入文本以漢字和標點符號為單位，拆分為第三字序列w＝[w₁,w₂,…,w_n]，其中，n為所述當前輸入文本中字符的個數；

在所述第三字序列前增加第一特殊字符“[CLS]”，在所述第三字序列后增加第二特殊字符“[SEP]”；

將增加了特殊字符的所述第三字序列確定為所述第一字序列；

在將所述第一字序列和預設實體的第二字序列相結合輸入到BERT模型中得到輸出序列向量之前，所述方法還包括：

預先建立一個實體表E＝[e₁,e₂,…,e_m]，其中，所述m為所述實體表中的實體個數。

3.根據權利要求1所述實體識別與鏈接方法，其特征在于，所述根據所述輸出序列向量判斷所述當前輸入文本屬于所述預設實體的概率，包括：

根據所述輸出序列向量設置第一標簽和第二標簽；

確定所述第一字序列中每個字符的當前標簽屬于所述第一標簽的第一概率或者屬于所述第二標簽的第二概率；

根據所述第一概率確定識別的第一當前實體，根據所述第二概率確定識別的第二當前實體；

利用下列公式計算所述第一當前實體和第二當前實體是否屬于實體e_j：

q_j＝sigmoid(u₁×W₂+b₂)

其中，所述W₂、b₂為預設參數，所述q_j為所述第一當前實體或第二當前實體鏈接到所述實體e_j的概率。

4.根據權利要求1所述實體識別與鏈接方法，其特征在于，在將所述概率最大的預設實體確定為目標實體之前，所述方法還包括：

獲取所述第一字序列鏈接到實體表中m個實體的概率q＝[q₁,…,q_j…,q_m]；

所述將所述概率最大的預設實體確定為目標實體，包括：

獲取所述概率q中的最大值；

確定所述最大值對應的第一實體，其中，所述第一實體為所述m個實體中的任一實體；

將所述第一實體確定為目標實體。