[發明專利]面向多模異構特征的實體識別方法及裝置

有效

• 申請號: 201910435097.1
• 申請日: 2019-05-23
• 公開（公告）號: CN110188148B
• 公開（公告）日: 2021-02-02
• 發明（設計）人: 周小平
• 申請（專利權）人: 北京建筑大學
• 主分類號: G06F16/28
• 分類號: G06F16/28;G06F16/2458
• 代理公司: 北京路浩知識產權代理有限公司 11002
• 代理人: 王慶龍;苗曉靜

1.一種面向多模異構特征的實體識別方法，其特征在于，包括：

將第一數據中第一實體之間的關系和第二數據中第二實體之間的關系進行融合，獲取關系特征融合結果；其中，所述第一數據包括多個所述第一實體和所有所述第一實體之間的關系，所述第二數據包括多個所述第二實體和所有所述第二實體之間的關系；而且，所述第一數據和所述第二數據為BIM數據；

根據任一預設實體類型的任一第一實體生成所述第一數據的異構特征矩陣，根據任一所述預設實體類型的任一所述第二實體生成所述第二數據的異構特征矩陣，對所述第一數據的異構特征矩陣和所述第二數據的異構特征矩陣進行融合，獲取異構特征融合結果；

計算任一所述第一實體的屬性特征和任一第二實體的屬性特征之間的相似度，根據所有所述相似度生成屬性特征相似度矩陣；

根據所述關系特征融合結果、所述異構特征融合結果和所述屬性特征相似度矩陣進行關聯實體挖掘，確定相關聯的所述第一實體和所述第二實體；

其中，所述關系包括連接關系和模態關系；

相應地，將第一數據中第一實體之間的關系和第二數據中第二實體之間的關系進行融合，獲取關系特征融合結果的步驟具體包括：

根據任意兩個所述第一實體之間的連接關系生成第一鄰接矩陣，根據任意兩個所述第二實體之間的連接關系生成第二鄰接矩陣；

將所述第一鄰接矩陣和所述第二鄰接矩陣進行張量積，生成拓撲關系融合矩陣；

對于任一種所述模態關系，根據任意兩個所述第一實體之間的該種模態關系生成第一模態關系矩陣，根據任意兩個所述第二實體之間的該種模態關系生成第二模態關系矩陣；

將所述第一模態關系矩陣和所述第二模態關系矩陣進行張量積，生成該種模態關系的融合矩陣；

將所有所述模態關系的融合矩陣進行相加，獲取多模特征融合矩陣；

將所述拓撲關系融合矩陣和所述多模特征融合矩陣進行點乘，獲取所述關系特征融合結果；

對所述第一數據的異構特征矩陣和所述第二數據的異構特征矩陣進行融合，獲取異構特征融合結果的步驟具體包括：

對于任一所述預設實體類型，獲取所述第一數據的異構特征矩陣中該預設實體類型形成的第一列向量和所述第二數據的異構特征矩陣中該預設實體類型形成的第二列向量；

將所述第一列向量和所述第二列向量進行張量積生成該預設實體類型的特征融合矩陣；

將所有所述預設實體類型的特征融合矩陣相加，獲取異構特征融合結果。

2.根據權利要求1所述的方法，其特征在于，所述第一實體的屬性特征包括文本屬性特征和幾何屬性特征，所述第二實體的屬性特征包括文本屬性特征和幾何屬性特征；

相應地，根據所有所述相似度生成屬性特征相似度矩陣的步驟具體包括：

根據任一所述第一實體的文本屬性特征和任一所述第二實體的文本屬性特征之間的相似度，生成屬性特征相似度矩陣；

根據任一所述第一實體的幾何屬性特征和任一所述第二實體的幾何屬性特征之間的相似度，生成幾何特征相似度矩陣；

基于Logit回歸模型對所述屬性特征相似度矩陣和所述幾何特征相似度矩陣進行融合，生成屬性相似度矩陣。

3.根據權利要求1-2任一所述的方法，其特征在于，通過以下公式根據所述關系特征融合結果、所述異構特征融合結果和所述屬性特征相似度矩陣進行關聯實體挖掘：

s＝βT's+(1-β)(H⊙P)'；

其中，β為調節參數，T’為異構特征融合結果的標準化矩陣，H為異構特征融合結果，P為屬性特征相似度矩陣，H⊙P表示H與P的點乘，(H⊙P)'表示H與P的點乘結果進行標準化后的結果，s表示所有所述第一實體與所有所述第二實體之間的關聯度矩陣。