[發明專利]信息處理方法和裝置

有效

• 申請號: 202010980519.6
• 申請日: 2020-09-17
• 公開（公告）號: CN112069823B
• 公開（公告）日: 2021-07-09
• 發明（設計）人: 蔡華
• 申請（專利權）人: 華院計算技術（上海）股份有限公司
• 主分類號: G06F40/295
• 分類號: G06F40/295;G06N3/04
• 代理公司: 上海京滬專利代理事務所(普通合伙) 31235
• 代理人: 馬強

本發明公開了一種信息處理裝置和方法，其中，所述方法包括對嵌入的向量進行編碼處理得到編碼向量；將所述編碼向量的部分向量進行向量重新嵌入；將所述編碼向量進行迭代解碼和排序過濾處理；將所述迭代解碼和排序過濾處理后的表示向量進行部分向量的重新嵌入。因此，本發明實施例通過特征編碼模塊和排序過濾模塊的聯合作用，利用特征編碼的返回重用，并且不斷對編碼后的信息不斷打分排序，實現特征編碼對輸入數據模塊的高質量反饋。

技術領域

本發明涉及計算機技術領域，尤其涉及一種信息處理方法和裝置。

背景技術

從非結構化文本中提取關系三元組(實體-關系-實體)是構建大規模知識圖的關鍵。通常，早期的信息抽取將實體抽取和關系抽取看作串聯的任務，這樣的串聯模型在建模上相對更簡單，但這樣將實體識別和關系抽取當作兩個獨立的任務明顯會存在以下缺點，1.實體冗余,由于先對抽取的實體進行兩兩配對，然后再進行關系分類，沒有關系的候選實體對所帶來的冗余信息，會提升錯誤率、增加計算復雜度。2.交互缺失,忽略了這兩個任務之間的內在聯系和依賴關系，從而導致關系抽取任務的結果嚴重依賴于實體抽取的結果，導致誤差累積的問題。

針對上述串聯模型明顯存在的一些問題，近年來有許多工作考慮將實體識別與關系抽取任務進行聯合建模。目前聯合抽取模型總體上可分為兩大類：1、共享參數的聯合抽取模型，2、聯合解碼的聯合抽取模型。

其中，共享參數的聯合抽取模型，通過共享參數(共享輸入特征或者內部隱層狀態)實現聯合，此種方法對子模型沒有限制，但是由于使用獨立的解碼算法，導致實體模型和關系模型之間交互不強。

為了加強實體模型和關系模型的交互，聯合解碼的聯合抽取模型被提出來。但是，這種情況下需要對子模型特征的豐富性以及聯合解碼的精確性之間做權衡：一方面如果設計精確的聯合解碼算法，往往需要對特征進行限制，例如用條件隨機場建模，使用維特比解碼算法可以得到全局最優解，但是往往需要限制特征的階數，導致降低子模型特征的豐富性。另一方面如果使用近似解碼算法，比如集束搜索，在特征方面可以抽取任意階的特征，但是聯合解碼得到的結果是不精確的。

發明內容

本發明提供一種信息處理方法和裝置，能夠通過聯合抽取模型訓練過程中句子的迭代記憶，也可以通過知識圖譜的更新進行迭代記憶，實現信息抽取準確率不斷提升的良性循環的功能；并且還能夠實現了端到端的實體及實體關系(屬性)聯合抽取，加強了實體和關系(屬性)之間的信息交互。

本發明提供一種信息處理裝置，包括數據嵌入模塊、特征編碼模塊和排序過濾模塊，其中

所述數據嵌入模塊，用于向量的嵌入，并將嵌入的向量發送給所述特征編碼模塊進行編碼處理；

所述特征編碼模塊，用于對所述數據嵌入模塊嵌入的向量進行編碼處理得到編碼向量，并將所述編碼向量部分反饋給所述數據嵌入模塊進行向量的嵌入，以及將所述編碼向量輸出給所述排序過濾模塊進行處理；

所述排序過濾模塊，用于對所述特征編碼模塊輸出的編碼向量進行迭代解碼和排序過濾處理，并將迭代解碼和排序過濾處理后的表示向量部分發送給所述數據嵌入模塊進行向量的嵌入；

所述嵌入的向量包括所述特征編碼模塊反饋的編碼向量和所述排序過濾模塊處理后反饋的表示向量，還包括預先對輸入數據進行處理后的字詞混合向量和位置信息向量。

可選地，所述數據嵌入模塊，具體還用于：對所述編碼向量進行維度變換，得到一個固定維度大小的編碼向量，根據尾實體相對于頭實體的相對位置，編碼得到位置編碼向量，然后將其與前述的固定維度大小的編碼向量進行拼接，形成新的編碼向量，之后，將新的編碼向量與所述字詞混合向量和位置信息向量共用融入到同一個嵌入層，并發送給所述特征編碼模塊。

可選地，所述排序過濾模塊包括：

迭代解碼單元：用于對所述特征編碼模塊輸出的編碼向量進行迭代解碼處理，并將迭代解碼處理后的表示向量發送給打分單元；