[發明專利]模型更新裝置及方法、數據處理裝置及方法、程序

在審

• 申請號: 201310647831.3
• 申請日: 2013-12-04
• 公開（公告）號: CN104699685A
• 公開（公告）日: 2015-06-10
• 發明（設計）人: 夏迎炬;孫健;王云芝;李中華
• 申請（專利權）人: 富士通株式會社
• 主分類號: G06F17/30
• 分類號: G06F17/30
• 代理公司: 北京集佳知識產權代理有限公司 11227
• 代理人: 王萍;李春暉

技術領域

本申請涉及數據處理領域，具體地涉及對數據處理中的模型進行更新的模型更新裝置和模型更新方法、以及使用該模型更新裝置和模型更新方法的數據處理裝置和數據處理方法。

背景技術

隨著社會的進步，信息技術也在飛速發展，如何高效地處理海量的信息變得尤為重要。借助于計算機技術對數據進行各種處理，比如進行實體關系抽取、對象識別、數據挖掘等成為常用的處理方式。這些處理通常基于一種或更多種模型。例如，在實體關系抽取中，基于機器學習的方法通過對關系樣例進行特征抽取，然后在關系樣例上進行訓練得到模型，在實際進行抽取時用訓練好的模型對實體關系進行識別。換言之，所使用的模型一般是基于訓練數據集訓練得到的。

如上所述，使用訓練好的模型對待測數據集進行處理實際上基于訓練數據集和待測數據集同質的假設。然而，在很多情況下，這種假設并不完全成立，導致基于訓練數據集獲得的模型不太適用于待測數據集，尤其在有新的數據產生時，該問題尤為突出。并且，在新的數據上標注樣例需要花費大量的時間和人力，使得更新模型的代價較大。

發明內容

在下文中給出了關于本發明的簡要概述，以便提供關于本發明的某些方面的基本理解。應當理解，這個概述并不是關于本發明的窮舉性概述。它并不是意圖確定本發明的關鍵或重要部分，也不是意圖限定本發明的范圍。其目的僅僅是以簡化的形式給出某些概念，以此作為稍后論述的更詳細描述的前序。

鑒于背景技術部分所述的需求，本發明關注于如何以較小的代價對模型進行更新，使其貼近真實的數據，從而提高系統的性能。針對該問題，本發明提出了一種通過基于偽反饋的特征空間劃分來更新模型的模型更新裝置和方法，其中，利用待測數據集與訓練數據集之間的差異來調整基于訓練數據集訓練的模型的特征空間劃分，并使用調整后的特征空間劃分來更新模型。

根據本發明的一個方面，提供了一種對多模型系統中的目標模型進行更新的模型更新裝置，其中，多模型系統中的各個模型是針對訓練數據集采用不同方式預先訓練得到的模型，該模型更新裝置包括：偽標簽獲取單元，被配置為使用多模型系統中不同于目標模型的模型作為校準模型對待測數據集進行處理，并將處理的結果作為偽標簽；第一特征分布獲取單元，被配置為基于偽標簽獲得待測數據集的特征分布；第二特征分布獲取單元，被配置為基于目標模型獲取訓練數據集的特征分布；調整單元，被配置為基于訓練數據集的特征分布和待測數據集的特征分布來調整目標模型的特征空間劃分，以使得訓練數據集和待測數據集針對該特征空間劃分具有類似的分布；以及更新單元，被配置為基于調整后的特征空間劃分使用訓練數據集來更新目標模型。

根據本發明的另一個方面，提供了一種使用多模型系統對待測數據集進行處理的數據處理裝置，包括上述模型更新裝置。

根據本發明的又一個方面，提供了一種對多模型系統中的目標模型進行更新的模型更新方法，其中，多模型系統中的各個模型是針對訓練數據集采用不同方式預先訓練得到的模型，所述模型更新方法包括：使用多模型系統中不同于目標模型的模型作為校準模型對待測數據集進行處理，并將處理的結果作為偽標簽；基于偽標簽獲得待測數據集的特征分布；基于目標模型獲取訓練數據集的特征分布；基于訓練數據集的特征分布和待測數據集的特征分布來調整目標模型的特征空間劃分，以使得訓練數據集和待測數據集針對該特征空間劃分具有類似的分布；以及基于調整后的特征空間劃分使用訓練數據集來更新目標模型。

根據本發明的再一個方面，提供了一種使用多模型系統對待測數據集進行處理的數據處理方法，包括上述模型更新方法。

依據本發明的其它方面，還提供了相應的計算機程序代碼、計算機可讀存儲介質和計算機程序產品。

通過以下結合附圖對本發明的優選實施例的詳細說明，本發明的這些以及其他優點將更加明顯。

附圖說明

為了進一步闡述本申請的以上和其它優點和特征，下面結合附圖對本申請的具體實施方式作進一步詳細的說明。所述附圖連同下面的詳細說明一起包含在本說明書中并且形成本說明書的一部分。具有相同的功能和結構的元件用相同的參考標號表示。應當理解，這些附圖僅描述本申請的典型示例，而不應看作是對本申請的范圍的限定。在附圖中：

圖1是示出了根據本申請的一個實施例的模型更新裝置的結構框圖；

圖2是示出了根據本申請的一個實施例的訓練數據集的特征分布和待測數據集的特征分布的對比的示例的示意圖；

圖3是示出了根據本申請的一個實施例的調整單元的結構框圖；

圖4是示出了根據本申請的一個實施例的數據處理裝置的結構框圖；