[發明專利]分類可靠性預測方法和裝置

有效

• 申請號: 201310052243.5
• 申請日: 2013-02-18
• 公開（公告）號: CN103258239A
• 公開（公告）日: 2013-08-21
• 發明（設計）人: R·里諾特;N·斯洛寧;A·埃胡德
• 申請（專利權）人: 國際商業機器公司
• 主分類號: G06Q10/04
• 分類號: G06Q10/04
• 代理公司: 北京市中咨律師事務所 11247
• 代理人: 于靜;張亞非

1.一種由處理器執行的計算機實現的方法，所述方法包括：

獲得由分類器工具對數據集的標記進行的預測，其中所述分類器工具旨在根據分類模型并考慮定義所述數據集的一組特性來預測所述標記；

根據可靠性分類器工具獲得與所述分類器工具的所述預測相關的可靠性標記的可靠性預測，其中所述可靠性分類器工具旨在根據分類模型并考慮第二組特性來預測所述可靠性標記；以及

向用戶輸出所述標記預測和關聯的可靠性預測。

2.根據權利要求1的方法，還包括：

獲得訓練數據集，所述訓練數據集包括數據點的樣本，其中針對每個數據點提供標記；以及

響應于訓練會話，使用所述訓練數據集以及由所述分類器工具針對所述訓練數據集的數據點進行的預測來訓練所述可靠性分類器工具，其中所述訓練會話包括針對所述訓練數據集的一部分來訓練所述分類器工具。

3.根據權利要求2的方法，其中所述訓練包括：

針對所述分類器工具重復執行訓練會話并由所述分類器工具針對數據點或其一部分的樣本來確定預測的標記，其中所述分類器工具在從一個訓練會話轉到另一個訓練會話時不保留所訓練的信息；以及

根據針對同一數據點的多個預測的標記，訓練所述可靠性分類器以便預測所述分類器工具的預測的可靠性。

4.根據權利要求3的方法，其中根據所述多個預測的標記訓練所述可靠性分類器包括：

根據所述預測的標記針對同一數據點的變化來確定穩定性度量；以及

當訓練所述可靠性分類器工具時，使用所述穩定性度量作為所述數據點的測量的可靠性。

5.根據權利要求3的方法，其中根據所述多個預測的標記訓練所述可靠性分類器包括：

根據所述數據點的所述預測的標記基本上等于由所述訓練數據集提供的標記的次數來確定所述預測的標記的正確分數；以及

當訓練所述可靠性分類器工具時，使用所述正確分數度量作為所述數據點的測量的可靠性。

6.根據權利要求2的方法，其中所述訓練包括：

根據所述訓練數據集和關聯的標記來訓練所述分類器工具；

由所述分類器工具針對所述數據集的至少一部分獲得預測；以及

根據所述訓練數據集以及針對同一數據點的所述預測的標記與關聯的標記之間的相關性來訓練所述可靠性分類器工具。

7.根據權利要求6的方法，其中針對所述訓練數據集的一部分執行訓練所述分類器，并且針對所述訓練數據集的不同部分執行獲得預測。

8.根據權利要求6的方法，

其中獲得預測包括，對于所述數據集的所述部分中的每個數據點：

從所述訓練數據集獲得數據點；以及

將所述數據點的所述一組特性引入所述分類器工具并獲得預測的標記；以及

其中訓練所述可靠性分類器工具包括：

判定所述預測的標記是否不同于所述訓練數據集中的關聯的標記，由此提供有關所述分類器工具的預測的可靠性的指示；以及

將針對所述數據點的所述第二組特性連同所述指示一起引入所述可靠性分類器。

9.根據權利要求1的方法，其中所述預測由于所述分類器工具的所述分類模型而相對不可靠；以及其中所述可靠性分類器工具由于基于不同于所述分類器工具的分類模型而能夠預測相對不可靠性。

10.根據權利要求1的方法，其中所述第二組特性包括未由所述一組特性包括的至少一個特性。

11.根據權利要求1的方法，還包括獲得所述預測的標記正確的概率；以及其中所述輸出除了所述可靠性預測之外還輸出所述概率。

12.一種具有處理器的計算機化裝置，所述處理器適于執行以下步驟：

獲得由分類器工具對數據集的標記進行的預測，其中所述分類器工具旨在根據分類模型并考慮定義所述數據集的一組特性來預測所述標記；

根據可靠性分類器工具獲得與所述分類器工具的所述預測相關的可靠性標記的可靠性預測，其中所述可靠性分類器工具旨在根據分類模型并考慮第二組特性來預測所述可靠性標記；以及

向用戶輸出所述標記預測和關聯的可靠性預測。