[發明專利]用于分類數據的方法和裝置

有效

• 申請號: 201710517316.1
• 申請日: 2017-06-29
• 公開（公告）號: CN107229614B
• 公開（公告）日: 2020-11-10
• 發明（設計）人: 戴明洋
• 申請（專利權）人: 百度在線網絡技術（北京）有限公司
• 主分類號: G06F40/284
• 分類號: G06F40/284;G06F40/247;G06F16/35
• 代理公司: 北京英賽嘉華知識產權代理有限責任公司 11204
• 代理人: 王達佐;馬曉亞

1.一種用于分類數據的方法，其特征在于，所述方法包括：

對原始數據進行分詞，得到原始樣本集；

基于文檔主題生成模型，將原始樣本集聚類至預定數量的主題；

查詢預設的領域表征詞是否命中從所述主題提取的主題表征詞，若是，則將所述主題表征詞歸類至所述領域表征詞所表征的領域；

基于領域中的主題表征詞，確定所述領域的初始樣本集；

對所述初始樣本集進行多分類器投票過濾，直至單次舍棄掉的樣本的數量小于預定閾值；所述多分類器投票過濾包括：將所述初始樣本集拆分為訓練集和測試集；采用所述訓練集，分別訓練多個分類器；采用所述測試集，分別驗證所述多個分類器；響應于驗證結果統一并且正確的分類器占所述多個分類器的比例小于預定比例，舍棄所述測試集中的樣本；采用舍棄掉樣本后的初始樣本集，更新進行多分類器投票過濾的所述初始樣本集；

將舍棄掉樣本后的初始樣本集確定為標準樣本集。

2.根據權利要求1所述的方法，其特征在于，所述基于領域中的主題表征詞，確定所述領域的初始樣本集包括：

采用領域關鍵詞以及反詞典，過濾領域中的主題表征詞，其中，反詞典，是指不該出現在各主題的詞形成的詞典；

將過濾后的領域中的主題表征詞對應的原始樣本集，確定為所述領域的初始樣本集。

3.根據權利要求2所述的方法，其特征在于，將過濾后的領域中的主題表征詞對應的原始樣本集，確定為所述領域的初始樣本集包括：

基于過濾后的領域中的主題表征詞，經由文檔主題生成模型對主題-詞映射矩陣的解析，確定初始樣本的主題；

基于所述初始樣本的主題，經由文檔主題生成模型對文檔-主題映射矩陣的解析，得到所述領域的初始樣本集。

4.根據權利要求1所述的方法，其特征在于，所述從所述主題提取的主題表征詞包括：

采用以下一項或多項從所述主題提取的主題表征詞：文檔主題生成模型、文本關鍵詞提取算法以及詞頻-逆向文件頻率算法。

5.根據權利要求1或4任意一項所述的方法，其特征在于，所述從所述主題提取的主題表征詞包括以下一項或多項：

對所述主題表征詞去停用詞；以及

對所述主題表征詞去與本詞相關性低于預定閾值的詞。

6.根據權利要求1所述的方法，其特征在于，所述原始數據包括：

用戶搜索查詢數據和/或用戶點擊標題數據。

7.一種用于分類數據的裝置，其特征在于，所述裝置包括：

數據分詞單元，用于對原始數據進行分詞，得到原始樣本集；

樣本聚類單元，用于基于文檔主題生成模型，將原始樣本集聚類至預定數量的主題；

表征詞歸類單元，用于查詢預設的領域表征詞是否命中從所述主題提取的主題表征詞，若是，則將所述主題表征詞歸類至所述領域表征詞所表征的領域；

樣本確定單元，用于基于領域中的主題表征詞，確定所述領域的初始樣本集；

投票過濾單元，用于對所述初始樣本集進行多分類器投票過濾，直至單次舍棄掉的樣本的數量小于預定閾值；所述投票過濾單元所進行的多分類器投票過濾包括：將所述初始樣本集拆分為訓練集和測試集；采用所述訓練集，分別訓練多個分類器；采用所述測試集，分別驗證所述多個分類器；響應于驗證結果統一并且正確的分類器占所述多個分類器的比例小于預定比例，舍棄所述測試集中的樣本；采用舍棄掉樣本后的初始樣本集，更新進行多分類器投票過濾的所述初始樣本集；

樣本優化單元，用于將舍棄掉樣本后的初始樣本集確定為標準樣本集。

8.根據權利要求7所述的裝置，其特征在于，所述樣本確定單元包括：

過濾子單元，用于采用領域關鍵詞以及反詞典，過濾領域中的主題表征詞，其中，反詞典，是指不該出現在各主題的詞形成的詞典；

確定子單元，用于將過濾后的領域中的主題表征詞對應的原始樣本集，確定為所述領域的初始樣本集。