[發明專利]一種分批聚類方法和系統有效
| 申請號: | 201110189562.1 | 申請日: | 2011-07-07 |
| 公開(公告)號: | CN102867006A | 公開(公告)日: | 2013-01-09 |
| 發明(設計)人: | 王新文;張姝;賈文杰;夏迎炬;孟遙;于浩 | 申請(專利權)人: | 富士通株式會社 |
| 主分類號: | G06F17/30 | 分類號: | G06F17/30 |
| 代理公司: | 北京三友知識產權代理有限公司 11127 | 代理人: | 樊一槿 |
| 地址: | 日本神奈*** | 國省代碼: | 日本;JP |
| 權利要求書: | 查看更多 | 說明書: | 查看更多 |
| 摘要: | |||
| 搜索關鍵詞: | 一種 分批 方法 系統 | ||
1.一種分批聚類方法,其中,所述方法包括:
按照預定策略對要聚類的文檔進行分批;
對分批后的每一批文檔進行聚類,得到每一批文檔的聚類結果;
對每一批文檔的聚類結果進行凝聚性處理,得到每一批文檔的凝聚性處理結果;
將除第一批文檔以外的每一批文檔的凝聚性處理結果中的每一類與上一批文檔的凝聚性處理結果中的類合并,得到所述要聚類的文檔的分批聚類結果。
2.根據權利要求1所述的方法,其中,所述要聚類的文檔為搜索引擎返回的搜索結果。
3.根據權利要求2所述的方法,其中,所述按照預定策略對要聚類的文檔進行分批包括:
對所述搜索引擎返回的搜索結果按照一定的百分比和先后順序進行分批。
4.根據權利要求1所述的方法,其中,對每一批文檔的聚類結果進行凝聚性處理包括:
根據當前批次文檔的所有類之間的相似度平均值,按照預定規則生成一個凝聚性閾值;
根據所述凝聚性閾值,確定當前批次文檔的每一個類中的每個文檔對于該文檔所屬的類是否具有凝聚性;
將不具有凝聚性的文檔從該文檔所屬的類中剔除;
確定所述不具有凝聚性的文檔與當前批次文檔的其他類是否具有凝聚性;
如果存在與所述不具有凝聚性的文檔可凝聚的類,則將所述不具有凝聚性的文檔加入所述類,否則將所述不具有凝聚性的文檔單獨作為所述當前批次文檔的一個類。
5.根據權利要求1所述的方法,其中,所述方法還包括:
對合并后的當前批次文檔的每一類文檔中除所述第一批文檔以外的每一個文檔進行凝聚性處理。
6.一種分批聚類系統,其中,所述系統包括:
分批單元,其按照預定策略對要聚類的文檔進行分批;
聚類單元,其對分批后的每一批文檔進行聚類,得到每一批文檔的聚類結果;
第一處理單元,其對每一批文檔的聚類結果進行凝聚性處理,得到每一批文檔的凝聚性處理結果;
合并單元,其將除第一批文檔以外的每一批文檔的凝聚性處理結果中的每一類與上一批文檔的凝聚性處理結果中的類合并,得到所述要聚類的文檔的分批聚類結果。
7.根據權利要求6所述的系統,其中,所述系統還包括:
搜索單元,用于通過搜索引擎返回搜索結果,將所述搜索結果作為所述分批單元要聚類的文檔。
8.根據權利要求7所述的系統,其中,所述分批單元具體用于對所述搜索引擎返回的搜索結果按照一定的百分比和先后順序進行分批。
9.根據權利要求6所述的系統,其中,所述第一處理單元包括:
第一生成模塊,其根據當前批次文檔的所有類之間的相似度平均值,按照預定規則生成一個凝聚性閾值;
第一確定模塊,其根據所述第一生成模塊生成的凝聚性閾值,確定當前批次文檔的每一個類中的每個文檔對于該文檔所屬的類是否具有凝聚性;
第一處理模塊,其將所述第一確定模塊確定的不具有凝聚性的文檔從該文檔所屬的類中剔除;
第二確定模塊,其確定所述第一確定模塊確定的不具有凝聚性的文檔與當前批次文檔的其他類是否具有凝聚性;
第二處理模塊,其在所述第二確定模塊確定為是時,將所述不具有凝聚性的文檔加入所述類,其在所述第二確定模塊確定為否時,將所述不具有凝聚性的文檔單獨作為所述當前批次文檔的一個類。
10.根據權利要求6所述的系統,其中,所述系統還包括:
第二處理單元,其對所述合并單元合并后的當前批次文檔的每一類文檔中除所述第一批文檔以外的每一個文檔進行凝聚性處理。
該專利技術資料僅供研究查看技術是否侵權等信息,商用須獲得專利權人授權。該專利全部權利屬于富士通株式會社,未經富士通株式會社許可,擅自商用是侵權行為。如果您想購買此專利、獲得商業授權和技術合作,請聯系【客服】
本文鏈接:http://www.szxzyx.cn/pat/books/201110189562.1/1.html,轉載請聲明來源鉆瓜專利網。





