[發(fā)明專利]一種文檔分類方法和系統(tǒng)

在審

• 申請(qǐng)?zhí)枺?/td>: 201410449140.7
• 申請(qǐng)日: 2014-09-04
• 公開(kāi)（公告）號(hào): CN104239479A
• 公開(kāi)（公告）日: 2014-12-24
• 發(fā)明（設(shè)計(jì)）人: 宗棟瑞;郭美思;吳楠
• 申請(qǐng)（專利權(quán)）人: 浪潮（北京）電子信息產(chǎn)業(yè)有限公司
• 主分類號(hào): G06F17/30
• 分類號(hào): G06F17/30
• 代理公司: 北京安信方達(dá)知識(shí)產(chǎn)權(quán)代理有限公司 11262
• 代理人: 王丹;李丹

1.一種文檔分類方法，其特征在于，應(yīng)用于包括Map程序和Reduce程序的Hadoop集群中，所述方法包括以下步驟：

所述Map程序?qū)τ?xùn)練文檔和待分類文檔進(jìn)行解析，根據(jù)解析結(jié)果確定特征屬性，并對(duì)所述特征屬性進(jìn)行劃分；

所述Map程序根據(jù)所述訓(xùn)練文檔的特征屬性以及對(duì)所述訓(xùn)練文檔的分類結(jié)果，生成分類器；

所述Reduce程序使用所述分類器對(duì)所述待分類文檔進(jìn)行分類，得到待分類文檔的分類結(jié)果。

2.如權(quán)利要求1所述的方法，其特征在于，所述Map程序根據(jù)解析結(jié)果確定特征屬性之后，還包括：

所述Map程序根據(jù)所述特征屬性，分別對(duì)所述訓(xùn)練文檔和所述待分類文檔進(jìn)行格式轉(zhuǎn)換，得到符合預(yù)設(shè)格式的訓(xùn)練文檔和待分類文檔；

所述Map程序根據(jù)所述訓(xùn)練文檔的特征屬性以及對(duì)所述訓(xùn)練文檔的分類結(jié)果，生成分類器，具體為：

所述Map程序根據(jù)格式轉(zhuǎn)換后的訓(xùn)練文檔的特征屬性以及對(duì)所述訓(xùn)練文檔的分類結(jié)果，生成分類器；

所述Reduce程序使用所述分類器對(duì)所述待分類文檔進(jìn)行分類，得到待分類文檔的分類結(jié)果，具體為：

所述Reduce程序使用所述分類器對(duì)格式轉(zhuǎn)換后的待分類文檔進(jìn)行分類，得到待分類文檔的分類結(jié)果。

3.如權(quán)利要求2所述的方法，其特征在于，所述Map程序根據(jù)格式轉(zhuǎn)換后的訓(xùn)練文檔的特征屬性以及對(duì)所述訓(xùn)練文檔的分類結(jié)果，生成分類器，具體為：

所述Map程序根據(jù)所述格式轉(zhuǎn)換后的訓(xùn)練文檔對(duì)應(yīng)的各個(gè)特征屬性的取值范圍以及對(duì)所述訓(xùn)練文檔的分類結(jié)果，計(jì)算每個(gè)類別在所述訓(xùn)練文檔中的出現(xiàn)頻率以及在每個(gè)類別下所有特征屬性的各個(gè)取值范圍的條件概率估計(jì)，將所述出現(xiàn)頻率和所述條件概率估計(jì)記錄為分類器。

4.如權(quán)利要求3所述的方法，其特征在于，所述Reduce程序使用所述分類器對(duì)格式轉(zhuǎn)換后的待分類文檔進(jìn)行分類，得到待分類文檔的分類結(jié)果，具體為：

所述Reduce程序獲取所述格式轉(zhuǎn)換后的待分類文檔的所有特征屬性的取值范圍，根據(jù)獲取到的取值范圍、每個(gè)類別在訓(xùn)練文檔中的出現(xiàn)頻率以及在每個(gè)類別下所有特征屬性的各個(gè)取值范圍的條件概率估計(jì)，計(jì)算所述待分類文檔歸屬于各個(gè)類別的條件概率，并將數(shù)值最大的條件概率對(duì)應(yīng)的類別作為所述待分類文檔的分類結(jié)果。

5.如權(quán)利要求1所述的方法，其特征在于，所述Map程序?qū)τ?xùn)練文檔和待分類文檔進(jìn)行解析，根據(jù)解析結(jié)果確定特征屬性，并對(duì)所述特征屬性進(jìn)行劃分，具體為：

所述Map程序通過(guò)對(duì)訓(xùn)練文檔和待分類文檔進(jìn)行解析，得到訓(xùn)練文檔和待分類文檔包含的屬性，并從解析得到的屬性中選取特征屬性，并針對(duì)每個(gè)特征屬性劃分多個(gè)取值范圍。

6.一種文檔分類系統(tǒng)，其特征在于，應(yīng)用于Hadoop集群中，所述系統(tǒng)包括：

解析模塊，用于對(duì)訓(xùn)練文檔和待分類文檔進(jìn)行解析，根據(jù)解析結(jié)果確定特征屬性，并對(duì)所述特征屬性進(jìn)行劃分；

生成模塊，用于根據(jù)所述解析模塊確定的所述訓(xùn)練文檔的特征屬性以及對(duì)所述訓(xùn)練文檔的分類結(jié)果，生成分類器；

分類模塊，用于使用所述生成模塊生成的所述分類器對(duì)所述待分類文檔進(jìn)行分類，得到待分類文檔的分類結(jié)果。

7.如權(quán)利要求6所述的系統(tǒng)，其特征在于，還包括：

轉(zhuǎn)換模塊，用于根據(jù)所述解析模塊確定的所述特征屬性，分別對(duì)所述訓(xùn)練文檔和所述待分類文檔進(jìn)行格式轉(zhuǎn)換，得到符合預(yù)設(shè)格式的訓(xùn)練文檔和待分類文檔；

所述生成模塊，具體用于根據(jù)所述轉(zhuǎn)換模塊格式轉(zhuǎn)換后的訓(xùn)練文檔的特征屬性以及對(duì)所述訓(xùn)練文檔的分類結(jié)果，生成分類器；

所述分類模塊，具體用于使用所述生成模塊生成的所述分類器對(duì)所述轉(zhuǎn)換模塊格式轉(zhuǎn)換后的待分類文檔進(jìn)行分類，得到待分類文檔的分類結(jié)果。

8.如權(quán)利要求7所述的系統(tǒng)，其特征在于，

所述生成模塊，具體用于根據(jù)所述轉(zhuǎn)換模塊格式轉(zhuǎn)換后的訓(xùn)練文檔對(duì)應(yīng)的各個(gè)特征屬性的取值范圍以及對(duì)所述訓(xùn)練文檔的分類結(jié)果，計(jì)算每個(gè)類別在所述訓(xùn)練文檔中的出現(xiàn)頻率以及在每個(gè)類別下所有特征屬性的各個(gè)取值范圍的條件概率估計(jì)，將所述出現(xiàn)頻率和所述條件概率估計(jì)記錄為分類器。