[發(fā)明專利]一種網(wǎng)絡(luò)未知應(yīng)用的關(guān)鍵詞提取方法

無效

• 申請?zhí)枺?/td>: 200810220185.1
• 申請日: 2008-12-19
• 公開（公告）號: CN101488861A
• 公開（公告）日: 2009-07-22
• 發(fā)明（設(shè)計(jì)）人: 余順爭
• 申請（專利權(quán)）人: 中山大學(xué)
• 主分類號: H04L9/36
• 分類號: H04L9/36;H04L29/06
• 代理公司: 廣州粵高專利代理有限公司
• 代理人: 禹小明

1、一種網(wǎng)絡(luò)未知應(yīng)用的關(guān)鍵詞提取方法，其特征在于通過采集未知應(yīng)用在會話過程中傳輸?shù)膱?bào)文，獲得會話樣本，并由大量的會話樣本構(gòu)成樣本集；對樣本集中構(gòu)成關(guān)鍵詞的字符或字符串進(jìn)行標(biāo)注，再計(jì)算標(biāo)注好的字符或字符串在樣本集中的通用度和支持度，即該字符或字符串的廣泛適用性和出現(xiàn)的頻繁程度，從而確定關(guān)鍵詞集合。

2、根據(jù)權(quán)利要求1所述的一種網(wǎng)絡(luò)未知應(yīng)用的關(guān)鍵詞提取方法，其特征在于所述的樣本集構(gòu)成方法，通過網(wǎng)絡(luò)采集同一種未知應(yīng)用的會話樣本，組成樣本集，其中每一個(gè)樣本都是這種應(yīng)用的一個(gè)會話記錄；每個(gè)會話記錄都包含至少2個(gè)報(bào)文，每個(gè)報(bào)文都只保留應(yīng)用層數(shù)據(jù)。

3、根據(jù)權(quán)利要求2所述的網(wǎng)絡(luò)未知應(yīng)用的關(guān)鍵詞提取方法，其特征在于把樣本集中的會話樣本進(jìn)一步分為樣本子集，每個(gè)樣本子集所包含的會話樣本具有共同點(diǎn)。

4、根據(jù)權(quán)利要求1或2或3所述的網(wǎng)絡(luò)未知應(yīng)用的關(guān)鍵詞提取方法，其特征在于對樣本集中的字符進(jìn)行標(biāo)注的方法，它通過把樣本集中的字符位置標(biāo)注為字符的下標(biāo)，使得具有相同下標(biāo)的字符具有相同的屬性，即當(dāng)且僅當(dāng)A＝B且i＝j(luò)時(shí)，帶下標(biāo)的字符A_i＝B_j，具體標(biāo)注方法如下：

設(shè)字符C在一個(gè)會話樣本中的位置為：由前向后數(shù)處于第i個(gè)報(bào)文的第k個(gè)字符位置，由后向前數(shù)處于倒數(shù)第j個(gè)報(bào)文的倒數(shù)第l個(gè)字符位置，則給字符C分別添加下標(biāo)使之成為：C₀，C_j，C_i，C_l，C_k，C_(j，l)，C_(j，k)，C_(i，l)，C_(i，k)；由此把樣本集分別映射為樣本集0，樣本集1，...，樣本集8，即樣本集i，for?i＝0，1，...，8。

5、根據(jù)權(quán)利要求4所述的網(wǎng)絡(luò)未知應(yīng)用的關(guān)鍵詞提取方法，其特征在于所述的關(guān)鍵詞定義為應(yīng)用層協(xié)議在協(xié)議過程和報(bào)文格式所需要的字符串，包括關(guān)鍵詞、或類型碼、或狀態(tài)碼、或定界符；

提取關(guān)鍵詞依據(jù)支持度和通用度，所述通用度為在樣本集中包含給定字符或字符串的樣本子集的個(gè)數(shù)，所述支持度為在給定通用度條件下，在樣本集中包含給定字符或字符串的會話的個(gè)數(shù)。

6、根據(jù)權(quán)利要求5所述的網(wǎng)絡(luò)未知應(yīng)用的關(guān)鍵詞提取方法，其特征在于確定關(guān)鍵詞集的方法具體為：對于每個(gè)樣本集i，for?i＝0，1，...，8，當(dāng)樣本集中樣本子集的個(gè)數(shù)為N時(shí)，求通用度至少n＝N且支持度至少m>N的步驟如下：

1)求1-string頻繁項(xiàng)集：計(jì)算每一個(gè)帶下標(biāo)字符在樣本集i中的通用度和支持度；當(dāng)它的通用度大于等于n且支持度大于等于m時(shí)，把它列入1-string頻繁項(xiàng)集；

2)再由k-string頻繁項(xiàng)集求(k+1)-string頻繁項(xiàng)集(k≥1)：對于k-string頻繁項(xiàng)集中的任意兩項(xiàng)A和B，如果A的后(k-1)-string與B的前(k-1)-string相同，則把A和B合成一個(gè)待選的(k+1)-string，然后計(jì)算該(k+1)-string在樣本集i中的通用度和支持度；當(dāng)它的通用度大于等于n且支持度大于等于m時(shí)，把它列入(k+1)-string頻繁項(xiàng)集；如此進(jìn)行，直到?jīng)]有更長頻繁項(xiàng)為止；

3)把所求得的所有頻繁項(xiàng)集合成一個(gè)關(guān)鍵詞集i。

7、根據(jù)權(quán)利要求6所述的一種網(wǎng)絡(luò)應(yīng)用的關(guān)鍵詞提取方法，其特征在于還包括篩選關(guān)鍵詞，具體篩選方法如下：

令關(guān)鍵詞集i具有級別i，for?i＝0，1，...，8；級別0最低，級別8最高；把關(guān)鍵詞集i，for?i＝0，1，...，8合成一個(gè)關(guān)鍵詞集；然后，刪除關(guān)鍵詞集中屬于其它項(xiàng)的子字符串的項(xiàng)，即如果A是B的子字符串，當(dāng)A與B同級別或者比B的級別低時(shí)，刪除A；否則刪除B。