[發(fā)明專利]智能反饋式生成高頻字典的分布式系統(tǒng)及其方法

有效

• 申請?zhí)枺?/td>: 201510050719.0
• 申請日: 2015-01-30
• 公開（公告）號(hào): CN104537288B
• 公開（公告）日: 2017-07-28
• 發(fā)明（設(shè)計(jì)）人: 杜勇;舒文兵
• 申請（專利權(quán)）人: 武漢虹旭信息技術(shù)有限責(zé)任公司
• 主分類號(hào): G06F21/31
• 分類號(hào): G06F21/31;G06F21/46
• 代理公司: 武漢宇晨專利事務(wù)所42001
• 代理人: 黃瑞棠

1.一種智能反饋式生成高頻字典的分布式系統(tǒng)，包括互聯(lián)網(wǎng)(000)；

設(shè)置有字典分布式總控單元(100)和字典分布式子系統(tǒng)(200)；

字典分布式子系統(tǒng)(200)包括結(jié)構(gòu)相同的第1字典分布式子系統(tǒng)(210)、第2字典分布式子系統(tǒng)(220)……第n字典分布式子系統(tǒng)(2n0)，n是自然數(shù)，1≤n≤1024；

其連通關(guān)系是：

字典分布式總控單元(100)、互聯(lián)網(wǎng)(000)和字典分布式子系統(tǒng)(200)依次連通，實(shí)現(xiàn)智能反饋式生成高頻字典的分布式系統(tǒng)功能；所述的字典分布式總控單元(100)負(fù)責(zé)與每個(gè)子系統(tǒng)中的分布式調(diào)度單元連通，進(jìn)行系統(tǒng)的統(tǒng)一調(diào)度；

所述的字典分布式子系統(tǒng)(200)是根據(jù)字典分布式總控單元下發(fā)的命令，負(fù)責(zé)對互聯(lián)網(wǎng)(000)的信息進(jìn)行搜集，生成高頻字典；

第1字典分布式子系統(tǒng)(210)包括第1調(diào)度單元(211)、第1采集單元(212)、第1運(yùn)算單元(213)、第1存儲(chǔ)單元(214)、第1驗(yàn)證單元(215)和第1反饋單元(216)；

其交互關(guān)系是：

字典分布式總控單元(100)、互聯(lián)網(wǎng)(000)、第1調(diào)度單元(211)、第1采集單元(212)依次交互，實(shí)現(xiàn)系統(tǒng)整體調(diào)度以及配置下發(fā)的功能；

互聯(lián)網(wǎng)(000)、第1采集單元(212)和第1存儲(chǔ)單元(214)依次交互，實(shí)現(xiàn)字典庫的動(dòng)態(tài)搜集網(wǎng)絡(luò)字典以及子系統(tǒng)間字典同步功能；

第1采集單元(212)、第1運(yùn)算單元(213)、第1驗(yàn)證單元(215)和第1反饋單元(216)依次交互，以及第1運(yùn)算單元(213)和第1存儲(chǔ)單元(214)相互交互，實(shí)現(xiàn)系統(tǒng)反饋式字典的生成；

其特征在于：

①字典分布式總控單元連接各個(gè)子系統(tǒng)，對各個(gè)子系統(tǒng)下發(fā)配置，并進(jìn)行管理；

②調(diào)度單元接受字典分布式總控單元下發(fā)的配置，對每個(gè)子系統(tǒng)進(jìn)行識(shí)別和初始化操作，之后進(jìn)入工作模式，對本子系統(tǒng)進(jìn)行控制信令的下發(fā)；

③采集單元從調(diào)度單元接受配置信息之后，根據(jù)下發(fā)規(guī)則智能地從互聯(lián)網(wǎng)的網(wǎng)頁上動(dòng)態(tài)采集用戶上網(wǎng)中產(chǎn)生的信息，進(jìn)行簡單數(shù)據(jù)過濾，將解析的結(jié)果發(fā)送給運(yùn)算單元；

④運(yùn)算單元從采集單元接收解析結(jié)果，并讀取存儲(chǔ)單元中已有字典庫數(shù)據(jù)，進(jìn)行比對雜糅剔重，然后將數(shù)據(jù)下發(fā)給驗(yàn)證單元以及存儲(chǔ)單元，分別進(jìn)行進(jìn)一步驗(yàn)證和初步字典存儲(chǔ)；

⑤驗(yàn)證單元從運(yùn)算單元獲得的字典條目依次放入相應(yīng)的海量用戶密碼恢復(fù)文件中進(jìn)行驗(yàn)證，如果該條目滿足驗(yàn)證條件，則將該條目發(fā)送到反饋單元中；

⑥反饋單元負(fù)責(zé)將已驗(yàn)證的字典條目進(jìn)行拆分，然后發(fā)送回運(yùn)算單元；

⑦運(yùn)算單元從反饋單元中接收獲取成功率高的字典詞根，并進(jìn)行再次運(yùn)算，將此次生成的字典條目發(fā)送給存儲(chǔ)單元；

⑧存儲(chǔ)單元負(fù)責(zé)將運(yùn)算單元計(jì)算出的字典條目依次存儲(chǔ)，且字典分布式總控單元會(huì)定時(shí)下發(fā)同步讀取/寫入請求對字典進(jìn)行同步備份，用戶即可在任意時(shí)刻從存儲(chǔ)單元中得到字典庫。

2.按權(quán)利要求1所述的智能反饋式生成高頻字典的分布式系統(tǒng)，其特征在于字典分布式總控單元(100)的工作流程包括下列步驟：

A、初始化，將整個(gè)系統(tǒng)的狀態(tài)清空，并讀取用戶配置(30)；

B、進(jìn)入工作等待狀態(tài)，等待第1調(diào)度單元(211)的啟動(dòng)和連接(31)；

C、獲取第1字典分布式子系統(tǒng)(210)的信息(32)

從第1調(diào)度單元(211)接收任務(wù)，并按照任務(wù)類型進(jìn)行任務(wù)調(diào)度，獲取其所在的子系統(tǒng)信息，包括IP地址、版本號(hào)和子系統(tǒng)編號(hào)，并讀取第1調(diào)度單元(211)工作狀態(tài)，確保其已經(jīng)完成之前下發(fā)的任務(wù)或處于等待狀態(tài)；

D、判斷動(dòng)態(tài)下發(fā)配置或請求到第1調(diào)度單元(211)是否成功(33)，是則跳轉(zhuǎn)到步驟C，否則進(jìn)入步驟E；

E、剔除第1字典分布式子系統(tǒng)(34)

與當(dāng)前下發(fā)任務(wù)失敗的第1字典分布式子系統(tǒng)210斷開連接，并清空上下文。