[發(fā)明專利]一種大數(shù)據(jù)環(huán)境下業(yè)務(wù)標(biāo)簽的擴(kuò)展方法

在審

• 申請?zhí)枺?/td>: 201510162777.2
• 申請日: 2015-04-08
• 公開（公告）號: CN104699851A
• 公開（公告）日: 2015-06-10
• 發(fā)明（設(shè)計(jì)）人: 周敏杰;胡忠順;丁富強(qiáng);裴國才;羅京衛(wèi);李戰(zhàn)克;蔣潤青
• 申請（專利權(quán)）人: 上海理想信息產(chǎn)業(yè)（集團(tuán)）有限公司
• 主分類號: G06F17/30
• 分類號: G06F17/30
• 代理公司: 上海國智知識產(chǎn)權(quán)代理事務(wù)所(普通合伙) 31274
• 代理人: 潘建玲

技術(shù)領(lǐng)域

本發(fā)明屬于互聯(lián)網(wǎng)數(shù)據(jù)獲取與應(yīng)用技術(shù)領(lǐng)域，特別涉及一種大數(shù)據(jù)環(huán)境下業(yè)務(wù)標(biāo)簽的擴(kuò)展方法。

背景技術(shù)

在以業(yè)務(wù)為中心的企業(yè)中，由于各種業(yè)務(wù)的類型、目的和范圍都不相同，如何獲取、管理和擴(kuò)展各種不同的業(yè)務(wù)標(biāo)簽是一個(gè)緊迫的問題，具有非常巨大的意義。其中，獲取業(yè)務(wù)標(biāo)簽主要通過簡單的關(guān)鍵詞提取工具和人工標(biāo)記，而管理業(yè)務(wù)標(biāo)簽則主要通過標(biāo)簽分類體系來完成，都不太涉及外部數(shù)據(jù)源。最重要的一個(gè)任務(wù)是擴(kuò)展業(yè)務(wù)標(biāo)簽下屬的實(shí)體，例如：關(guān)鍵詞和網(wǎng)頁地址URL，尚未有成熟的系統(tǒng)。

擴(kuò)展業(yè)務(wù)標(biāo)簽存在如下形式：（1）采取人工擴(kuò)展的形式，不僅需要消耗巨大的人力資源，而且擴(kuò)展結(jié)果還帶有較大的主觀性。（2）使用程序進(jìn)行自動(dòng)化擴(kuò)展，缺乏必要的外部數(shù)據(jù)源，而最大的外部數(shù)據(jù)源就是互聯(lián)網(wǎng)。如今互聯(lián)網(wǎng)發(fā)展迅速，互聯(lián)網(wǎng)上有價(jià)值的數(shù)據(jù)正以幾何級數(shù)增長，互聯(lián)網(wǎng)數(shù)據(jù)在實(shí)際業(yè)務(wù)中的應(yīng)用正在不斷地增加。

通過互聯(lián)網(wǎng)數(shù)據(jù)來對業(yè)務(wù)標(biāo)簽進(jìn)行擴(kuò)展，其主要方法就是針對性地從互聯(lián)網(wǎng)上獲取與業(yè)務(wù)相關(guān)的關(guān)鍵詞和網(wǎng)頁地址URL。互聯(lián)網(wǎng)數(shù)據(jù)雖多，但是其異構(gòu)性和復(fù)雜性也很顯著，這使得數(shù)據(jù)利用率較難得到保證，因此，擴(kuò)展任務(wù)對系統(tǒng)的處理能力和準(zhǔn)確性要求較高，實(shí)施起來存在很大的困難，并且目前沒有任何一種技術(shù)能夠?qū)崿F(xiàn)。

因此，互聯(lián)網(wǎng)數(shù)據(jù)獲取與應(yīng)用技術(shù)領(lǐng)域急需一種方便業(yè)務(wù)人員通過簡單的操作就能擴(kuò)展出業(yè)務(wù)標(biāo)簽及其所屬的關(guān)鍵詞和URL，從而大大提高了生產(chǎn)效率，滿足各種業(yè)務(wù)發(fā)展的需求的大數(shù)據(jù)環(huán)境下業(yè)務(wù)標(biāo)簽的擴(kuò)展方法。

發(fā)明內(nèi)容

本發(fā)明所要解決的技術(shù)問題是業(yè)務(wù)標(biāo)簽的擴(kuò)展方法，本方法克服了針對業(yè)務(wù)標(biāo)簽的人工擴(kuò)展或無外部數(shù)據(jù)源的自動(dòng)化擴(kuò)展的缺陷，提供了一種大數(shù)據(jù)環(huán)境下業(yè)務(wù)標(biāo)簽的擴(kuò)展方法，技術(shù)方案如下：

一種大數(shù)據(jù)環(huán)境下業(yè)務(wù)標(biāo)簽的擴(kuò)展方法，包括如下步驟：

步驟一、獲取實(shí)際業(yè)務(wù)的內(nèi)容，再根據(jù)業(yè)務(wù)的類型、目的和范圍抽取出一個(gè)代表該業(yè)務(wù)的標(biāo)簽；

步驟二、通過搜索引擎對步驟一中抽取出的標(biāo)簽進(jìn)行檢索，獲取與該標(biāo)簽相關(guān)的關(guān)鍵詞和網(wǎng)頁地址URL的初始集合；

步驟三、根據(jù)K中心距、樸素貝葉斯、點(diǎn)互信息算法對初始集合中的每一個(gè)關(guān)鍵詞和URL進(jìn)行計(jì)算，得出每一個(gè)關(guān)鍵詞和URL對于該標(biāo)簽的權(quán)重大小；

步驟四、判斷所有權(quán)重大小是否都符合某一閾值，該閾值為擴(kuò)展任務(wù)開始之前的預(yù)設(shè)值，如關(guān)鍵詞或URL的權(quán)重值大于某一預(yù)先規(guī)定的閾值，則將此關(guān)鍵詞或URL加入到該標(biāo)簽的結(jié)果集合下，否則將該關(guān)鍵詞或URL丟棄；

步驟五、判斷步驟四中結(jié)果集合的規(guī)模是否滿足要求，該規(guī)模要求為擴(kuò)展任務(wù)開始之前的預(yù)設(shè)值，如結(jié)果集合規(guī)模大于或等于規(guī)模閾值，則結(jié)束所有步驟，否則根據(jù)結(jié)果集合中已有的關(guān)鍵詞，通過搜索引擎中所搜這些關(guān)鍵詞獲得更多的關(guān)鍵詞及URL，重復(fù)步驟三至五的步驟。

優(yōu)選的，在上述一種大數(shù)據(jù)環(huán)境下業(yè)務(wù)標(biāo)簽的擴(kuò)展方法中，步驟三中的K中心距算法的是指：如果一個(gè)關(guān)鍵詞或URL與該標(biāo)簽共同出現(xiàn)的頻數(shù)越高，則其權(quán)重越大，故需要通過搜索引擎獲得該關(guān)鍵詞或URL與該標(biāo)簽共同出現(xiàn)的頻數(shù)。

優(yōu)選的，在上述一種大數(shù)據(jù)環(huán)境下業(yè)務(wù)標(biāo)簽的擴(kuò)展方法中，步驟三中的樸素貝葉斯算法是指：如果一個(gè)關(guān)鍵詞或URL與該標(biāo)簽共同出現(xiàn)的頻數(shù)越高，且與其他標(biāo)簽共同出現(xiàn)的頻數(shù)越低，則其權(quán)重越大，故需要通過搜索引擎獲得該關(guān)鍵詞或URL與搜索已知所有標(biāo)簽共同出現(xiàn)的頻數(shù)。

優(yōu)選的，在上述一種大數(shù)據(jù)環(huán)境下業(yè)務(wù)標(biāo)簽的擴(kuò)展方法中，步驟三中的點(diǎn)互信息算法是指：如果一個(gè)關(guān)鍵詞或URL與該標(biāo)簽及其所屬的其他關(guān)鍵詞和URL共同出現(xiàn)的頻數(shù)越高，且與其他標(biāo)簽及其所屬的其他關(guān)鍵詞和URL共同出現(xiàn)的頻數(shù)越低，則其權(quán)重越大，故需要通過搜索引擎獲得該關(guān)鍵詞或URL與搜索已知所有標(biāo)簽及已知所有關(guān)鍵詞和URL共同出現(xiàn)的頻數(shù)。

本發(fā)明的有益效果：