[發(fā)明專利]對網(wǎng)頁中高頻關(guān)鍵詞進(jìn)行聚類的方法及裝置

有效

• 申請?zhí)枺?/td>: 201310108943.1
• 申請日: 2013-03-29
• 公開（公告）號: CN103258000B
• 公開（公告）日: 2017-02-08
• 發(fā)明（設(shè)計）人: 李學(xué)科
• 申請（專利權(quán)）人: 北界無限（北京）軟件有限公司
• 主分類號: G06F17/30
• 分類號: G06F17/30;G06N3/12
• 代理公司: 北京潤澤恒知識產(chǎn)權(quán)代理有限公司11319
• 代理人: 蘇培華

技術(shù)領(lǐng)域

本發(fā)明涉及互聯(lián)網(wǎng)領(lǐng)域，具體而言，涉及一種對網(wǎng)頁中高頻關(guān)鍵詞進(jìn)行聚類的方法及裝置。

背景技術(shù)

在互聯(lián)網(wǎng)信息急劇增加的情況下，如何發(fā)現(xiàn)最有價值的信息是尚未解決的問題。因為信息會通過多種渠道和形式發(fā)布，甚至出現(xiàn)同一條信息有不同描述的情況，為讀者準(zhǔn)確獲取某類別的信息帶來一定障礙。

為了有效獲取不同類型的信息，現(xiàn)有技術(shù)會對多篇網(wǎng)頁文檔進(jìn)行聚類，然而，現(xiàn)有技術(shù)的聚類方式是基于網(wǎng)頁文檔全文的，由于網(wǎng)頁文檔全文的信息量較大，對全文的聚類需耗費(fèi)較大工作量；同時，全文里涉及內(nèi)容較多，一些詞語并不能反映文檔的主要內(nèi)容，這些詞語會影響文檔聚類的準(zhǔn)確性。因此，對通過全文對網(wǎng)頁文檔進(jìn)行聚類不能滿足對信息的聚類要求。

發(fā)明內(nèi)容

本發(fā)明實(shí)施例提供一種對網(wǎng)頁中高頻關(guān)鍵詞進(jìn)行聚類的方法和裝置，以提供對網(wǎng)頁文檔更準(zhǔn)確的分類方案。

本發(fā)明為了實(shí)現(xiàn)上述目的，提供一種對多個網(wǎng)頁中高頻關(guān)鍵詞進(jìn)行聚類的方法，包括：抓取所述多個網(wǎng)頁對應(yīng)的多個網(wǎng)頁文檔；對抓取到的所述多個網(wǎng)頁文檔中的各個網(wǎng)頁文檔進(jìn)行分詞以獲取多個詞語；確定各個網(wǎng)頁文檔對應(yīng)的關(guān)鍵詞組合，其中，所述關(guān)鍵詞組合包括表征對應(yīng)網(wǎng)頁文檔內(nèi)容的關(guān)鍵詞；從多個關(guān)鍵詞組合中獲取高頻關(guān)鍵詞，其中，所述高頻關(guān)鍵詞為多個關(guān)鍵詞組合中在預(yù)設(shè)時間周期內(nèi)滿足預(yù)設(shè)條件的關(guān)鍵詞；以及按相似度對所述高頻關(guān)鍵詞進(jìn)行聚類，以獲得同類高頻關(guān)鍵詞。

在一個實(shí)施例中，確定各個網(wǎng)頁文檔對應(yīng)的關(guān)鍵詞組合包括：隨機(jī)組成多個當(dāng)前代詞語組合；計算所述多個當(dāng)前代詞語組合與所述網(wǎng)頁文檔的匹配程度，獲得當(dāng)前代最優(yōu)個體；對所述多個當(dāng)前代詞語組合進(jìn)行重組操作，得到多個新一代詞語組合；計算所述多個新一代詞語組合與所述網(wǎng)頁文檔的多個新匹配程度，獲得新一代最優(yōu)個體；判斷所述新一代最優(yōu)個體對應(yīng)的新匹配程度是否滿足預(yù)設(shè)匹配條件；以及在所述新匹配程度不滿足所述預(yù)設(shè)匹配條件時，重復(fù)所述重組操作，在所述新匹配程度滿足所述預(yù)設(shè)匹配條件時，將所述新一代最優(yōu)個體確定為所述關(guān)鍵詞組合。

在一個實(shí)施例中，計算所述詞語組合與所述網(wǎng)頁文檔的匹配程度包括：獲取網(wǎng)頁文檔中的詞語總數(shù)量；根據(jù)詞頻和反向文檔頻計算各詞語的詞頻值；根據(jù)所述詞語組合中各詞語的詞頻值和所述網(wǎng)頁文檔的詞語總數(shù)量對所述詞語組合進(jìn)行矢量化，得到詞語組合矢量；根據(jù)所述網(wǎng)頁文檔中各詞語的詞頻值和所述網(wǎng)頁文檔的詞語總數(shù)量對所述網(wǎng)頁文檔進(jìn)行矢量化，得到文檔矢量；以及根據(jù)所述詞語組合矢量和所述文檔矢量的矢量參數(shù)計算所述詞語組合的個體適應(yīng)度，其中，所述個體適應(yīng)度作為所述匹配程度的依據(jù)。

在一個實(shí)施例中，從多個關(guān)鍵詞組合中獲取高頻關(guān)鍵詞包括：分別獲取所述多個網(wǎng)頁文檔對應(yīng)的所述關(guān)鍵詞組合中所述多個關(guān)鍵詞的訪問數(shù)量，所述訪問數(shù)量為在所述預(yù)設(shè)時間周期內(nèi)所述關(guān)鍵詞組合對應(yīng)網(wǎng)頁文檔的獨(dú)立訪客數(shù)量；將所述訪問數(shù)量滿足預(yù)設(shè)數(shù)量條件的關(guān)鍵詞確定為所述多個網(wǎng)頁文檔的高頻關(guān)鍵詞。

在一個實(shí)施例中，按相似度對所述高頻關(guān)鍵詞進(jìn)行聚類包括：分別獲取所述多個網(wǎng)頁文檔對應(yīng)的所述關(guān)鍵詞組合中所述多個關(guān)鍵詞的訪問數(shù)量，所述訪問數(shù)量為在所述預(yù)設(shè)時間周期內(nèi)所述關(guān)鍵詞組合對應(yīng)網(wǎng)頁文檔的獨(dú)立訪客數(shù)量；獲取各關(guān)鍵詞的訪問數(shù)量在所述預(yù)設(shè)時間周期內(nèi)隨時間的變化趨勢；將所述變化趨勢的相似系數(shù)滿足預(yù)設(shè)系數(shù)條件的多個關(guān)鍵詞作為同類高頻關(guān)鍵詞。

在一個實(shí)施例中，在按相似度對所述高頻關(guān)鍵詞進(jìn)行聚類之后，所述方法還包括：將所述同類高頻關(guān)鍵詞對應(yīng)的網(wǎng)頁文檔以話題的形式推送至用戶。

在一個實(shí)施例中，抓取所述多個網(wǎng)頁對應(yīng)的所述多個網(wǎng)頁文檔中包括：確定各個網(wǎng)頁中各行的字?jǐn)?shù)；計算各個網(wǎng)頁的字?jǐn)?shù)的標(biāo)準(zhǔn)差；在一個網(wǎng)頁中，當(dāng)連續(xù)多行的字?jǐn)?shù)大于所述標(biāo)準(zhǔn)差時，確定字?jǐn)?shù)大于標(biāo)準(zhǔn)差的連續(xù)多行的文字為網(wǎng)頁文檔。

本發(fā)明為了實(shí)現(xiàn)上述目的，提供一種對多個網(wǎng)頁中高頻關(guān)鍵詞進(jìn)行聚類的裝置，包括：抓取單元，用于抓取所述多個網(wǎng)頁對應(yīng)的多個網(wǎng)頁文檔；分詞單元，用于對抓取到的所述多個網(wǎng)頁文檔中的各個網(wǎng)頁文檔進(jìn)行分詞以獲取多個詞語；確定單元，用于確定各個網(wǎng)頁文檔對應(yīng)的關(guān)鍵詞組合，其中，所述關(guān)鍵詞組合包括表征對應(yīng)網(wǎng)頁文檔內(nèi)容的關(guān)鍵詞；獲取單元，用于從多個關(guān)鍵詞組合中獲取高頻關(guān)鍵詞，其中，所述高頻關(guān)鍵詞為多個關(guān)鍵詞組合中在預(yù)設(shè)時間周期內(nèi)滿足預(yù)設(shè)條件的關(guān)鍵詞；聚類單元，用于按相似度對所述高頻關(guān)鍵詞進(jìn)行聚類，以獲得同類高頻關(guān)鍵詞。