[發(fā)明專利]對網(wǎng)頁中高頻關(guān)鍵詞進(jìn)行聚類的方法及裝置

有效

• 申請?zhí)枺?/td>: 201310108943.1
• 申請日: 2013-03-29
• 公開（公告）號: CN103258000B
• 公開（公告）日: 2017-02-08
• 發(fā)明（設(shè)計）人: 李學(xué)科
• 申請（專利權(quán)）人: 北界無限（北京）軟件有限公司
• 主分類號: G06F17/30
• 分類號: G06F17/30;G06N3/12
• 代理公司: 北京潤澤恒知識產(chǎn)權(quán)代理有限公司11319
• 代理人: 蘇培華

1.一種對多個網(wǎng)頁中高頻關(guān)鍵詞進(jìn)行聚類的方法，其特征在于，包括：

抓取所述多個網(wǎng)頁對應(yīng)的多個網(wǎng)頁文檔；

對抓取到的所述多個網(wǎng)頁文檔中的各個網(wǎng)頁文檔進(jìn)行分詞以獲取多個詞語；

確定各個網(wǎng)頁文檔對應(yīng)的關(guān)鍵詞組合，其中，所述關(guān)鍵詞組合包括表征對應(yīng)網(wǎng)頁文檔內(nèi)容的關(guān)鍵詞；

從多個關(guān)鍵詞組合中獲取高頻關(guān)鍵詞，其中，所述高頻關(guān)鍵詞為多個關(guān)鍵詞組合中在預(yù)設(shè)時間周期內(nèi)滿足預(yù)設(shè)條件的關(guān)鍵詞；以及

按相似度對所述高頻關(guān)鍵詞進(jìn)行聚類，以獲得同類高頻關(guān)鍵詞。

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，確定各個網(wǎng)頁文檔對應(yīng)的關(guān)鍵詞組合包括：

隨機(jī)組成多個當(dāng)前代詞語組合；

計算所述多個當(dāng)前代詞語組合與所述網(wǎng)頁文檔的匹配程度，獲得當(dāng)前代最優(yōu)個體；

對所述多個當(dāng)前代詞語組合進(jìn)行重組操作，得到多個新一代詞語組合；

計算所述多個新一代詞語組合與所述網(wǎng)頁文檔的多個新匹配程度，獲得新一代最優(yōu)個體；

判斷所述新一代最優(yōu)個體對應(yīng)的新匹配程度是否滿足預(yù)設(shè)匹配條件；以及

在所述新匹配程度不滿足所述預(yù)設(shè)匹配條件時，重復(fù)所述重組操作，在所述新匹配程度滿足所述預(yù)設(shè)匹配條件時，將所述新一代最優(yōu)個體確定為所述關(guān)鍵詞組合。

3.根據(jù)權(quán)利要求2所述的方法，其特征在于，計算所述詞語組合與所述網(wǎng)頁文檔的匹配程度包括：

獲取網(wǎng)頁文檔中的詞語總數(shù)量；

根據(jù)詞頻和反向文檔頻計算各詞語的詞頻值；

根據(jù)所述詞語組合中各詞語的詞頻值和所述網(wǎng)頁文檔的詞語總數(shù)量對所述詞語組合進(jìn)行矢量化，得到詞語組合矢量；

根據(jù)所述網(wǎng)頁文檔中各詞語的詞頻值和所述網(wǎng)頁文檔的詞語總數(shù)量對所述網(wǎng)頁文檔進(jìn)行矢量化，得到文檔矢量；以及

根據(jù)所述詞語組合矢量和所述文檔矢量的矢量參數(shù)計算所述詞語組合的個體適應(yīng)度，其中，所述個體適應(yīng)度作為所述匹配程度的依據(jù)。

4.根據(jù)權(quán)利要求1所述的方法，其特征在于，從多個關(guān)鍵詞組合中獲取高頻關(guān)鍵詞包括：

分別獲取所述多個網(wǎng)頁文檔對應(yīng)的所述關(guān)鍵詞組合中所述多個關(guān)鍵詞的訪問數(shù)量，所述訪問數(shù)量為在所述預(yù)設(shè)時間周期內(nèi)所述關(guān)鍵詞組合對應(yīng)網(wǎng)頁文檔的獨立訪客數(shù)量；以及

將所述訪問數(shù)量滿足預(yù)設(shè)數(shù)量條件的關(guān)鍵詞確定為所述多個網(wǎng)頁文檔的高頻關(guān)鍵詞。

5.根據(jù)權(quán)利要求1所述的方法，其特征在于，按相似度對所述高頻關(guān)鍵詞進(jìn)行聚類包括：

分別獲取所述多個網(wǎng)頁文檔對應(yīng)的所述關(guān)鍵詞組合中所述多個關(guān)鍵詞的訪問數(shù)量，所述訪問數(shù)量為在所述預(yù)設(shè)時間周期內(nèi)所述關(guān)鍵詞組合對應(yīng)網(wǎng)頁文檔的獨立訪客數(shù)量；

獲取各關(guān)鍵詞的訪問數(shù)量在所述預(yù)設(shè)時間周期內(nèi)隨時間的變化趨勢；以及

將所述變化趨勢的相似系數(shù)滿足預(yù)設(shè)系數(shù)條件的多個關(guān)鍵詞作為同類高頻關(guān)鍵詞。

6.根據(jù)權(quán)利要求1所述的方法，其特征在于，在按相似度對所述高頻關(guān)鍵詞進(jìn)行聚類之后，所述方法還包括：

將所述同類高頻關(guān)鍵詞對應(yīng)的網(wǎng)頁文檔以話題的形式推送至用戶。

7.根據(jù)權(quán)利要求1所述的方法，其特征在于，抓取所述多個網(wǎng)頁對應(yīng)的所述多個網(wǎng)頁文檔中包括：

確定各個網(wǎng)頁中各行的字?jǐn)?shù)；

計算各個網(wǎng)頁的字?jǐn)?shù)的標(biāo)準(zhǔn)差；以及

在一個網(wǎng)頁中，當(dāng)連續(xù)多行的字?jǐn)?shù)大于所述標(biāo)準(zhǔn)差時，確定字?jǐn)?shù)大于標(biāo)準(zhǔn)差的連續(xù)多行的文字為網(wǎng)頁文檔。

8.一種對多個網(wǎng)頁中高頻關(guān)鍵詞進(jìn)行聚類的裝置，其特征在于，包括：

抓取單元，用于抓取所述多個網(wǎng)頁對應(yīng)的多個網(wǎng)頁文檔；

分詞單元，用于對抓取到的所述多個網(wǎng)頁文檔中的各個網(wǎng)頁文檔進(jìn)行分詞以獲取多個詞語；

確定單元，用于確定各個網(wǎng)頁文檔對應(yīng)的關(guān)鍵詞組合，其中，所述關(guān)鍵詞組合包括表征對應(yīng)網(wǎng)頁文檔內(nèi)容的關(guān)鍵詞；

獲取單元，用于從多個關(guān)鍵詞組合中獲取高頻關(guān)鍵詞，其中，所述高頻關(guān)鍵詞為多個關(guān)鍵詞組合中在預(yù)設(shè)時間周期內(nèi)滿足預(yù)設(shè)條件的關(guān)鍵詞；以及

聚類單元，用于按相似度對所述高頻關(guān)鍵詞進(jìn)行聚類，以獲得同類高頻關(guān)鍵詞。