[發(fā)明專利]基于聚類(lèi)的網(wǎng)頁(yè)內(nèi)容信息提取方法

在審

• 申請(qǐng)?zhí)枺?/td>: 201710602891.1
• 申請(qǐng)日: 2017-07-21
• 公開(kāi)（公告）號(hào): CN107391678A
• 公開(kāi)（公告）日: 2017-11-24
• 發(fā)明（設(shè)計(jì)）人: 郭文忠;劉碧春;張祖文;陳國(guó)龍;陳星
• 申請(qǐng)（專利權(quán)）人: 福州大學(xué)
• 主分類(lèi)號(hào): G06F17/30
• 分類(lèi)號(hào): G06F17/30;G06K9/62
• 代理公司: 福州元?jiǎng)?chuàng)專利商標(biāo)代理有限公司35100
• 代理人: 蔡學(xué)俊,薛金才

1.一種基于聚類(lèi)的網(wǎng)頁(yè)內(nèi)容信息提取方法，其特征在于，包括以下步驟：

S1:將DOM樹(shù)中各個(gè)塊節(jié)點(diǎn)的路徑作為網(wǎng)頁(yè)的結(jié)構(gòu)特征，通過(guò)前序遍歷的方式遍歷網(wǎng)頁(yè)DOM樹(shù)T_d，提取塊節(jié)點(diǎn)的路徑集合F.f，構(gòu)成二元組F＝<w,f>來(lái)表示網(wǎng)頁(yè)w的結(jié)構(gòu)特征；最后將輸入的網(wǎng)頁(yè)集合W轉(zhuǎn)化為k個(gè)網(wǎng)頁(yè)的結(jié)構(gòu)特征集合D＝{F1,F2,…,Fk}；

S2：提取標(biāo)題；

S3：提取時(shí)間；

S4：據(jù)網(wǎng)頁(yè)結(jié)構(gòu)特征F，計(jì)算得到網(wǎng)頁(yè)之間的相似度，兩個(gè)頁(yè)面的相似度函數(shù)按照以下公式進(jìn)行表示：

sim(Fi,Fj)=card(Fi.f∩Fj.f)min(card(Fi.f),card(Fj.f))]]>

其中Fi和F_j分別表示第i個(gè)網(wǎng)頁(yè)和第j個(gè)網(wǎng)頁(yè)的結(jié)構(gòu)特征；使用分層聚類(lèi)算法通過(guò)網(wǎng)頁(yè)相似度計(jì)算對(duì)一組網(wǎng)頁(yè)進(jìn)行聚類(lèi)，得到聚類(lèi)結(jié)果為n個(gè)標(biāo)記類(lèi)的網(wǎng)頁(yè)標(biāo)記類(lèi)網(wǎng)頁(yè)集合M，M＝{C1,C2,…,C_n},集合中的每一個(gè)元素表示該標(biāo)記類(lèi)的特征；

S5：對(duì)同一標(biāo)記類(lèi)的網(wǎng)頁(yè)提取正文內(nèi)容的抽取規(guī)則。

2.根據(jù)權(quán)利要求1所述的基于聚類(lèi)的網(wǎng)頁(yè)內(nèi)容信息提取方法，其特征在于：S2包括以下步驟：

S21：獲取網(wǎng)頁(yè)中<title></title>標(biāo)簽對(duì)中的文本內(nèi)容，記為DemoTitle；

S22：從網(wǎng)頁(yè)內(nèi)容中將<title></title>標(biāo)簽對(duì)及內(nèi)容刪除；

S23：逐行掃描剩下網(wǎng)頁(yè)的文本內(nèi)容，找出每一行的內(nèi)容與DemoTitle的最長(zhǎng)公共字串，將長(zhǎng)度不為零的公共子串的行號(hào)和內(nèi)容(linenumber，titleString)存入候選集中：

S24：按titleString的長(zhǎng)度對(duì)候選集進(jìn)行降序排列，選擇titleString的長(zhǎng)度最長(zhǎng)的元素作為新聞標(biāo)題。

3.根據(jù)權(quán)利要求1所述的基于聚類(lèi)的網(wǎng)頁(yè)內(nèi)容信息提取方法，其特征在于：S3包括以下步驟：

S31：采用預(yù)先設(shè)定的模板、優(yōu)先級(jí)，匹配每一行所包含的時(shí)間，將提取出的時(shí)間和所在行的行號(hào)(linenumber，timeString)加入候選集；

S32：在提取正文的過(guò)程會(huì)獲得最長(zhǎng)文本的行號(hào)，對(duì)候選集里的時(shí)間進(jìn)行過(guò)濾，刪除行號(hào)大于最長(zhǎng)文本行號(hào)的項(xiàng)；

S33：對(duì)過(guò)濾后的候選集按時(shí)間模板的優(yōu)先級(jí)排序，選取排在最前面的時(shí)間為新聞的發(fā)布時(shí)間。