[發(fā)明專利]一種基于時(shí)間串的論壇頁(yè)面信息自動(dòng)抽取方法及系統(tǒng)

在審

• 申請(qǐng)?zhí)枺?/td>: 201410429698.9
• 申請(qǐng)日: 2014-08-27
• 公開(kāi)（公告）號(hào): CN104268148A
• 公開(kāi)（公告）日: 2015-01-07
• 發(fā)明（設(shè)計(jì)）人: 程學(xué)旗;郗家貞;郭巖;劉悅;俞曉明;趙嶺
• 申請(qǐng)（專利權(quán)）人: 中國(guó)科學(xué)院計(jì)算技術(shù)研究所
• 主分類號(hào): G06F17/30
• 分類號(hào): G06F17/30
• 代理公司: 北京律誠(chéng)同業(yè)知識(shí)產(chǎn)權(quán)代理有限公司 11006
• 代理人: 祁建國(guó);梁揮

1.一種基于時(shí)間串的論壇頁(yè)面信息自動(dòng)抽取方法，其特征在于，包括：?

步驟1，對(duì)所述論壇頁(yè)面進(jìn)行文件對(duì)象模型解析，并創(chuàng)建文件對(duì)象模型樹(shù)，清除所述文件對(duì)象模型樹(shù)中的無(wú)用標(biāo)簽和空標(biāo)簽，其中將所述無(wú)用標(biāo)簽和所述空標(biāo)簽對(duì)應(yīng)的節(jié)點(diǎn)，標(biāo)記為非關(guān)鍵節(jié)點(diǎn)，以完成清除；?

步驟2，根據(jù)所述時(shí)間串，對(duì)所述文件對(duì)象模型樹(shù)進(jìn)行聚類，生成多個(gè)聚類集合，遍歷所述聚類集合，獲取最大簇，若所述最大簇只包含一個(gè)單獨(dú)節(jié)點(diǎn)，則所述論壇頁(yè)面為單樓頁(yè)面，根據(jù)所述單獨(dú)節(jié)點(diǎn)的時(shí)間串，獲取所述單樓頁(yè)面的發(fā)帖時(shí)間信息；?

步驟3，初始化關(guān)鍵字列表和正則式列表，遍歷所述文件對(duì)象模型樹(shù)，獲取包含網(wǎng)頁(yè)地址的新節(jié)點(diǎn)，通過(guò)所述關(guān)鍵字列表或所述正則式列表，對(duì)所述網(wǎng)頁(yè)地址進(jìn)行關(guān)鍵字查找或正則式查找；?

步驟4，若所述網(wǎng)頁(yè)地址包含所述關(guān)鍵字列表中的關(guān)鍵字或所述正則式列表中的正則式，則獲取所述新節(jié)點(diǎn)及其子節(jié)點(diǎn)包含的文本信息，所述文本信息為所述單樓頁(yè)面的用戶名信息。?

2.如權(quán)利要求1所述的基于時(shí)間串的論壇頁(yè)面信息自動(dòng)抽取方法，其特征在于，所述步驟1和所述步驟2之間還包括：?

通過(guò)正則式獲取所述文件對(duì)象模型樹(shù)的所述時(shí)間串。?

3.如權(quán)利要求1所述的基于時(shí)間串的論壇頁(yè)面信息自動(dòng)抽取方法，其特征在于，還包括：?

步驟5，對(duì)所述單獨(dú)節(jié)點(diǎn)和所述新節(jié)點(diǎn)在所述文件對(duì)象模型樹(shù)中的父節(jié)點(diǎn)進(jìn)行標(biāo)記；?

步驟6，查找所述文件對(duì)象模型樹(shù)中的標(biāo)題節(jié)點(diǎn)，提取每個(gè)標(biāo)題節(jié)點(diǎn)的標(biāo)題文本信息；?

步驟7，根據(jù)所述標(biāo)題文本信息，查找所述單樓頁(yè)面的主樓的標(biāo)題文本信息，并查找所述主樓的所述標(biāo)題文本信息在所述文件對(duì)象模型樹(shù)中對(duì)應(yīng)的主樓標(biāo)題節(jié)點(diǎn)；?

步驟8，若找到所述主樓標(biāo)題節(jié)點(diǎn)，則遍歷所述主樓標(biāo)題節(jié)點(diǎn)及其子節(jié)點(diǎn)，否則遍歷所述文件對(duì)象模型樹(shù)，在除被標(biāo)記的所述父節(jié)點(diǎn)和所述非關(guān)鍵節(jié)點(diǎn)之外的節(jié)點(diǎn)中，查找文本密度最大的節(jié)點(diǎn)，并獲取文本信息作為所述單樓頁(yè)面的?正文信息。?

4.如權(quán)利要求1或3所述的基于時(shí)間串的論壇頁(yè)面信息自動(dòng)抽取方法，其特征在于，所述步驟2還包括：?

步驟21，若所述最大簇只包含兩個(gè)節(jié)點(diǎn)，且所述兩個(gè)節(jié)點(diǎn)沒(méi)有公共父節(jié)點(diǎn)，則所述論壇頁(yè)面為主樓與跟帖結(jié)構(gòu)不同的兩樓頁(yè)面；?

步驟22，獲取所述兩樓頁(yè)面的每樓時(shí)間串對(duì)應(yīng)節(jié)點(diǎn)的最低公共父節(jié)點(diǎn)，獲取所述最低公共父節(jié)點(diǎn)的兒子節(jié)點(diǎn)，查找所述兒子節(jié)點(diǎn)中所述每樓時(shí)間串的祖先節(jié)點(diǎn)，并將所述祖先節(jié)點(diǎn)作為根節(jié)點(diǎn)，生成兩顆文件對(duì)象模型樹(shù)；?

步驟23，根據(jù)所述兩顆文件對(duì)象模型樹(shù)，通過(guò)所述單樓頁(yè)面的獲取發(fā)帖時(shí)間信息、用戶名信息、正文信息的方法，獲取所述兩樓頁(yè)面每樓帖子的發(fā)帖時(shí)間信息、用戶名信息、正文信息。?

5.如權(quán)利要求1所述的基于時(shí)間串的論壇頁(yè)面信息自動(dòng)抽取方法，其特征在于，所述步驟2還包括：?

步驟24，獲取所述最大簇包含的節(jié)點(diǎn)，并獲取所述節(jié)點(diǎn)的公共父節(jié)點(diǎn)，查找所述公共父節(jié)點(diǎn)中出現(xiàn)頻率最高的公共父節(jié)點(diǎn)作為統(tǒng)領(lǐng)節(jié)點(diǎn)，并記錄所述統(tǒng)領(lǐng)節(jié)點(diǎn)對(duì)應(yīng)時(shí)間串的節(jié)點(diǎn)；?

步驟25，將所述公共父節(jié)點(diǎn)對(duì)應(yīng)時(shí)間串的祖先節(jié)點(diǎn)進(jìn)行標(biāo)記，查找所述公共父節(jié)點(diǎn)的直接子節(jié)點(diǎn)，獲取第一個(gè)被標(biāo)記的祖先節(jié)點(diǎn)作為第一樓節(jié)點(diǎn)；?

步驟26，獲取與所述最大簇對(duì)應(yīng)的時(shí)間串的正則式，根據(jù)所述正則式查找與所述第一樓節(jié)點(diǎn)對(duì)應(yīng)的時(shí)間串。?