[發(fā)明專利]提取結(jié)構(gòu)化數(shù)據(jù)的方法及裝置

有效

• 申請?zhí)枺?/td>: 201310529428.0
• 申請日: 2013-10-30
• 公開（公告）號: CN104598462B
• 公開（公告）日: 2018-08-07
• 發(fā)明（設(shè)計）人: 歐陽科;杜建欣;齊彥申
• 申請（專利權(quán)）人: 深圳市國信互聯(lián)科技有限公司
• 主分類號: G06F17/30
• 分類號: G06F17/30
• 代理公司: 深圳市順天達專利商標代理有限公司 44217
• 代理人: 王小青

1.一種提取結(jié)構(gòu)化數(shù)據(jù)的方法，其特征在于，包括：

將網(wǎng)頁劃分為主體區(qū)域和輔助區(qū)域，構(gòu)建用于表示所述主體區(qū)域的XPATH標記樹，該步驟包括：解析網(wǎng)頁，獲取所述網(wǎng)頁的XPATH節(jié)點；根據(jù)所述XPATH節(jié)點的屬性對所述XPATH節(jié)點進行過濾，獲取體現(xiàn)網(wǎng)頁結(jié)構(gòu)布局的XPATH節(jié)點；將所述體現(xiàn)網(wǎng)頁結(jié)構(gòu)布局的XPATH節(jié)點劃分為用于表示主體區(qū)域的XPATH節(jié)點和用于表示輔助區(qū)域的XPATH節(jié)點，提取用于表示所述主體區(qū)域的XPATH節(jié)點構(gòu)建XPATH標記樹；

將所述XPATH標記樹中的XPATH節(jié)點與CSS標簽進行對應(yīng)，并根據(jù)CSS標簽內(nèi)容的相似度將所述CSS標簽進行分組；

若所述XPATH標記樹中各個XPATH節(jié)點的CSS標簽均屬于同一分組，且所述各個XPATH節(jié)點的CSS標簽是屬于同一父標簽下的子標簽，則提取所述XPATH標記樹中各個XPATH節(jié)點對應(yīng)的數(shù)據(jù)作為正文內(nèi)容。

2.如權(quán)利要求1所述的提取結(jié)構(gòu)化數(shù)據(jù)的方法，其特征在于，所述根據(jù)CSS標簽內(nèi)容的相似度將所述CSS標簽進行分組的步驟包括：

提取所述CSS標簽內(nèi)容中的特征屬性，所述特征屬性包括字體大小、顏色和/或行間距；

將所述特征屬性一致的CSS標簽作為一個分組。

3.如權(quán)利要求1所述的提取結(jié)構(gòu)化數(shù)據(jù)的方法，其特征在于，所述方法還包括：

若所述XPATH標記樹中各個XPATH節(jié)點的CSS標簽不屬于同一分組，或所述各個XPATH節(jié)點的CSS標簽不是屬于同一父標簽下的子標簽，則選擇CSS標簽數(shù)量最多的分組作為最優(yōu)分組，提取所述最優(yōu)分組中的CSS標簽所對應(yīng)的XPATH節(jié)點下的數(shù)據(jù)作為正文內(nèi)容。

4.如權(quán)利要求1所述的提取結(jié)構(gòu)化數(shù)據(jù)的方法，其特征在于，所述方法還包括：

若所述XPATH標記樹中各個XPATH節(jié)點的CSS標簽不屬于同一分組，或所述各個XPATH節(jié)點的CSS標簽不是屬于同一父標簽下的子標簽，則統(tǒng)計各個分組中的CSS標簽的數(shù)量，剔除數(shù)量最少的一組CSS標簽對應(yīng)的XPATH節(jié)點，提取所述XPATH標記樹中剩余XPATH節(jié)點對應(yīng)的數(shù)據(jù)作為正文內(nèi)容。

5.一種提取結(jié)構(gòu)化數(shù)據(jù)的裝置，其特征在于，包括：

主體區(qū)域提取模塊，用于將網(wǎng)頁劃分為主體區(qū)域和輔助區(qū)域，構(gòu)建用于表示所述主體區(qū)域的XPATH標記樹；所述主體區(qū)域提取模塊包括：網(wǎng)頁解析模塊，用于解析網(wǎng)頁，獲取所述網(wǎng)頁的XPATH節(jié)點；粗略過濾模塊，用于根據(jù)所述XPATH節(jié)點的屬性對所述XPATH節(jié)點進行過濾，獲取體現(xiàn)網(wǎng)頁結(jié)構(gòu)布局的XPATH節(jié)點；XPATH標記樹構(gòu)建模塊，用于將所述體現(xiàn)網(wǎng)頁結(jié)構(gòu)布局的XPATH節(jié)點劃分為用于表示主體區(qū)域的XPATH節(jié)點和用于表示輔助區(qū)域的XPATH節(jié)點，提取用于表示所述主體區(qū)域的XPATH節(jié)點構(gòu)建XPATH標記樹；

CSS標簽對應(yīng)模塊，用于將所述XPATH標記樹中的XPATH節(jié)點與CSS標簽進行對應(yīng)；

CSS標簽分組模塊，用于根據(jù)CSS標簽內(nèi)容的相似度將所述CSS標簽進行分組；

正文提取模塊，用于若所述XPATH標記樹中各個XPATH節(jié)點的CSS標簽均屬于同一分組，且所述各個XPATH節(jié)點的CSS標簽是屬于同一父標簽下的子標簽，則提取所述XPATH標記樹中各個XPATH節(jié)點對應(yīng)的數(shù)據(jù)作為正文內(nèi)容。

6.如權(quán)利要求5所述的提取結(jié)構(gòu)化數(shù)據(jù)的裝置，其特征在于，所述CSS標簽分組模塊包括：

特征屬性提取模塊，用于提取所述CSS標簽內(nèi)容中的特征屬性，所述特征屬性包括字體大小、顏色和/或行間距；

特征屬性對比模塊，用于將所述特征屬性一致的CSS標簽作為一個分組。

7.如權(quán)利要求5所述的提取結(jié)構(gòu)化數(shù)據(jù)的裝置，其特征在于，所述裝置還包括：

第一優(yōu)化模塊，用于若所述XPATH標記樹中各個XPATH節(jié)點的CSS標簽不屬于同一分組，或所述各個XPATH節(jié)點的CSS標簽不是屬于同一父標簽下的子標簽，則選擇CSS標簽數(shù)量最多的分組作為最優(yōu)分組，提取所述最優(yōu)分組中的CSS標簽所對應(yīng)的XPATH節(jié)點下的數(shù)據(jù)作為正文內(nèi)容。

8.如權(quán)利要求5所述的提取結(jié)構(gòu)化數(shù)據(jù)的裝置，其特征在于，所述裝置還包括：

第二優(yōu)化模塊，用于若所述XPATH標記樹中各個XPATH節(jié)點的CSS標簽不屬于同一分組，或所述各個XPATH節(jié)點的CSS標簽不是屬于同一父標簽下的子標簽，則統(tǒng)計各個分組中的CSS標簽的數(shù)量，剔除數(shù)量最少的一組CSS標簽對應(yīng)的XPATH節(jié)點，提取所述XPATH標記樹中剩余XPATH節(jié)點對應(yīng)的數(shù)據(jù)作為正文內(nèi)容。