[發(fā)明專利]一種在線Web新聞內(nèi)容抽取系統(tǒng)

有效

• 申請?zhí)枺?/td>: 201610055006.8
• 申請日: 2013-05-10
• 公開（公告）號: CN105740370B
• 公開（公告）日: 2018-11-06
• 發(fā)明（設(shè)計）人: 吳共慶;李莉;徐喆昊;胡學(xué)鋼;吳信東
• 申請（專利權(quán)）人: 合肥工業(yè)大學(xué)
• 主分類號: G06F17/30
• 分類號: G06F17/30
• 代理公司: 安徽省合肥新安專利代理有限責任公司 34101
• 代理人: 何梅生

1.一種在線Web新聞內(nèi)容抽取系統(tǒng)，其特征是由解析模塊、計算模塊、融合模塊和抽取模塊構(gòu)成；

所述解析模塊根據(jù)被抽取的Web新聞網(wǎng)頁的URL地址獲取HTML文本，利用HTML解析器解析HTML文本得到被抽取的Web新聞網(wǎng)頁的DOM樹；

所述計算模塊是由查找單元、文本節(jié)點信息獲取單元、標簽路徑信息獲取單元和標簽路徑特征生成單元構(gòu)成；所述查找單元用于遍歷所述DOM樹，訪問DOM樹中的每個節(jié)點，查找出文本節(jié)點和文本節(jié)點的標簽路徑；所述文本節(jié)點信息獲取單元用于構(gòu)建文本節(jié)點信息序列，存儲查找單元查找出的文本節(jié)點和文本節(jié)點的標簽路徑；所述標簽路徑信息獲取單元用于構(gòu)建標簽路徑信息序列，存儲標簽路徑、標簽路徑到達的文本內(nèi)容和標簽路徑到達的文本節(jié)點的個數(shù)；所述標簽路徑特征生成單元，根據(jù)標簽路徑信息序列中存儲的信息計算每個標簽路徑的文本標簽路徑長度特征的值、文本標簽路徑比特征的值、擴展文本標簽路徑長度特征的值、擴展文本標簽路徑比特征的值、文本標簽路徑層次比特征的值和擴展文本標簽路徑層次比特征的值，得到文本標簽路徑特征值序列；

所述融合模塊由加權(quán)單元和融合單元構(gòu)成；所述加權(quán)單元用于設(shè)置標簽路徑特征系中每個元素的權(quán)重；所述融合單元根據(jù)加權(quán)單元設(shè)置的權(quán)重，利用加權(quán)DS證據(jù)理論融合每個標簽路徑的文本標簽路徑長度特征的值、文本標簽路徑比特征的值、擴展文本標簽路徑長度特征的值、擴展文本標簽路徑比特征的值、文本標簽路徑層次比特征的值和擴展文本標簽路徑層次比特征的值得到每個標簽路徑的綜合特征值，最終得到標簽路徑綜合特征值序列；

所述抽取模塊由分配單元、選擇單元和抽取單元構(gòu)成；所述分配單元根據(jù)所述文本節(jié)點信息序列中每個元素的標簽路徑屬性和所述標簽路徑綜合特征值序列中每個元素的標簽路徑屬性之間的對應(yīng)關(guān)系，將標簽路徑的綜合特征值分配給對應(yīng)的文本節(jié)點，作為文本節(jié)點的綜合特征值，構(gòu)建文本節(jié)點的綜合特征值序列；所述選擇單元用于設(shè)置抽取閾值，依次訪問文本節(jié)點序列中的每個元素，若元素的文本節(jié)點的綜合特征值屬性的值大于抽取閾值，則標記元素中的文本節(jié)點為內(nèi)容節(jié)點；所述抽取單元，依次抽取選擇單元標注為內(nèi)容節(jié)點的文本節(jié)點的內(nèi)容并存儲，最終存儲的內(nèi)容為被抽取的Web新聞網(wǎng)頁的正文內(nèi)容；

所述標簽路徑特征系是由六個不同的標簽路徑特征組成的，分別是文本標簽路徑長度特征、文本標簽路徑比特征、擴展文本標簽路徑長度特征、擴展文本標簽路徑比特征、文本標簽路徑層次比特征和擴展文本標簽路徑層次比特征；所述文本標簽路徑長度特征為標簽路徑到達的文本內(nèi)容中字符的個數(shù)；所述文本標簽路徑比特征為標簽路徑到達的文本內(nèi)容中字符的個數(shù)與標簽路徑到達的文本節(jié)點的個數(shù)的比值；所述擴展文本標簽路徑長度特征為標簽路徑到達的文本內(nèi)容中標點符號的個數(shù)；所述擴展文本標簽路徑比特征為標簽路徑到達的文本內(nèi)容中標點符號的個數(shù)與標簽路徑到達的文本節(jié)點的個數(shù)的比值；所述文本標簽路徑層次比特征為標簽路徑到達的文本內(nèi)容中字符個數(shù)與標簽路徑的層次數(shù)的比值；所述擴展文本標簽路徑層次比特征為標簽路徑到達的文本內(nèi)容中標點符號的個數(shù)與標簽路徑的層次數(shù)的比值；所述標簽路徑的層次數(shù)為標簽路徑中標簽的個數(shù)。