[發明專利]一種基于網站內容用于網站自動分類分析的系統

有效

• 申請號: 201410017015.9
• 申請日: 2014-01-14
• 公開（公告）號: CN103744981B
• 公開（公告）日: 2017-02-15
• 發明（設計）人: 耿偉;吳蒙;喬波
• 申請（專利權）人: 南京匯吉遞特網絡科技有限公司
• 主分類號: G06F17/30
• 分類號: G06F17/30
• 代理公司: 南京蘇創專利代理事務所(普通合伙)32273
• 代理人: 王華

1.一種基于網站內容用于網站自動分類分析的系統，其特征在于，包括抓取模塊、網頁文本內容解析模塊、分詞模塊、特征訓練提取模塊以及網頁分類模塊；

抓取模塊用于對網站關鍵資源相關內容的抓取；網頁文本內容解析模塊用于對網頁不同標簽進行分塊并且對各個標簽塊的內容進行分析及去噪處理得到分塊網頁文本集；分詞模塊用于對不同分塊網頁文本集進行分詞處理，并計算得到候選特征詞及其出現頻率和詞性；特征訓練提取模塊用于計算每個候選特征詞的重要度、區分度和特征關鍵詞權重，并根據特征關鍵詞權重來排序選取權重最大的若干特征詞，對選取的特征詞進行歸一化處理后，使用特征詞權重作為權值，根據已知選取特征詞集合及權重集合建立網站類別向量模板；網頁分類模塊用于根據特征訓練提取模塊得到的選取特征詞集合及權值形成特征空間向量，再計算特征空間向量與待分類站點的特征空間向量相似度來確定站點所屬類別。

2.如權利要求1所述的一種基于網站內容用于網站自動分類分析的系統，其特征在于，所述網頁文本內容解析模塊將網頁不同標簽分為標題塊、元數據描述塊、超鏈接塊、H塊及P塊。

3.如權利要求1所述的一種基于網站內容用于網站自動分類分析的系統，其特征在于，所述分詞模塊的分詞處理包括設置停用詞過濾、設置分詞權值、詞語字典管理、中文詞性輸出、中文未登錄詞識別及繁體中文分詞。

4.如權利要求1所述的一種基于網站內容用于網站自動分類分析的系統，其特征在于，所述特征訓練提取模塊中計算候選特征詞重要度的方法為：

E(t,i)=-Σs=1nF(i)F(Cs)log(F(i)F(Cs))]]>

其中，C_s為標記塊集合，F(i)表示特征詞t在標記塊i中出現的次數，F(C_s)表示特征詞t在所有標記塊中出現的總次數，n表示標記塊的個數。