[發明專利]一種學生瀏覽網頁分類方法

有效

• 申請號: 201710792423.5
• 申請日: 2017-09-05
• 公開（公告）號: CN107506472B
• 公開（公告）日: 2020-09-08
• 發明（設計）人: 肖紹章;朱全銀;李翔;錢凱;于柿民;潘舒新;瞿學新;唐海波;邵武杰;高陽;江麗萍
• 申請（專利權）人: 淮陰工學院
• 主分類號: G06F16/951
• 分類號: G06F16/951;G06F16/9535;G06F16/954;G06F16/955;G06F16/906;G06N7/00
• 代理公司: 南京蘇高專利商標事務所(普通合伙) 32204
• 代理人: 梁耀文

1.一種學生瀏覽網頁分類方法，其特征在于，包括如下步驟：

步驟一：從導航類網站爬取URL、URL描述內容、URL一級分類和URL二級分類，并保存到URL集合中，構建語料庫，將語料庫中URL描述內容文本表示成uni-gram和bi-gram的形式，以TF-IDF作為文本特征的權重，用樸素貝葉斯分類算法得到分類器；

步驟二：通過爬蟲爬取URL網頁內容，由步驟一中得出的分類器確定URL所屬類別；

步驟三：定義學生瀏覽網頁地址集，對學生瀏覽的URL進行切分處理，根據步驟二中得出的URL所屬類別判斷如果分類器返回的類別概率大于所設分類概率閾值CP且分類器返回的類別和使用支持向量機分類得到的類別相同，將該URL和URL類別存入到URL集合中；若分類器無法確定類別，則和URL集合進行字符匹配來確定URL類別，最后得到所有學生網頁瀏覽分類集；

所述步驟一中構建語料庫和分類器的具體步驟如下：

步驟1.1：定義文本停用詞集SWORD＝{sword₁,sword₂,…,sword_num},其中，sword_swi為第swi個停用詞，nun為停用詞總個數；定義樸素貝葉斯平滑參數Alpha,其中Alpha∈(0,1)；定義語料庫四個分類，分別為娛樂休閑、電腦網絡、生活服務和文化教育，G₁、G₂、G₃和G₄分別為娛樂休閑、電腦網絡、生活服務和文化教育類URL相關信息內容集，G₁＝{URLInfo_1,1,URLInfo_1,2,...URLInfo_1,a},G₂＝{URLInfo_2,1,URLinfo_2,2,..,URLInfo_2,b},G₃＝{URLInfo_3,1,URLInfo_3,2,...URLInfo_3,c},G₄＝{URLInfo_4,1,URLInfo_4,2,..,URLInfo_4,d},其中，a、b、c和d分別表示G₁、G₂、G₃和G₄類別中的URL個數，從導航目錄網站爬取的URL信息為URLInfo_x,y＝{FirCate_x,y,SecCate_x,y,URL_x,y,URLContent_x,y},FirCate_x,y,SecCate_x,y,URL_x,y,URLContent_x,y分別表示第G_x類別下第y個URL一級類別、URL二級類別、URL和URL描述內容，x∈[1,4],x為整數，y∈[1,a]或y∈[1,b]或y∈[1,c]或y∈[1,d],y為整數；

步驟1.2：將SecCate_x,y為“電視”所對應的一級分類FirCate_x,y修改為“娛樂休閑”，將FirCate_x,y為“安逸網站大全”的將FirCate_x,y修改為“電腦網絡”，將SecCate_x,y為“成績查詢”和“在線翻譯”所對應的一級分類FirCate_x,y修改為“文化教育”；

步驟1.3：使用jieba分詞對G₁,G₂,G₃,G₄中所有URL描述內容進行分詞處理，去除停用詞SWORD,得到文本分類語料庫StuCate＝{Cate₁,Cate₂,Cate₃,Cate₄},其中，娛樂休閑類文本集Cate₁＝{txt_1,1,txt_1,2,...,txt_1,s},電腦網絡類文本集Cate₂＝{txt_2,1,txt_2,2,...,txt_2,t},生活服務類文本集Cate₃＝{txt_3,1,txt_3,2,...,txt_3,u},文化教育類文本集Cate₄＝{txt_4,1,txt_4,2,...,txt_4,u},文本單詞集txt_m,n＝{word_m,n,1,word_m,n,2,...,word_m,n,z},所述的txt_m,n為Cate_m的第n篇文本中的單詞內容，所述的z為第Cate_m類別下第n個文本的單詞個數，所述的word_m,n,e為Cate_m的第n篇文本內容中第e個單詞，所述的s、t、u和v分別為娛樂休閑、電腦網絡、生活服務和文化教育類文本個數，且m∈[1,4]；

步驟1.4：隨機取StuCate中每個類別集合的80％文本作為訓練集，把文本表示成uni-gram和bi-gram的形式，結合TF-IDF作為特征的權重；

步驟1.5：使用平滑參數為Alpha的樸素貝葉斯分類算法得到分類器，取StuCate中每個類別集合剩余的20％文本作為測試集，測試分類器準確率。