[發(fā)明專利]一種通過深度卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行社區(qū)問答網(wǎng)站問題質(zhì)量預(yù)測(cè)的方法

有效

• 申請(qǐng)?zhí)枺?/td>: 201811013087.0
• 申請(qǐng)日: 2018-08-31
• 公開（公告）號(hào): CN109165289B
• 公開（公告）日: 2022-08-16
• 發(fā)明（設(shè)計(jì)）人: 魏筆凡;鄭元浩;劉均;張鐸;吳蓓;張玲玲;郭朝彤;吳科煒;李鴻軒
• 申請(qǐng)（專利權(quán)）人: 西安交通大學(xué)
• 主分類號(hào): G06F16/335
• 分類號(hào): G06F16/335;G06F16/35
• 代理公司: 西安通大專利代理有限責(zé)任公司 61200
• 代理人: 范巍

本發(fā)明提供一種通過深度卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行社區(qū)問答網(wǎng)站問題質(zhì)量預(yù)測(cè)的方法：1)爬取社區(qū)問答網(wǎng)站中多門課程的問題網(wǎng)頁(yè)數(shù)據(jù)集；2)抽取問題網(wǎng)頁(yè)數(shù)據(jù)集中的問題社區(qū)特征、問題文本特征和提問者特征集合；3)基于問題社區(qū)特征定義多門課程的問題質(zhì)量計(jì)算公式；4)將向量化表示的問題文本特征和提問者特征與問題質(zhì)量計(jì)算公式一起作為深度卷積神經(jīng)網(wǎng)絡(luò)的輸入，從而訓(xùn)練得到問題質(zhì)量的分類標(biāo)簽。本發(fā)明構(gòu)建深度卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行問題質(zhì)量的預(yù)測(cè)，最終得到多門課程的高質(zhì)量問題集合，方便用戶學(xué)習(xí)和使用。

技術(shù)領(lǐng)域

本發(fā)明涉及對(duì)網(wǎng)站信息的獲取方法，具體涉及一種通過深度卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行社區(qū)問答網(wǎng)站問題質(zhì)量預(yù)測(cè)的方法。

背景技術(shù)

社區(qū)問答網(wǎng)站(Community Question Answering,CQA)作為近年來主流的知識(shí)分享平臺(tái)，其用戶規(guī)模及問題數(shù)量呈指數(shù)增加，可以為學(xué)習(xí)者提供多個(gè)領(lǐng)域的碎片化知識(shí)。然而，由于網(wǎng)站中問題提出者及答案提供者專業(yè)水平的差異，網(wǎng)站中的問題和答案質(zhì)量參差不齊。已有研究表明，CQA中大約13％的答案是無價(jià)值的，大約1％的答案存在作弊嫌疑。因此，對(duì)問答內(nèi)容進(jìn)行質(zhì)量檢測(cè)，過濾低質(zhì)量的問答，保證問答內(nèi)容的高質(zhì)量是至關(guān)重要的。

中國(guó)專利“一種基于卷積神經(jīng)網(wǎng)絡(luò)的圖像質(zhì)量測(cè)試”(201310511568.5)包括六個(gè)步驟：(1)構(gòu)建訓(xùn)練樣本集；(2)構(gòu)建深度卷積神經(jīng)網(wǎng)絡(luò)模型；(3)訓(xùn)練深度卷積神經(jīng)網(wǎng)絡(luò)模型；(4)改變初始化條件，重復(fù)步驟(3)，得到n個(gè)最優(yōu)深度卷積神經(jīng)網(wǎng)絡(luò)模型，其中0n5；(5)組裝深度卷積神經(jīng)網(wǎng)絡(luò)模型，得到圖像質(zhì)量測(cè)試系統(tǒng)；(6)利用步驟(5)得到測(cè)試系統(tǒng)對(duì)測(cè)試圖片進(jìn)行質(zhì)量測(cè)試。

上述專利通過模擬人類大腦學(xué)習(xí)的過程進(jìn)行特征學(xué)習(xí)，克服了現(xiàn)有的圖像質(zhì)量測(cè)試方法中特征選取困難的問題。同理，對(duì)于社區(qū)問答網(wǎng)站中的問題質(zhì)量評(píng)估，現(xiàn)有方法在問題文本特征的深層語義特征抽取方面存在瓶頸。同時(shí)由于圖像和文本本質(zhì)上的不同，導(dǎo)致特征處理方式不同，因此無法直接使用上述專利中的深度卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行問題質(zhì)量預(yù)測(cè)。

發(fā)明內(nèi)容

針對(duì)現(xiàn)有技術(shù)中存在的問題，本發(fā)明提供一種通過深度卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行社區(qū)問答網(wǎng)站問題質(zhì)量預(yù)測(cè)的方法，能夠爬取社區(qū)問答網(wǎng)站中多門課程的問題數(shù)據(jù)，保證問題的高質(zhì)量，方便用戶學(xué)習(xí)和使用。

為達(dá)到上述目的，本發(fā)明采用了以下技術(shù)方案：

步驟1，爬取社區(qū)問答網(wǎng)站中多門課程的問題網(wǎng)頁(yè)數(shù)據(jù)集

按照課程的不同，設(shè)計(jì)多線程爬蟲程序，利用該爬蟲程序從社區(qū)問答網(wǎng)站的動(dòng)態(tài)網(wǎng)頁(yè)中獲取多門課程的問題頁(yè)面和提問者頁(yè)面，得到多門課程的問題網(wǎng)頁(yè)數(shù)據(jù)集。

步驟2，抽取問題網(wǎng)頁(yè)數(shù)據(jù)集中的問題特征集合

通過使用HTML解析工具分別對(duì)問題網(wǎng)頁(yè)數(shù)據(jù)集中的問題頁(yè)面和提問者頁(yè)面進(jìn)行解析，將通過所述解析抽取的決定問題質(zhì)量的相關(guān)特征構(gòu)成問題特征集合，相關(guān)特征包括問題社區(qū)特征、問題文本特征和提問者特征。

步驟3，定義多門課程的問題質(zhì)量計(jì)算公式

通過分析社區(qū)問答網(wǎng)站對(duì)問題質(zhì)量的定義，確定用于定義問題質(zhì)量的問題社區(qū)特征，并基于問題社區(qū)特征之間的相關(guān)關(guān)系定義多門課程的問題質(zhì)量，得到多門課程的問題質(zhì)量計(jì)算公式。

步驟4，構(gòu)建深度卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行問題質(zhì)量的預(yù)測(cè)

通過向量化表示問題文本特征和提問者特征，得到問題特征矩陣，將問題特征矩陣與問題質(zhì)量計(jì)算公式一起作為深度卷積神經(jīng)網(wǎng)絡(luò)的輸入，從而訓(xùn)練得到問題質(zhì)量的分類器。

優(yōu)選的，步驟1中所述爬蟲程序首先通過HTML解析獲得主題頁(yè)面中指向問題頁(yè)面的超鏈接，并根據(jù)對(duì)應(yīng)超鏈接爬取問題頁(yè)面；然后，通過HTML解析獲得問題頁(yè)面中指向提問者頁(yè)面的超鏈接，并根據(jù)對(duì)應(yīng)超鏈接爬取提問者頁(yè)面。具體包括以下步驟：