[發(fā)明專利]基于大數(shù)據(jù)的科技信息資源檢索查詢系統(tǒng)

有效

• 申請(qǐng)?zhí)枺?/td>: 201710247426.0
• 申請(qǐng)日: 2017-04-17
• 公開(kāi)（公告）號(hào): CN107103063B
• 公開(kāi)（公告）日: 2018-11-20
• 發(fā)明（設(shè)計(jì)）人: 陳文海;陳勁峰;佘文文;馬曉;柏道菲
• 申請(qǐng)（專利權(quán)）人: 山東辰華科技信息有限公司
• 主分類號(hào): G06F17/30
• 分類號(hào): G06F17/30
• 代理公司: 暫無(wú)信息
• 代理人: 暫無(wú)信息

1.基于大數(shù)據(jù)的科技信息資源檢索查詢系統(tǒng)，其包括以下步驟：

①采集用戶數(shù)據(jù)：客戶端采集用戶數(shù)據(jù)，并上傳到服務(wù)器上；采集數(shù)據(jù)包括用戶輸入的關(guān)鍵詞和瀏覽行為以及個(gè)人的基本信息；

②攔截分析處理：系統(tǒng)安全模塊對(duì)客戶端上傳的數(shù)據(jù)進(jìn)行攔截分析處理并將分析結(jié)果反饋給服務(wù)器，若為用戶惡意行為則進(jìn)行攔截處理，若為安全行為則執(zhí)行下一步驟；

③預(yù)處理和聚合處理：對(duì)用戶數(shù)據(jù)進(jìn)行預(yù)處理和聚合處理，過(guò)濾掉不完整的數(shù)據(jù)以及垃圾無(wú)用數(shù)據(jù)，并將完整有用數(shù)據(jù)保存到大數(shù)據(jù)中；

④行為分析：系統(tǒng)分析模塊對(duì)用戶信息進(jìn)行分析，提取用戶經(jīng)常瀏覽的行為信息；

⑤數(shù)據(jù)檢索：數(shù)據(jù)提取模塊利用Solr搜索引擎技術(shù)，從大數(shù)據(jù)庫(kù)中檢索出基于分析模塊分析出的與用戶行為相關(guān)的科技信息資源；

⑥數(shù)據(jù)推送：數(shù)據(jù)推送模塊將檢索出的信息資源推送給用戶；

⑦統(tǒng)計(jì)分析：統(tǒng)計(jì)分析模塊根據(jù)用戶行為形成用戶行為分析報(bào)表并推送給用戶；

所述步驟①的基于客戶端的數(shù)據(jù)采集分成主動(dòng)的服務(wù)器采集方式和被動(dòng)的服務(wù)器采集方式；被動(dòng)的客戶端采集的用戶瀏覽行為數(shù)據(jù)，是Web服務(wù)Log文件中記錄的與客戶端HTTP請(qǐng)求相關(guān)的信息，這種方法通過(guò)從客戶端的Web日志文件中，根據(jù)用戶的IP地址和所使用瀏覽器情況進(jìn)行用戶識(shí)別；主動(dòng)式的服務(wù)器采集采用Cookie技術(shù)的識(shí)別方法，Cookie是Web服務(wù)器上的一段程序代碼，它能將自身安裝到來(lái)訪者的客戶端中，當(dāng)客戶端向服務(wù)器發(fā)送請(qǐng)求時(shí)，Cookie程序會(huì)傳送此客戶端的標(biāo)識(shí)，區(qū)分出相同IP下不同的計(jì)算機(jī)；

所述步驟②的惡意行為攔截，在網(wǎng)絡(luò)服務(wù)器根據(jù)當(dāng)前用戶終端發(fā)起的訪問(wèn)請(qǐng)求進(jìn)行業(yè)務(wù)處理時(shí)，利用過(guò)濾器和攔截器分析當(dāng)前用戶終端發(fā)起的訪問(wèn)請(qǐng)求是否為惡意訪問(wèn)，并將分析結(jié)果返回給服務(wù)器，記錄該用戶的IP，若為惡意訪問(wèn)則將該用戶的IP放進(jìn)黑名單當(dāng)中；

所述步驟③的數(shù)據(jù)預(yù)處理和聚合處理，首先對(duì)用戶數(shù)據(jù)進(jìn)行分箱處理，分箱方法通過(guò)考察相鄰數(shù)據(jù)來(lái)確定最終值；分箱實(shí)際上是按照屬性值劃分的子區(qū)間，一個(gè)屬性值處于某個(gè)子區(qū)間范圍內(nèi)，就稱把該屬性值放進(jìn)這個(gè)子區(qū)間所代表的箱子內(nèi)；把待處理的數(shù)據(jù)按照一定的規(guī)則放進(jìn)一些箱子中，考察每一個(gè)箱子中的數(shù)據(jù)，對(duì)各個(gè)箱子中的數(shù)據(jù)進(jìn)行處理；

所述步驟⑤的利用Solr搜索引擎從大數(shù)據(jù)中檢索數(shù)據(jù)還利用HITS算法，HITS算法如下：將查詢q提交給基于關(guān)鍵字匹配的搜索引擎，從搜索引擎返回的網(wǎng)頁(yè)中取前n個(gè)網(wǎng)頁(yè)作為根集，用S表示；S滿足如下3個(gè)條件：a.S中網(wǎng)頁(yè)數(shù)量相對(duì)于搜索引擎返回的網(wǎng)頁(yè)數(shù)量較少；b.S中網(wǎng)頁(yè)是與查詢q相關(guān)的網(wǎng)頁(yè)；c.S中權(quán)威網(wǎng)頁(yè)的數(shù)量相對(duì)于不權(quán)威的網(wǎng)頁(yè)的數(shù)量較多；

所述步驟⑥的推送系統(tǒng)，利用websocket技術(shù)，在建立連接之后，服務(wù)器主動(dòng)傳送數(shù)據(jù)給客戶端，WebSocket以Ajax或XHR方式通信。