[發明專利]一種基于混合模型的個性化職位信息推薦系統及實現方法

在審

• 申請號: 201510314383.4
• 申請日: 2015-06-09
• 公開（公告）號: CN104933239A
• 公開（公告）日: 2015-09-23
• 發明（設計）人: 薛安榮;黃祖衛
• 申請（專利權）人: 江蘇大學
• 主分類號: G06F17/50
• 分類號: G06F17/50;G06F17/30
• 代理公司: 暫無信息
• 代理人: 暫無信息

1.一種基于混合模型的個性化職位信息推薦系統，其特征在于，包括表現層，推薦層，信息抽取層和信息采集層；所述信息采集層與所述信息抽取層之間、所述信息抽取層與所述推薦層之間、所述推薦層與所述表現層之間均通過共享數據實現銜接；

所述信息采集層負責從互聯網招聘網站中抓取特征鏈接，編寫網絡爬蟲程序，基于Nutch進行二次開發，通過修改Nutch中Crawl類代碼，采用正則表達式對外鏈接進行過濾得到需要的特征鏈接，并將特征鏈接保存在本地的CrawlDb文件數據庫中；

所述信息抽取層負責從特征頁面中解析原始的職位信息，將底層獲取的特征鏈接上傳至HDFS文件系統；

所述推薦層負責整個職位推薦系統的推薦引擎算法，所述算法包括：基于內容的推薦算法、基于聚類分析的協同過濾算法，基于關聯規則的推薦算法、基于歸納統計的輔助推薦算法；

所述表現層負責向用戶提供交互界面，將推薦層計算出的推薦項目，通過網頁的形式向求職者展現。

2.根據權利要求1所述的一種基于混合模型的個性化職位信息推薦系統，其特征在于，

所述基于混合模型的個性化職位信息推薦系統采用基于JSP+JavaBean+Servlet的方法構建，靜態頁面使用HTML展現，動態頁面使用JSP展現。

3.根據權利要求1或2所述的一種基于混合模型的個性化職位信息推薦系統的實現方法，其特征在于，包括：信息采集層負責編寫網絡爬蟲程序，從互聯網的招聘網站中抓取特征鏈接，然后將特征鏈接作為信息抽取層的輸入，信息采集層與信息抽取層通過共享爬蟲抓取的特征鏈接數據進行溝通；信息抽取層采用基于Hadoop的并行抽取技術，從特征鏈接頁面當中解析出職位信息數據，將職位信息按照指定格式保存在本地數據庫；推薦層根據存儲在數據庫中的用戶評分信息、用戶點擊行為信息和用戶背景知識采用對應的推薦算法向表現層推送職位。

4.根據權利要求3所述的一種基于混合模型的個性化職位信息推薦系統的實現方法，其特征在于，所述信息采集層的實現步驟包括：

步驟1.1：分析主流招聘網站的當中職位詳情頁面的鏈接特征，構造相應的正則表達式；

步驟1.2：修改Nutch當中Crawl.java類的代碼，重新編譯Nutch，部署Nutch；

步驟1.3：執行Nutch腳本文件，進行抓取。

5.根據權利要求3所述的一種基于混合模型的個性化職位信息推薦系統的實現方法，其特征在于，所述信息抽取層的實現步驟包括：

步驟2.1：搭建Hadoop分布式平臺，將爬蟲模塊產生的特征鏈接文本上傳至HDFS當中；

步驟2.2：針對不同的職位詳情頁面的結構編寫對應的MapReduce解析程序，獲取職位詳情的文本信息存儲在HDFS當中；

步驟2.3：編寫TF-IDF算法程序獲取文本信息中的關鍵詞作為職位信息的職位關鍵詞。

6.根據權利要求3所述的一種基于混合模型的個性化職位信息推薦系統的實現方法，其特征在于，

所述推薦層中的基于內容的推薦算法的具體實現步驟包括：

步驟3.1：新用戶根據引導頁面定制偏好，包括專業背景、期望工資、期望工資地點、專業技能、備注信息，系統保存用戶背景知識；

步驟3.2：利用Lucene分詞和TF-IDF算法挖掘背景知識的關鍵詞，按照用戶id，關鍵詞的形式存儲；

步驟3.3：采用Dice系數度量用戶背景知識內容和職位記錄的相似度，保存相似度高的前幾項作為新用戶推薦項。

7.根據權利要求3所述的一種基于混合模型的個性化職位信息推薦系統的實現方法，其特征在于，

所述推薦層中的基于聚類分析的協同過濾算法的具體實現步驟包括：

步驟4.1：將評分數據表與職位記錄表連接，構建用戶-職位類別矩陣；

步驟4.2：利用Mahout提供的K-means聚類算法，將用戶劃分為k類；

步驟4.3：用預測評分填補用戶-評分矩陣中的缺省值，降低矩陣稀疏度；

步驟4.4：基于修改過后的評分矩陣利用協同過濾算法計算推薦結果。