[發明專利]一種基于機器學習的圖文融合圖書推薦方法

在審

• 申請號: 201811606384.6
• 申請日: 2018-12-26
• 公開（公告）號: CN109766465A
• 公開（公告）日: 2019-05-17
• 發明（設計）人: 王子豪;牟書念;李興亮;孫曉燕
• 申請（專利權）人: 中國礦業大學
• 主分類號: G06F16/53
• 分類號: G06F16/53;G06F16/9535;G06K9/62
• 代理公司: 南京正聯知識產權代理有限公司 32243
• 代理人: 鄧道花

1.一種基于機器學習的圖文融合圖書推薦方法，其特征在于，包括以下步驟：

步驟一、采集圖書相關數據并進行預處理：從網絡上采集圖書圖文數據并進行預處理；

步驟二、提取圖書圖片特征：利用DCNN和VGG-16深度卷積神經網絡對于ImageNet2012中的126萬張圖片進行訓練，從而得到較為準確的訓練權重，利用其提取圖片特征，并對其進行降維；

步驟三、提取圖書文本特征：使用RNN和Word2Vec框架將文本轉化為與圖像向量緯度一致的向量；

步驟四：圖像特征與文本特征的融合：設計線性集成方法對于圖像文本向量進行融合；

步驟五：實現推薦：利用余弦相似度方法對其進行衡量，并計算分類閾值，結合傳統基于物品的協同過濾的推薦方法進行推薦。

2.根據權利要求1所述的基于機器學習的圖文融合圖書推薦方法，其特征在于，所述步驟一采用基于requests庫和beautifulsoup庫的網絡爬蟲采集圖書的圖片和文本數據，并進行過濾，以此作為數據集。

3.根據權利要求1所述的基于機器學習的圖文融合圖書推薦方法，其特征在于，所述步驟二中ImageNet2012中的126萬張圖片是通過網絡收集并通過亞馬遜機器人來添加標簽，對于所有圖像都進行統一化采樣處理，將其調整為256×256的大小，具體方法為：將矩形圖像的短邊縮小為256像素，然后從中心選取256×256的區域進行分析，還將每一個像素點的RGB值減去訓練圖像的平均RGB值來中心化，深度卷積神經網絡采用預處理后的RGB值進行訓練。

4.根據權利要求1所述的基于機器學習的圖文融合圖書推薦方法，其特征在于，所述步驟二利用VGG-16深度卷積神經網絡對于ImageNet2012中的126萬張圖片進行訓練時，將224×224的RGB圖像輸入到深度卷積神經網絡當中，預處理為將每個像素值減去訓練集的RGB均值，然后讓圖像進行卷積，卷積濾波器為3×3大小，卷積的步長設定為1個像素。

5.根據權利要求1所述的基于機器學習的圖文融合圖書推薦方法，其特征在于，所述步驟二中VGG-16模型按照反向傳播來進行模型訓練，其參數設置為：每批訓練樣本數量為256，動量為0.9，通過權重衰減的方式來進行正則化，懲罰系數設置為5e-4，對于前兩個全連接層要進行Dropout，其值設置為0.5，初始的學習率設置為1e-2，在準確率趨于穩定時將學習率降低10倍；Dropout隨機舍棄概率為0.5，Momentum動量值為0.9，Lambda權重衰減值為5e-04，Learning Rate學習率為1e-02，Epochs迭代次數為90。

6.根據權利要求1所述的基于機器學習的圖文融合圖書推薦方法，其特征在于，所述步驟三中Word2Vec框架基于Skip-Gram模式，將文本中的特殊符號去掉，去除頻率較低的詞，對于文本進行分詞從而構建語料庫。

7.根據權利要求1所述的基于機器學習的圖文融合圖書推薦方法，其特征在于，所述步驟四中采用線性集成的方式對于圖像文本向量進行融合，設定X為圖像向量權重，Y為文本向量權重，A為圖像向量矩陣，B為文本向量矩陣，計算公式如下:

K＝XA+YB(X+Y＝1)，

其中，X取0.1，Y取0.9。