[發(fā)明專利]基于深度學(xué)習(xí)的用戶操作行為預(yù)測方法和系統(tǒng)

在審

• 申請?zhí)枺?/td>: 201811493939.0
• 申請日: 2018-12-07
• 公開（公告）號: CN109583659A
• 公開（公告）日: 2019-04-05
• 發(fā)明（設(shè)計(jì)）人: 楊晨;張曉風(fēng);曹曉耀;杜丹剛;翟云;蔡達(dá);朱曉虎
• 申請（專利權(quán)）人: 南京富士通南大軟件技術(shù)有限公司
• 主分類號: G06Q10/04
• 分類號: G06Q10/04;G06N3/04;G06N3/08
• 代理公司: 南京鐘山專利代理有限公司 32252
• 代理人: 戴朝榮

本發(fā)明公開了一種基于深度學(xué)習(xí)的用戶操作行為預(yù)測方法，包括：S1：提取用戶行為數(shù)據(jù)；S2：對用戶行為數(shù)據(jù)進(jìn)行預(yù)處理；S3：將預(yù)處理后的用戶行為數(shù)據(jù)按比例劃分成訓(xùn)練集、驗(yàn)證集和測試集；S4：創(chuàng)建用戶操作行為預(yù)測系統(tǒng)；S5：將訓(xùn)練集、驗(yàn)證集分類導(dǎo)入用戶操作行為預(yù)測系統(tǒng)，采用窗口滑動(dòng)技術(shù)對用戶操作行為預(yù)測系統(tǒng)進(jìn)行訓(xùn)練和驗(yàn)證；S6：將測試集導(dǎo)入優(yōu)化后的用戶操作行為預(yù)測系統(tǒng)，進(jìn)行性能評價(jià)；S7：完成訓(xùn)練，獲取優(yōu)化完成的用戶操作行為預(yù)測系統(tǒng)。本發(fā)明利用LSTM長短記憶神經(jīng)網(wǎng)絡(luò)子系統(tǒng)并使用窗口滑動(dòng)技術(shù)來學(xué)習(xí)用戶連續(xù)行為的內(nèi)在規(guī)律，通過全連接神經(jīng)網(wǎng)絡(luò)子系統(tǒng)來學(xué)習(xí)外部因素的權(quán)重，最后將兩種子系統(tǒng)進(jìn)行融合來完成對用戶操作行為的預(yù)測。

技術(shù)領(lǐng)域

本發(fā)明涉及軟件工程應(yīng)用技術(shù)領(lǐng)域，具體而言涉及一種基于深度學(xué)習(xí)的用戶操作行為預(yù)測方法和系統(tǒng)。

背景技術(shù)

隨著信息技術(shù)的飛速發(fā)展，計(jì)算機(jī)軟件的應(yīng)用越來越廣泛，同時(shí)隨著用戶需求的多樣化,大量業(yè)務(wù)系統(tǒng)也隨之生成,這些系統(tǒng)大多體系龐大、功能復(fù)雜，涵蓋成百上千模塊。用戶在操作這些系統(tǒng)時(shí)，需要根據(jù)自己的需求定位多個(gè)模塊，但由于系統(tǒng)過于龐大，尋找并定位業(yè)務(wù)模塊十分費(fèi)時(shí)，用戶體驗(yàn)差。若能根據(jù)用戶以往的操作行為，并結(jié)合影響操作行為的外部因素，使用深度學(xué)習(xí)技術(shù)學(xué)習(xí)規(guī)律，從而為用戶推薦下一最有可能操作的模塊，便可節(jié)省用戶操作時(shí)間，簡單便捷，大大提高了用戶體驗(yàn)。

全連接神經(jīng)網(wǎng)絡(luò)的特點(diǎn)是前一層的所有神經(jīng)元節(jié)點(diǎn)與當(dāng)前層的所有節(jié)點(diǎn)均相連，即第n層的每個(gè)節(jié)點(diǎn)在進(jìn)行計(jì)算的時(shí)候，激活函數(shù)的輸入是n-1層所有節(jié)點(diǎn)的加權(quán)，全連接神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)如圖1。

循環(huán)神經(jīng)網(wǎng)絡(luò)(RNN)與其他神經(jīng)網(wǎng)絡(luò)最大的不同是其記憶功能，RNN的網(wǎng)絡(luò)結(jié)構(gòu)如圖2。

RNN的隱藏層不僅傳入該時(shí)刻的輸出層，同時(shí)也向下傳遞到下一時(shí)刻的隱藏層，從而實(shí)現(xiàn)記憶功能，因此第t時(shí)刻的隱藏層計(jì)算公式：

S_t＝f(U*X_t+W*S_t-1)

其中，S_t為t時(shí)刻隱藏層的輸出，f()為激活函數(shù)，U為輸入層參數(shù)矩陣，W為隱藏層參數(shù)矩陣，S_t-1為上一時(shí)刻的隱藏層輸出。

長短記憶神經(jīng)網(wǎng)絡(luò)(LSTM)是循環(huán)神經(jīng)網(wǎng)絡(luò)(RNN)的一種。LSTM在RNN的基礎(chǔ)上添加了遺忘門、輸入門、輸出門，其中遺忘門用于控制系統(tǒng)丟棄部分信息，輸入門用于決定更新的信息，輸出門則決定隱藏層的輸出結(jié)果。LSTM比RNN有了進(jìn)一步的優(yōu)化，通過添加的門對信息有選擇的記憶。LSTM隱藏層的詳細(xì)結(jié)構(gòu)如圖3。

目前，大部分的用戶操作行為預(yù)測方法，都是基于用戶的歷史操作行為的頻度進(jìn)行統(tǒng)計(jì)來預(yù)測。但是，該方法沒有考慮用戶連續(xù)操作行為的內(nèi)在規(guī)律，也沒有考慮其他的外部因素對于當(dāng)前用戶行為的影響。

發(fā)明內(nèi)容

本發(fā)明目的在于提供一種基于深度學(xué)習(xí)的用戶操作行為預(yù)測方法和系統(tǒng)，利用LSTM長短記憶神經(jīng)網(wǎng)絡(luò)子系統(tǒng)并使用窗口滑動(dòng)技術(shù)來學(xué)習(xí)用戶連續(xù)行為的內(nèi)在規(guī)律，通過全連接神經(jīng)網(wǎng)絡(luò)子系統(tǒng)來學(xué)習(xí)外部因素的權(quán)重，最后將兩種子系統(tǒng)進(jìn)行融合來完成對用戶操作行為的預(yù)測。

為達(dá)成上述目的，結(jié)合圖5，本發(fā)明提出一種基于深度學(xué)習(xí)的用戶操作行為預(yù)測方法，所述方法包括：

S1：從歷史操作日志中提取用戶行為數(shù)據(jù)，所述用戶行為數(shù)據(jù)至少包括環(huán)境數(shù)據(jù)和連續(xù)行為數(shù)據(jù)，環(huán)境數(shù)據(jù)包括數(shù)據(jù)發(fā)生時(shí)的多個(gè)外部環(huán)境因素，連續(xù)行為數(shù)據(jù)至少包括用戶的操作行為序列和操作行為的發(fā)生時(shí)間。

進(jìn)一步的，所述外部環(huán)境因素包括公司ID、部門ID、用戶ID、行為發(fā)生的時(shí)段中的幾種或者全部。

例如，環(huán)境數(shù)據(jù)包括數(shù)據(jù)的發(fā)生來源，如公司ID，部門ID，用戶ID等，也包括行為的發(fā)生時(shí)段，如上午還是下午，是否節(jié)假日等。連續(xù)行為數(shù)據(jù)，包括用戶的操作行為序列和行為發(fā)生的具體時(shí)間。