[發(fā)明專利]一種獲取時(shí)間窗口模型參數(shù)的方法和系統(tǒng)

有效

• 申請(qǐng)?zhí)枺?/td>: 201210177720.6
• 申請(qǐng)日: 2012-05-31
• 公開（公告）號(hào): CN103455509B
• 公開（公告）日: 2017-03-01
• 發(fā)明（設(shè)計(jì)）人: 俞文明;劉紅星
• 申請(qǐng)（專利權(quán)）人: 阿里巴巴集團(tuán)控股有限公司
• 主分類號(hào): G06F17/30
• 分類號(hào): G06F17/30
• 代理公司: 北京潤澤恒知識(shí)產(chǎn)權(quán)代理有限公司11319
• 代理人: 蘇培華

技術(shù)領(lǐng)域

本申請(qǐng)涉及計(jì)算機(jī)技術(shù)領(lǐng)域，特別是涉及一種獲取時(shí)間窗口模型參數(shù)的方法和系統(tǒng)。

背景技術(shù)

隨著網(wǎng)絡(luò)的發(fā)展，對(duì)于網(wǎng)絡(luò)用戶的用戶行為，比如使用網(wǎng)上銀行進(jìn)行交易，需要利用一些模型(如邏輯回歸模型等)判斷當(dāng)前這筆用戶行為是否異常(盜用，欺詐，套現(xiàn)等)，而這些模型需要用到用戶的歷史交易行為等歷史數(shù)據(jù)作為參數(shù)。在交易發(fā)生前的一段時(shí)間內(nèi)的用戶行為的統(tǒng)計(jì)值(包括交易行為，操作行為等)對(duì)判斷當(dāng)前交易是否異常(盜用，欺詐，套現(xiàn)等)具有至關(guān)重要的作用，在本文中這種類型的參數(shù)稱作時(shí)間窗口模型參數(shù)。時(shí)間窗口模型參數(shù)的一般定義為：指當(dāng)前事件的主體往前回溯一段時(shí)間該主體所參與事件的統(tǒng)計(jì)值。如計(jì)算當(dāng)前交易的賣家在過去30天(包括當(dāng)前這筆交易)交易金額的累加和。在實(shí)際中，通過該參數(shù)建立模型分析用戶行為是否異常。

目前在傳統(tǒng)數(shù)據(jù)倉庫中計(jì)算這類時(shí)間窗口模型參數(shù)時(shí)，一般采用固定時(shí)間段來近似計(jì)算，也就是說粒度是到天而不是到每筆用戶行為，比如買家或賣家的每筆交易行為。如在T日某位賣家發(fā)生的所有交易，那么計(jì)算他最近30天交易資金累加和，那就是(T-30)日直到T日所有交易的累加和。該種方案計(jì)算量小，但是精度不夠高，比如無法計(jì)算某筆交易對(duì)應(yīng)的買家在過去45分鐘進(jìn)行的交易金額累計(jì)，因?yàn)榫仁堑教斓摹Ｈ缟鲜隼又校渲挥?jì)算離T最近的30天的交易累加和，針對(duì)T日進(jìn)行分析判斷，無法準(zhǔn)確識(shí)別出T日該賣家哪些交易存在異常。

為了能識(shí)別一個(gè)用戶的每筆用戶行為的異常，在數(shù)據(jù)庫中可以用表自關(guān)聯(lián)，再通過對(duì)交易時(shí)間做限制來計(jì)算。該種方案一般是在普通數(shù)據(jù)庫中進(jìn)行計(jì)算，比如要計(jì)算某賣家T日有100筆交易是否異常，而數(shù)據(jù)庫中存在該賣家的T日之前有10000筆歷史交易記錄，那么就將T日該賣家的數(shù)據(jù)表與數(shù)據(jù)庫中T日以及T日之前的所有10100筆數(shù)據(jù)通過主體作為關(guān)聯(lián)鍵進(jìn)行關(guān)聯(lián)操作。那么對(duì)于T日每一筆交易與歷史交易表關(guān)聯(lián)時(shí)，選取每一筆交易最近的30天的數(shù)據(jù)，然后按順序逐筆累加，將各累加值輸入模型進(jìn)行計(jì)算；最終導(dǎo)致數(shù)據(jù)庫實(shí)際計(jì)算的數(shù)據(jù)容量變化為100*10000。該種方式在數(shù)據(jù)量小時(shí)，還可在相對(duì)短的時(shí)間內(nèi)完成計(jì)算，如果交易數(shù)據(jù)量超過千萬級(jí)就無法在有限時(shí)間內(nèi)完成計(jì)算。

另外，在ORACLE等高端數(shù)據(jù)庫中針對(duì)這類問題提供了一個(gè)句子：rows?between...preceding?and...following，來遍歷計(jì)算數(shù)據(jù)庫中的每一筆交易記錄。而rows?between...preceding?and...following這類查詢句子一般在高端的數(shù)據(jù)庫才提供此類函數(shù)，并且受制于單節(jié)點(diǎn)數(shù)據(jù)庫的因素，計(jì)算效率和擴(kuò)展能力不佳。

發(fā)明內(nèi)容

本申請(qǐng)所要解決的技術(shù)問題是提供一種獲取時(shí)間窗口模型參數(shù)的方法和系統(tǒng)，可解決現(xiàn)有技術(shù)中由于數(shù)據(jù)庫本身的限制導(dǎo)致的計(jì)算效率低的問題，并且可方便擴(kuò)展。

為了解決上述問題，本申請(qǐng)公開了一種獲取時(shí)間窗口模型參數(shù)的方法，包括：

針對(duì)各條記錄數(shù)據(jù)，將屬于同一主體的各條記錄數(shù)據(jù)分配到同一個(gè)服務(wù)器中；

將每個(gè)服務(wù)器中的屬于同一主體的各條記錄數(shù)據(jù)按記錄的時(shí)間順序排列；

針對(duì)每個(gè)服務(wù)器，從記錄數(shù)據(jù)列表表頭的記錄數(shù)據(jù)開始，逐條將記錄數(shù)據(jù)的時(shí)間點(diǎn)和內(nèi)容分別加入時(shí)間隊(duì)列和內(nèi)容隊(duì)列，時(shí)間隊(duì)列和內(nèi)容隊(duì)列按序一一對(duì)應(yīng)；其中，利用時(shí)間隊(duì)列篩選屬于同一主體的符合時(shí)間段閾值范圍的記錄數(shù)據(jù)，利用內(nèi)容隊(duì)列計(jì)算對(duì)應(yīng)每條記錄數(shù)據(jù)的目標(biāo)值；

將所述目標(biāo)值作為時(shí)間窗口模型參數(shù)，并結(jié)合相應(yīng)記錄數(shù)據(jù)對(duì)應(yīng)的主體進(jìn)行輸出。

優(yōu)選的，所述利用時(shí)間隊(duì)列篩選屬于同一主體的符合時(shí)間段閾值范圍的記錄數(shù)據(jù)，利用內(nèi)容隊(duì)列計(jì)算對(duì)應(yīng)每條記錄數(shù)據(jù)的目標(biāo)值包括：

步驟A1，判斷當(dāng)前待處理的記錄數(shù)據(jù)的主體是否與當(dāng)前時(shí)間隊(duì)列和內(nèi)容隊(duì)列的主體不同；若不同，轉(zhuǎn)入步驟A2；若相同，轉(zhuǎn)入步驟A3；

步驟A2，則將時(shí)間隊(duì)列和內(nèi)容隊(duì)列清空，并將當(dāng)前記錄數(shù)據(jù)主體作為時(shí)間隊(duì)列和內(nèi)容隊(duì)列的主體，轉(zhuǎn)入步驟A3；

步驟A3，將當(dāng)前記錄數(shù)據(jù)的時(shí)間點(diǎn)加入時(shí)間隊(duì)列，將當(dāng)前記錄數(shù)據(jù)的內(nèi)容加入內(nèi)容隊(duì)列，保持當(dāng)前時(shí)間隊(duì)列隊(duì)尾的時(shí)間點(diǎn)與隊(duì)首的時(shí)間點(diǎn)的差距符合預(yù)置的時(shí)間段范圍，并保持內(nèi)容隊(duì)列與時(shí)間隊(duì)列一致；其中時(shí)間隊(duì)列時(shí)間點(diǎn)和內(nèi)容隊(duì)列的內(nèi)容值按加入順序一一對(duì)應(yīng)；

步驟A4，利用內(nèi)容隊(duì)列的內(nèi)容值計(jì)算當(dāng)前記錄數(shù)據(jù)的目標(biāo)值。

優(yōu)選的，所述步驟A3包括：

步驟S3，將當(dāng)前待處理的一條記錄數(shù)據(jù)的時(shí)間點(diǎn)加入時(shí)間隊(duì)列，和將所述記錄數(shù)據(jù)的記錄內(nèi)容加入內(nèi)容隊(duì)列；其中，其中時(shí)間隊(duì)列時(shí)間點(diǎn)和內(nèi)容隊(duì)列的內(nèi)容值按加入順序一一對(duì)應(yīng)；